1.什么是熵？
说到熵，他很有很多种的定义，但也都大同小异，在这里给出一种通俗的解释——熵，是对混乱程度、不确定程度的度量。熵越大，混乱程度、不确定程度越高。
笔者将从物理学上的熵、信息论中的熵来剖析熵的概念，这其中会有一些很有意思的案例，仔细往后看哦~
2.物理学上的熵
2.1热力学第二定律
我们熟识的热力学第二定律：不可能把热量从低温物体传递到高温物体而不产生其他影响。
有这样一个例子：一个水杯，中间由隔板隔开（两边除温度外，其他都一样）。左边40℃，右边60℃，不考虑其他环境影响，将隔板拿开，水的最终温度大概是50℃。这个很好理解吧。但是，你有没有想过隔板拿开之后，为什么不是左边20℃，右边80℃呢？
其实，热力学第二定律最初就是为了描述这个现象的。再来看这个水杯，从一种状态变成了另一种状态，人们为了定量描述这两种状态的区别，人们就引入了熵的概念。一个系统可以自发的从一个状态到另一个状态，一定是因为某种物理量，什么物理量呢？那就是熵。第一种状态的熵值更低（更有序），第二种状态的熵值更高（更混乱）。就是说，一个孤立系统，从一种状态转换成另一种状态，熵不会减少。这是热力学第二定律的一种表示方法，叫熵增定律。
熵增定律很重要，一个孤立系统，熵大概率是增大的。一个孤立系统的熵不可能减少。仔细想想下面的问题？
我们精心建筑的高楼大厦，最终都会变废墟。自然界中的生命终将会慢慢凋零。我们打碎的杯子无法复原——事实上，世界上所有的杯子，最终的宿命都是碎片。有没有发现，事情的发展往往都是向着一个方向的？向着混乱的方向发展？是巧合么？（于是乎，教你一句够装的话：咳咳！事物的发展方向就是熵增的方向，就是向着混乱的方向）
当然不是巧合，是因为熵的存在。
当你去打台球时，你总会先把球先整齐的摆放在一个三角框框里。这时系统的熵很低。但随着比赛的开始，球很快都散开了，球之间相互碰撞，每个球都有了自己的位置，很混乱，这时，系统的熵增加了。想象一下，你可以一杆把所有散落的球打成最先开始时整齐的样子么？
PS：
热力学第二定律告诉我们，一个孤立系统的熵作为时间的函数不可能减少。这并不是由什么基本物理定律推导出来的，这只是统计概率问题。高熵的状态要远远多于低熵的状态。目前有强烈证据指明宇宙起源于大爆炸，爆炸那一刻，熵极低。而宇宙的熵之后便不断地增加。我们没有理由相信它会开始减少。由于混乱状态的可能数量要远多于有秩序状态，宇宙朝着混乱状态演化纯粹只是概率问题。
2.2熵的定量表示
一般可以把熵理解为系统的混乱程度，混乱程度越高，熵越大。熵如何来定量表述呢？我们可以通过概率来了解一下。
还是上边那个杯子：我们假设杯子里共有四个分子。那么，这四个分子的分布都有哪些呢？一共4个分子，有两边，所以一共24=16种情况。这16种可能我们叫做微观态。 下面这是5种宏观态，每种宏观态所对应的微观态都不一样。
| 宏观态1 | 左4右0 | 对应1种微观态 |
|---|---|---|
| 宏观态2 | 左0右4 | 对应1种微观态 |
| 宏观态3 | 左3右1 | 对应4种微观态 |
| 宏观态4 | 左1右3 | 对应4种微观态 |
| 宏观态5 | 左2右2 | 对应6种微观态 |
熵总是体现在出现最大概率的情况，所以宏观态5的熵最大。
熵的玻尔兹曼表达式：S=K
S就是熵，K是玻尔兹曼常数， 就是某一种宏观态所对应微观态的数量。
3.麦克斯韦妖
如图，还是上边的那个杯子。把中间的隔板换成了一个门，由麦克斯韦妖来看守。（敲黑板！敲黑板！）这个麦克斯韦妖呢，它让动能大的分子去右边，动能小的分子去左边。这样的话，左边的分子平均动能越来越小，温度也就越来越低。而右边的越来越高。这就可能造成最终左边的温度是20℃，右边的是80℃这种情况。这就违反了热力学第二定律：左边40℃，右边60℃，二者相融，最后应该是两边都是50℃。
PS：一般对于温度来说，平均动能越大，温度越高，平均动能越小，温度越低。
实际上，麦克斯韦妖说的是某种机制、或者某种设备。那么这样一种设备能否被造出来呢？答案是，不能。按照量子力学的观点，如果我们想要测量某个分子的速度，我们就要通过某种手段，可这种手段多多少少会对分子造成影响啊。更本质的原因是，分辨这个分子是快还是慢的一个过程，实际上就是处理信息的一个过程，这个过程是要付出代价的，是要消耗能量的。香农在此基础上，建立了现代信息论，提出了信息熵。
熵增，这样一个在微观状态下完全由概率决定的事情，在宏观状态就成了必然。因为熵自发减少的可能性是如此之小，以至于自从宇宙诞生到现在所有的分子运动的尝试中，始终无法找到一个幸运的系统或者分子能够自发的熵减。一句话，熵之所以必然增加，没有动力或者能量的原因，是因为熵减少的概率，或者可能性小到可以忽略不计。
4.信息论上的熵
香农的信息熵本质上是对我们司空见惯的“不确定现象”的数学化度量。譬如说，如果天气预报说“今天中午下雨的可能性是百分之九十”，我们就会不约而同想到出门带伞；如果预报说“有百分之五十的可能性下雨”，我们就会犹豫是否带伞，因为雨伞无用时确是累赘之物。显然，第一则天气预报中，下雨这件事的不确定性程度较小，而第二则关于下雨的不确定度就大多了。
关于信息熵的定量计算：下面就是著名的香农公式
如果想了解具体公式由来及秒懂讲解，可以看看我之前写过的一篇文章，讲的很详细：
5.总结
关于熵的讲解到此告一段落。文章从热力学第二定律讲起，这也符合历史的发展。熵最初就是从热力学第二定律而出现的。后来熵的广泛应用，用到了信息身上，这是香农的一大成就。就有了信息论的诞生。物理学上的熵和信息论中的熵从本质上来说是一样的，只不过表达的方式不太相同。不必过于区分。
大家如果有疑问，评论区见~~
PS：小科普，关于热寂的讨论：热寂是猜想宇宙终极命运的一种假说。根据热力学第二定律，作为一个“孤立”的系统，宇宙的熵会随着时间的流异而增加，由有序向无序，当宇宙的熵达到最大值时，宇宙中的其他有效能量已经全数转化为热能，所有物质温度达到热平衡。这种状态称为热寂。这样的宇宙中再也没有任何可以维持运动或是生命的能量存在。
但是，也有反对的科学家认为，有证据表明，宇宙是在无限扩大的。所以宇宙的熵也没有上限，所以宇宙不会Game Over~~当然这是乐观的一种看法，至于宇宙会不会热寂，，，额额，我觉得我们应该等不到热寂的那天吧！
来源：CSDN
作者：凉、介
链接：https://blog.csdn.net/weixin_43275558/article/details/103945924