熱力學熵:克勞修斯

克勞修斯是第一個提出熵的概念的人。不過他發表自己的結論時一定不會想到，熵不只是個單一的東西，而是一個大家族。克勞修斯提出的熵，被稱為熱力學熵或克勞修斯熵。除此之外，它還有兩個同胞兄弟。並且真要比較的話，克勞修斯熵反而是一個比較抽象的概念，

這兩個同胞兄弟理解起來倒更加直觀。第一個胞弟在1877年由統計物理學泰鬥玻爾茲曼發現。這個人非常有魄力。在當時物理學界的一片反對浪潮中，他仍然堅持要用統計的觀點對多數粒子的運動進行解釋（不過我們或許該說幸好他堅持的是非常正確的）。他證明了，假如一個系統存在Ω個狀態（也就是說這個系統中粒子排布的所有可能性有Ω個），那麼熵直接與Ω的對數值成正比，比例常數為k（稱為玻爾茲曼常數，這是後來普朗克確定的）

；寫成公式即s=klnΩ，完全是初等函數，非常簡單漂亮，甚至不需要像克勞修斯那樣引入微分的概念。這個熵是從統計學角度推導的，稱為統計學熵或玻爾茲曼熵。玻爾茲曼這一功績的意義非常巨大，以至於他的墓碑上已經沒有什麼多餘的話好講了；公式「s=klnΩ」作為他的墓志銘，已經能說明一切。我們來簡單看一下玻爾茲曼熵表示的意義。假如有這麼一個箱子，裡面有黑白兩色小球。我們不妨設想兩種情況，一種是兩色小球很自覺地分別在箱子的左右兩半集合，另一種是兩色小球雜亂的分布在一起。很顯然，第二種情況允許的可能性更多一些，熵也就要大一些。但既然玻爾茲曼熵也是熵，那麼就一定和克勞修斯熵滿足同樣的熵增定律。實際上這非常容易理解，即使最開始我們把小球排列好，經過不斷的震動，它也要趨於混亂，也就是熵更大的情況。如果把這些小球想像成微觀粒子，或者大部分男性衣櫃中的衣物，也能得到相同結果。所以，玻爾茲曼熵對熱力學第二定律的統計解釋就是：

孤立系統總是朝著混亂度增加的方向運動。這真是太直觀了！

玻爾茲曼熵的結論非常精簡而奇妙。正因為如此，這一思想（而不只是概念）被直接搬到了很多領域。注意到玻爾茲曼的公式中，如果Ω個狀態是等可能出現的，那麼1/Ω就是出現概率；要是再避開熱力學不談的話，凡是涉及概率的問題都可以引入玻爾茲曼的熵的概念。這就是克勞修斯熵的第二胞弟——信息熵或稱香農熵的雛形。資訊理論創始人香農給信息熵下的定義相對玻爾茲曼公式來說要複雜一些。他引入了兩個概念：一個是信息熵，表示一個概率事件的不確定程度；另一個是信息熵的改變量，稱為信息量；信息熵和信息量的單位都是比特（bit），相信用過計算機的人都不會陌生。但要是具體討論這個東西，恐怕會送走我的大部分讀者，因此我寧可談一些簡單的特例。例如一個事件有N種等可能的結果，則每種可能性概率P=1/N，那麼按香農的定義，這個事件的信息熵為bit，

總是大於零的（係數K可以不去討論它，知道它大於零就行了）。容易理解，信息獲得越多，熵（不確定度）越少；信息獲得足夠，例如在此處獲得比特的信息量，熵就降為零，一切都確定了。於是，概率越小的事件，確定它發生所需的信息量就越大。打個形象的比方，如果是體操隊得了冠軍，

那麼我們只需要聽少數幾個人說起就基本能夠肯定；但要是足球隊得了冠軍，恐怕我們還需要向各電視臺、廣播站打電話，獲得足夠多的信息才能確認是否真有其事。但看起來，信息熵和克勞修斯熵、玻爾茲曼熵就差得挺遠了。究竟這三個熵是否是一回事呢？答案是肯定的。信息熵提出後，立刻引起了物理學家極大的興趣。他們證明，1bit的信息量等於的熱力學熵。這也就在三個熵之間劃上了等號。同時我們順便看出，在溫度T下，即使沒有任何耗散，處理1bit的信息也至少要消耗焦耳的能量：這就是計算機理論上的能耗下限。但不幸的是，即使目前最先進的計算機，處理信息的能耗也遠遠大於這個下限（幾乎大8個數量級，也就是大了一億倍！）。相比之下，反而是最不起眼的生物系統成為最佳的信息處理者。眾所周知——至少幾乎都知道——生物體的DNA也就是脫氧核糖核酸承載著信息，DNA的複製、轉錄、翻譯等都是信息的處理；而生物這樣處理1bit信息所消耗的能量僅比理論下限大100倍左右，也就是計算機能耗的百萬分之一！看來咱們的計算機還有相當長的路要走！

既然三種熵都歸結為一回事了，毫無疑問，信息熵也滿足熱力學第二定律。這也不難說明。信息熵不會自發降低，也就意味著不確定度不會自發降低，信息在不斷流失。事實也正是如此。通信過程中，總有各種各樣的外來幹擾，產生噪聲；如果信號沒有不斷得到加強，就會逐漸被噪聲淹沒，造成信息的流失。事實上，信息熵的熵增原理最容易理解並且也最能說明一些問題；用信息熵進行分析，再利用三種熵的等價，我們可以解釋很多冥冥中自有熵註定的有趣現象。