要想正確理解香農的信息熵，一定要時刻提醒自己，香農他老人家只關心字數，而不關注信息內容和質量。——坤鵬論
再次對今天的文章修訂的時候，坤鵬論發現，「信息不是說了什麼，而是還能說什麼。」這個總結簡直絕妙、經典至極。
將其牢記在心，對於學習信息、信息熵是最好的理解輔助。
一、工程師敲定的「information」
20世紀初，信息隨處可見，除了報刊、圖書、信件之外，電報、電話、廣播、電影也早已走入到了老百姓的生活中。
但是，那時候還沒有一個詞能夠概括所有這些東西。
起初香農用英文的intelligence來表示信息。
1939年，在給麻省理工學院導師範內瓦·布希的一封信中他這樣寫道：「時斷時續地，我一直在研究傳遞信息（intelligence）的一般系統的某些基本屬性。」
intelligence這個詞一般被翻譯成情報，它還有智力、智慧、理解力、才智、天分等含義。
後來，一些工程師，特別是貝爾實驗室的工程師們，已經開始使用information來表達「信息」，主要應用在一些技術性的概念上。比如：信息的數量、信息的測量等。
information源於拉丁文的「形式」一詞——informatio，它派生的動詞又有通知、告知的意思。
後來，香農也改用這個詞。
如今，information已經被定義為嚴謹的科學術語，並且定義比較繽紛，不統一，這是由於它的極端複雜性造成的。
除了香農給出的——「信息，是能夠用來消除不確定性的東西」外，對於information還有以下一些定義，大家可以一一品味，這些都是牛人們經過了再三思考與斟酌，非常有學習價值：
1.凡是在一種情況下能減少不確定性的任何事物都叫信息。
2.信息是物質存在的一種方式、形態或運動形態，也是事物的一種普遍屬性，一般指數據、消息中所包含的意義，可以使消息中所描述事件中的不定性減少。
3.英國學者阿希貝認為，信息的本性在於事物本身具有變異度。
4.義大利學者朗高在《資訊理論：新的趨勢與未決問題》中認為：信息是反映事物的形成、關係和差別的東西，它包含於事物的差異之中，而不在事物本身。
5.北京郵電大學鍾義信教授給出的定義為：信息是事物運動的狀態及其改變方式。
6.藉此機會，坤鵬論再分享一種古老的對事物的定義方法，它就是亞里斯多德所倡導的——屬加種差定義法。
也就是，A是滿足C特質的B。
這裡A是被定義項（被定義的），B是A的屬，即，這個概念是更一般於A的提前被定義的了，或已經知道的，和C並不代表這一概念，但對所有的陳述來說，A是如何不同於B的所有其他種（即所有別的概念的一般性更小於B）。
繞不繞？
這比腦筋急轉彎，還彎彎繞，舉個例子說明一下。
比如：「人是兩條腿的無羽毛動物」：
A=「人」
B=「兩條腿動物」
C=「無羽毛」
它是亞里斯多德在他的演講中對學生講的如何進行概念定義的著名例子。
據說，第二天這位學生將一隻剃了羽毛的雞帶到了演講會上。
在亞里斯多德著名的邏輯學教本《工具論》，不管什麼版本，最開始都會有「波莫利的《導論》」，其中重點講了屬、種、種差、特性與偶性的本質，是中世紀成為邏輯學的必讀文章。
根據屬加種差定義法，美國哲學家弗雷德·德雷特斯基在《知識與信息流》一書中給出了他的信息的定義：「粗略地說，信息是能夠產生知識的商品，消息或信號所攜帶的正是我們需要知道的。」
另外，在熱力學中，信息是指任何會影響系統的熱力學狀態的事件。
二、維納的信息量公式
在《香農八年磨一劍，磨出一個撬動地球的支點》坤鵬論提到，歷史中有三個人不約而同地想到了用統計力學的熵公式來度量信息。
他們是現代統計學奠基人之一、英國統計學家與遺傳學家R.A.費雪、控制論創始人諾伯特·維納、資訊理論創始人香農。
其中的維納還在麻省理工學院教過香農，也是一位傳奇式的科學大師。
在其眾多的偉大科學成果中，專門有一條是「開創維納資訊理論」。
維納獨立於香農，從帶直流電流或者至少可看作直流電流的電路出發來研究資訊理論，將統計方法引入通訊工程，奠定了資訊理論的理論基礎。
而且，維納和香農提出公式的時間都在1948年，香農寫在他的論文裡，而維納則寫在其《控制論》的書中。
不過，維納的觀點和香農稍有不同。
他的公式前面並沒有加負號。
所以，用該公式計算出來的數值為負。
可以說，香農的信息熵算出來的是信息的不確定性。
而維納的公式算出來的是消除不確定性需要的信息量，可以稱為信息量公式。
維納認為，信息代表秩序。
他在《控制論：關於在動物和機器中控制和通訊的科學》中這樣定義信息：
「我們在適應外部世界，控制外部世界的過程中，同外部世界交換的內容的名稱。」
「信息，與其說是旨在儲藏，不如說旨在流通。」
還記得坤鵬論之前講過薛丁格的《生命靠負熵生存》吧？
秩序＝有序的能量＝可用的能量＝負熵。
也就是說，秩序可以減少系統的熵。
坤鵬論突然想到，如果不叫負熵，而叫減熵，這樣會讓其既易懂，又準確。
可以說，這個觀點根本不需要懂什麼數學公式，就能理解，而且非常非常有道理。
其實但凡背後有著高大上的科學理論，但又深入淺出，並暗合人生哲理的信息，都特別容易流行並被大眾傳唱。
維納還說，「有序的事物並不一定含有很多信息。」
什麼意思？
坤鵬論理解下來認為，因為事物的確定性（有序性）與信息量無關，只與概率相關，信息量是被概率決定的。
概率越高，有序性越高（確定性越高）（不確定性越低），需要輸入的信息量卻越少；
概率越低，有序性越低（確定性越低）（不確定性越高），需要輸入的信息量卻越多。
還是那個例子，太陽從東方升起，這條信息的概率是1，極端有序，你對此根本不需要再輸入信息。
由此可以看出，維納與坤鵬論在《人類就是麥克斯韋妖》講到的，同在貝爾實驗室工作的法國物理學家布裡淵，觀點一致。
布裡淵將資訊理論和統計力學聯繫起來考慮，參考了齊拉特提供的線索，在1956年出版的《科學與資訊理論》這本專著中，更加全面地論述了信息與熵的關係。
他認為，信息應該被視為系統熵的負項，即信息的作用是減熵，也就是使系統的混亂程度減小。
而且他還進一步指出，信息是負熵，可以降低系統的熵。
信息代表著秩序，代表著外部輸入的有序能量，增強了系統的有序度，也就降低了系統的無序度，使系統熵減。
相對來說，不管是公式表達，還是維納的定義表述，都更容易讓人理解。
對照他的公式，我們能夠很清晰地明白，為什麼信息熵是對信息不確定性的測量。
比如，我們要搞清楚一件非常非常不確定的事，或是我們一無所知的事情，就需要了解大量的信息。
相反，如果我們對某件事已經有了較多了解，不需要太多信息就能將其搞清楚。
所以，從這個角度，我們可以認為，信息量的度量就等於計算出不確定性的多少，也就是傳輸多少信息才能讓我們消除對一件事的不確定性，搞清楚它。
香農也曾向維納提起過其中的差異，並認為無關緊要，不過是「數學上的文字遊戲」，而且他們算出來的數值結果是相同的。
同時，他還曾說過這樣一段話來表述其中的區別：
「我考慮的是，從一個集合中作出選擇時會有多少信息產生——這樣一來，集合越大，產生的信息越多。而你考慮的是，集合越大，不確定性越高時，對於該情況的知識就越少，因而信息也就越少。」
這段話，坤鵬論品了好多遍才算懵懵懂懂。
所以看不明白，不要緊，慢慢品。
提幾個思考要點：
第一，資訊理論中的「信息」不是指已經說了什麼，而是還能夠說什麼。
第二，信息的作用到底是什麼？
歸根結底主要還是為了幫助人們作出選擇，而在作出選擇時，他們認為事物已經是確定性的了。
第三，集合的意思相當於數學和物理學的相空間。
相空間是一個用來表示出一個系統所有可能狀態的空間；系統每個可能的狀態都有一相對應的相空間的點。
到資訊理論這裡，就叫集合，也就是某個事物所有信息的集合，一條確定性的信息會減少這個集合的熵。
人在做出選擇前，往往會儘可能搜集關於選擇事物的所有信息，從來沒有聽一面之詞就決定的時候。
有人說，不會呀！
為什麼有人特別相信某個人的話，只要某個人一說，就言聽計從呢？
請注意，相信一個人和相信一個人的話，這就最少是兩個信息的組合吧。
特別是相信一個人那更是經過了相當複雜的集合才做出的選擇。
如果你還是有疑問，就想想任何一個生活中要做選擇的事情吧，比如：購物、比如：買股票、比如：旅遊……
沒有一個不是信息集合的選擇。
不得不承認，從熵這個字開始，從熱力學到資訊理論對熵的眾說紛紜，再加上香農和維納的不同解讀，以及後來人們的眾說紛紜，都引起了持續到現在的混亂。
而香農曾有過這樣一句話：「光榮應歸於維納教授」。
三、信息不是熵！
香農說過，信息是熵。
實話講，這話挺害人。
就算我們按照熱力學中熵的錯誤理解——熵＝混亂，也不能想明白「信息是熵」是個什麼道理？
在《錯了！信息熵≠信息量 輕鬆讀懂什麼是信息熵》中，我們已經知道了，資訊理論裡面的熵，指的是不確定性的程度。
如果說「信息是熵」，那麼到底是：
信息＝不確定程度？
還是
信息＝不確定性？
顯然都不對吧？！
不管是香農，還是維納，他們都認同——信息的作用是，消減消息中的不確定性程度（熵）。
所以，維納所說的「信息是負熵」，其實才更為合理。
或者香農自己給出的定義：「信息，是能夠用來消除不確定性的東西。」
亦或者，直接用坤鵬論的「信息是減熵」，也就是減少熵，減少消息中的熵，減少事件的不確定性。
於是，我們可以得出：
信息＝不確定的減少＝確定性的增加＝信息熵的減少＝負熵＝減熵
這樣的公式能夠讓絕大多數人很快明白。
總而言之，當你聽到「信息是熵」，就大致知道對方應該是還沒搞清楚什麼是信息熵。
並且，坤鵬論發現理解成「信息＝不確定性」的人，還真不在少數。
關鍵是，這麼理解，也可以非常地自圓其說。
而且通常還把內容質量也納入其中解說，真心比信息熵的正解高大上的多得多。
不過，真要深入學習信息熵，這樣的李鬼在信息熵的正解面前，就會現原形，結果是你一時間徹底暈菜了！
因為，你的思想處在了非常擰巴的狀態中。
對！
這就是傳說中的反轉。
就像你一直以為一位美麗女子是公主，結果突然有一天有人告訴你，她身邊那個樸素的女孩才是公主。
資訊理論中的信息和信息熵，真的就是那麼樸素，樸素到只計字數，不管內容。
四、信息量不是信息熵，但數字相等！
不少人認為，信息熵就是信息量。
客觀講，它不算全錯，因為它是兩個等號後的那個結果。
但這麼理解，會讓普通人混亂。
所以，我們最好記住香農和維納兩個公式，也就是記住將有沒有負號視為兩個公式：
香農的信息熵公式——告訴我們一條消息有多少比特的不確定性；
維納的信息量公式——告訴我們消除一條消息的不確定性需要輸入多少比特的信息。
一個負號正好代表了信息量和信息熵的關係——相減的關係。
信息不是說了什麼，而是還能說什麼。
信息量不是說了多少，而是還能說多少。
信息是消減信息熵的東西，信息量的多少就是信息熵的多少。
所以：
信息熵＝事件不確定性的度量；
信息量＝事件不確定性程度減少的量＝事件確定性程度增加的量。
而香農對於信息量的定義恰恰就是——信息量是隨機不確定性程度的減少。
對於只有確定性與不確定性這樣的二元概率，自然只要知道其一，就能夠知道另一個。
因此，知道了不確定程度的信息熵，自然也就知道了還要輸入多少信息才能消除信息熵，獲得100%確定性。
比如：我們知道某一事件的信息熵有5個比特，那麼也就知道了再輸入5個比特的信息就能消除它的信息熵。
再比如：你雖然沒看過《紅樓夢》，但知道它的作者是誰，寫於什麼年代，裡面的主人公有賈寶玉、林黛玉、薛寶釵、王熙鳳等。
你不知道的那些，都是信息熵，也就是不確定性，非常大，此時可以說，對於《紅樓夢》你的可輸入信息量非常大。
當你開始讀《紅樓夢》，就是輸入信息，填補的是信息熵，達到減少熵的效果，而這些你所閱讀的、且未知的信息就叫信息量。
所以，信息熵可以代表信息量，精確地說，是可以輸入的信息量。
而香農資訊理論的精髓就是，算出信息熵，也就知道了該事件還需要輸入多少比特信息才能確定。
所以，我們可以講，信息熵越大，可以輸入的信息量越大。
許多人將其簡化為，信息熵越大，信息量越大。
省了幾個字，卻費了無數人的腦細胞。
五、小結：信息和信息熵
再讓我們一起總結一下：
信息熵，表示的是某一事件的不確定性程度。
信息，就是用來降低這種不確定性程度的。
信息熵，不是對信息量的度量，但等於消除不確定性需要輸入的信息量。
輸入的信息量，就是該事件不確定性程度減少的大小，也就是信息熵減少的大小。
信息熵，是指從不確定到確定所需要的信息量。
信息熵越大，不確定性越大；信息熵越大，可輸入的信息量越大。
六、切記！信息熵和內容本身無關
這需要一再強調，因為網上太多相關文章將它們混淆在一起。
我們一定要記住，香農的資訊理論是拋開內容問題的資訊理論，只計字數不問內容。
本來，人家就是為了讓信息傳輸得更高效、準確，這已經相當足夠了。
精準地衡量內容品質，自然科學還是有些吃力。
所以，信息熵只反映消息的不確定性，與內容本身無關。
不管是什麼樣內容的文件，只要服從同樣的概率分布，就會計算得到同樣的信息熵。
請特別注意的是，我們理解信息熵時，千萬不要摻和進內容。
也就是說，這個內容講的沒意義之類的，否則就會不斷處於混亂。
就像你拿了一麻袋一分錢的鋼鏰兒買東西，鋼鏰兒非常多，但錢不一定夠。
也就是說，鋼鏰兒的數量和錢的多少是兩回事。
坤鵬論發現，不少人在說信息熵時，會將理解中的信息量與客觀的信息量搞混。
什麼叫理解中的信息量？
比如：《大話西遊》中的唐僧，嘮嘮叨叨，廢話連篇，其實沒什麼信息量，反而是最後不知是夢還是真實的唐僧，內斂和惜字如金，我們卻認為他的話裡面信息量大。
這個理解中的信息量，是指信息接收者聽到或看到信息後，除了表面的信息，還消化、理解、琢磨、猜測、推理……聽話聽音，腦補出了大量話裡話外的信息。
所以，理解中的信息量＝信息發送者發送的信息量＋接收者腦補的信息量。
客觀的信息量，則只是根據字符的數量、概率計算出來的信息熵後，得出的可以輸入的信息數量。
日常生活中，我們常說某人說話言簡意賅，信息量卻很大；某些人口若懸河，卻廢話連篇，沒信息量。
這個說法沒錯，但是，你可不能和香農的信息量混為一談，得出「話越多，信息熵越高」、「越言簡意賅，信息熵越低」等結論。
因為這些信息量其實指的是其內容質量和傳遞效率。
有沒有乾貨？有沒有精闢觀點？有沒有獨到思想？在一定文字長度/播放時間內，能不能有效表達？
這些其實都是與個人的能力相關，和香農的信息熵、信息量沒有任何關係。
七、思考題
請問：信息熵表示隨機事件自身所含的信息的量，這個表述對嗎？
請問：信息熵表示隨機事件所含有的不確定性的量，這個表述對嗎？
請問：信息熵表示把一個隨機事件確定下來，需要消除的不確定性的量，這個表述對嗎？
如果這三個問題，你都能回答正確，恭喜，你已經掌握信息熵的基本概念了。
本文由「坤鵬論」原創，轉載請保留本信息
請您關注本百家號，坤鵬論自2016年初成立至今，創始人為封立鵬、滕大鵬，是包括百度百家、頭條、雪球、搜狐、網易、新浪等多家著名網站或自媒體平臺的特約專家或特約專欄作者，目前已累計發表原創文章與問答6000餘篇。