【20180928】原小點科普·最大信息熵原理

2020-11-23 騰訊網

我們經常說：「使用最佳方案」，只有使用最優化的操作方法，才能達到資訊理論所預期的上限。這兒所說的最佳方案，與資訊理論中的「最大信息熵原理」有關。

什麼是最大信息熵原理？它來自於熱力學及統計物理中的熵增加原理。要講清楚這個問題需要太多篇幅，在此只作簡單介紹。

用通俗的話來說，最大信息熵原理就是當你對一個隨機過程不夠了解時，你對概率分布的猜測要使得信息熵最大。熵最大就是事物可能的狀態數最多，複雜程度最大。換句話說，對隨機事件的預測要在滿足全部約束條件下，保留各種可能性。

比如，你的女朋友叫你猜猜她的生日是哪一個月？如果你曾經看過她出生不久的照片，是秋天，那你可以猜測她生日是夏季的機率比較大；如果你對此完全沒有概念，你就最好是對一年中的每一個月都一視同仁，給予相同的可能性。

另一個例子是買股票投資的時候，專家會建議你買各種類型的不同股票。

「不要把雞蛋放在一個籃子裡！」投資專家說。這句話的意思，其實就是警告你要遵循最大熵原理，對難以預測的股票市場，最好的策略是儘可能多地保留各種可能性，才能降低預測的風險。

在老鼠毒藥問題中，儘量讓每個老鼠試喝相等數目瓶子的水；在稱球問題中，儘可能使天平「左、右、下」的球的數目相等，這都是考慮最大信息熵原理而選擇的最優策略。

最大熵原理

熱力學和統計物理中有熱力學第二定律，即熵增加原理，資訊理論中則有最大熵原理。

我們在日常生活中經常碰到隨機變量，也就是說，結果不確定的事件。諸如旋轉硬幣擲骰子，都是例子。還有比如說，球隊A要與球隊B進行一場球賽，結果或輸或贏；明天的天氣，或晴或雨或多雲；股市中15個大公司的股價，半年後有可能是某個範圍之內的任何數值……

但是，在大多數情況下，人們並不知道隨機變量的概率分布，或者說，只知道某個未知事件的部分知識而非全部，有時候往往需要根據這些片面的已知條件來猜測事件發生的概率。有時猜得準，有時猜不準，猜不準損失一點點，猜準了可能賺大錢。事件發生的隨機性及不可知性，就是支持賭城的機器不停運轉的賭徒心態的根源。

人們猜測事件發生的概率，多少帶有一定的主觀性，每個人有他自己的一套思維方法。如果是一個「正規理性」（這個概念當然很含糊，但假設大多數人屬於此類）思維的人，肯定首先要充分利用所有已知的條件。比如說，如果小王知道球隊A在過去與其他隊的10場比賽中只贏過3次，而球隊B的10場比賽贏過5次的話，他就應該將賭注下到球隊B上。但是，小李可能了解了更多的消息：球隊B的主要得力幹將上個月跳槽到球隊A來了，所以，他猜這次比賽球隊A贏的可能性更大。

除了儘量利用已知信息外，還有沒有什麼其它客觀一點的規律可循呢？也就是說，對於隨機事件中的未知部分，人們「會」如何猜測？人們「應該」如何猜測？舉例說，小王準備花一筆錢投資來買15個大公司的股票，如果他對這些公司一無所知，他選擇的投資方案很可能是15種股票均分。如果有位行家告訴他，其中B公司最具潛力，其次是G公司。那麼，他可能將更多的錢投資到B和G，其餘的再均分到剩下的13種股票中。

上面的例子基本符合人們的常識，科學家卻認識到這其中可能隱藏著某種大自然的玄機。大自然最玄妙的規律之一是最小作用量原理，造物主喜歡極值，或者說凡事講究最優化。統計規律中的隨機變量也可能遵循某種極值規律。

如上所述，隨機變量的信息熵與變量的概率分布曲線對應。那麼，隨機變量遵循的極值規律也許與熵有關！信息熵來自於熱力學熵，信息熵的「不確定程度的度量」也可以用來解釋熱力學熵。當然，熱力學中（物理中）不確定性的來源有多種多樣，必須一個一個具體分析。

經典牛頓力學是確定的，但是，我們無法知道和跟蹤尺寸太小的微觀粒子的情況，這點帶來了不確定性。其原因也許是因為測量技術使我們無法跟蹤，也許是因為粒子數太多而無法跟蹤，也有可能是我們主觀上懶得跟蹤、不屑於跟蹤，反正就是不跟蹤，即「不確定」！

如果考慮量子力學，還有不確定原理，那種非隱變量式的，愛因斯坦反對的本質上的不確定。即使是牛頓力學，也有因為初始條件的細微偏差而造成的「混沌現象」，蝴蝶效應式的不確定。此外，還有一種因為數學上對無窮概念的理解而產生的不確定。

總之，物理中的熵也能被理解為對不確定性的度量，物理中有熵增加原理，一切孤立物理系統的時間演化總是趨向於熵值最大，朝著最混亂的方向發展。那麼，熵增加原理是否意味著最混亂的狀態是客觀事物最可能出現的狀態？從資訊理論的角度看，熵最大意味著什麼呢？

1957 年，美國聖路易斯華盛頓大學的物理學家E.T.Jaynes 研究該問題並提出信息熵的最大熵原理，其主要思想可以用於解決上述例子中對隨機變量概率的猜測：如果我們只掌握關於分布的部分知識，應該選取符合這些知識但熵值最大的概率分布。因為符合已知條件的概率分布一般有好些個。熵最大的那一個是我們可以作出的最隨機，也是最符合客觀情況的一種選擇。Jaynes從數學上證明了：對隨機事件的所有預測中，熵最大的預測出現的概率佔絕對優勢。

接下來的問題是：什麼樣的分布熵值最大？對完全未知的離散變量而言，等概率事件（均衡分布）的熵最大。這就是小王選擇均分投資15種股票的原因，「不要把雞蛋放到一個籃子裡」，不偏不倚地每種股票都買一點，這樣才能保留全部的不確定性，將風險降到最小。

如果不是對某隨機事件完全無知的話，可以將已知的因素作為約束條件，同樣可以使用最大熵原理得到合適的概率分布，用數學模型來描述就是求解約束條件下的極值問題。問題的解當然與約束條件有關。

數學家們（Tribus等）從一些常見的約束條件得到幾個統計學中著名的典型分布，如高斯分布、伽馬分布、指數分布等。因此，這些自然界中的常見分布，實際上都是最大熵原理的特殊情況。 最大熵理論再一次說明了造物主的「智慧」，也見證了「熵」這個物理量的威力！

——《從擲骰子到阿爾法狗：趣談概率》

作者：張天蓉

圖片來源：網絡

編輯：茶水

滴水科學

公眾號ID：ydreadtup

關注

滴水科學，點滴時間學科學！

相關焦點

  • 深究熵的概念和公式以及最大熵原理
    綜上，我們可以得出熵的計算公式是S=k ln Ω，其中k是一個常數，叫做玻爾茲曼常數，Ω是微觀狀態數，這個公式也滿足了上面的可加性和相乘法則，即S1+S2=k ln (Ω1Ω2) 最大熵在機器學習中我們總是運用最大熵原理來優化模型參數，那麼什麼樣的熵是最大熵，為什麼它就是最優的這還是要從物理學的原理來說明，我們知道當沒有外力的情況下氣體是不斷膨脹的而不會自動收縮
  • 最大信息熵模型Maxent
    最大信息熵模型Maxent軟體V3.4.1是美國哥倫比亞大學 Steven J. Phillips基於 Java平臺設計的一款用於預測物種潛在分布軟體。目前在第四次全國中藥資源普查成果應用方面發揮重要作用（中藥材適宜性評價及區劃）。
  • 漢語的「信息熵」劣勢
    這個基礎建設的基本依據，是信息科學技術的基本原理和方法：信息熵（ENTROPY）。第二次世界大戰期間，美國為了提高信息儲存和傳遞的效率，發明了多種新的編碼方法，奠定了現代信息科學技術的基礎。戰爭結束後，這些方法得到了飛躍發展。在這些方法當中，科學家山農和霍夫曼提出的信息熵和數據壓縮的理論和方法最能代表現代信息學的基本概念。個人計算機和BBS問世以後，信息熵和數據壓縮技術迅速普及。
  • 信息熵是什麼,為啥漢語被稱為信息熵最大的語言?最普及的英語呢
    在1949年外國學者發表了一篇論文，讓人們進入了一個信息化的時代，所有發生的事件都可以用信息的單位來度量，很多人就提出，語言作為人與人進行溝通的必須手段，裡面的信息量應該很大吧，到底有多少？經過各學者多年的探究和各種語言的統計，得出一個結果，漢語是世界上信息熵最大的語言。那麼這個信息熵是什麼呢？
  • 信息熵是怎樣煉成的 | 紀念資訊理論之父香農
    撰文 | 丁玖（南密西西比大學數學教授）紀念"資訊理論之父"香農的最好方式，莫過於重溫一下他怎樣定義信息熵的數學思想，去理解現代資訊理論這個基本概念——僅用初等代數即可推導，令人賞心悅目，流連忘返！確定性過程在數學裡是司空見慣的現象。
  • 信息、熵、螺旋星系
    在新的研究中，我們證明了信息和熵也能以一種完全相同的方式聯繫在一起，成為「信息熵」。電流會產生磁場，而變化的磁場會產生電流；信息和熵也會以同樣的方式相互影響。 熵是物理學中的一個基本概念，簡單地說，它是對一個系統混亂程度的度量。
  • 科普問答| 熱寂為什麼是熵最大呢?
    群友問：1：熱寂為什麼是熵最大呢？2：熱寂就是宇宙能量達到熱平衡，這不是應該也是一種最有序的狀態嗎？有序和無序都是用來描述一個系統的混亂程度的，而在熱力學裡，系統的混亂程度是用一個特定的物理量——熵——來表示的。那麼如何定義熵？在1854年，克勞修斯最早引入了熵的概念：dS=dQ/T, 其中S是系統的熵，Q是系統的熱量，T是系統的溫度。這個定義帶有鮮明的經驗科學的烙印，卻是物理學史上最具創意的概念之一。
  • 本座選股談量化投資—最大熵模型
    我們的前人用這樣樸素易懂的語言給我們描述的，正是作為信息處理中非常適用的原理，在數學上被稱為：最大熵模型（the maximum entropy principle），千萬別被這個高大上的名字嚇到，實際上用大白話來說就是保留一個事情的所有不確定性，將風險降至最低。    我們來看個例子，作為一個常年的德州撲克愛好者，身邊有這麼一群聰明的牌友，經常在一起研究策略。
  • 我對熵原理的理解
    我對熵原理的理解 .黎荔熵，德國物理學家克勞修斯於熵增原理指的是一個孤立系統內的自發過程，都是從朝越來越混亂的方向發展，意思是向熵增加的方向發展。在系統內部，熵只能增加不能減少，所以一切都會從有序向無序發展，所以草木會枯萎，屋子不收拾會變亂，生命會走向衰老死亡。每個人都是孤零零來到人世，再一個人孤零零離開，融入宇宙無限的熵增趨勢，默默地被宇宙的一片混沌所吞噬。這是人生在世最殘忍的很少有人能夠坦然面對的事實。
  • 漢語為何成為世界上信息熵最大的語言,英語只有漢語的十分之一
    漢語是世界上信息熵最大的主流語言。在1948年發表了一篇論文，震撼了學術界，而這篇論文也開創了一個信息度量的時代，既然事件發生的信息可以度量，語言作為一種信息傳遞的手段，那麼語言中的信息是多少？世界上有最優秀的語言嗎？ 　　在此之前我們先來談談什麼叫做信息熵。
  • 全球熵ETV 什麼是熵 解析entropy熵的概況 如何理解熵原理與熵增定律
    19世紀 中期德國的著名物理學家和數學家克勞修斯在全世界第一個真正提出entropy熵的概念，克勞修斯是全球公認的熱力學理論奠基人，分子運動理論奠基者。熵是表徵物質狀態的參量之一，物理意義指複雜，無或者混亂的度量。2 如何理解熵原理與熵增定律？
  • 信息過載 你受「熵」了嗎?
    原來「熵」引自物理熱力學，在資訊時代指的是信息熵，也即總信息量與有價值信息的比值，是衡量信息價值的工具，「熵」的值越小意味著信息混亂程度越低，用戶獲取的有價值信息也更多。聽完葉總的解釋，小編立刻明白了八分，然而「熵」跟QQ瀏覽器又有什麼關係呢？
  • 生活中的熵增定律&信息維度的熵減
    關鍵詞：熵、熵增、熵減、信息工具。 解答問題：為什麼生活中有那麼多越來越亂的現象？人為什麼需要自律？)、吉布斯(考普利獎獲得者)……，也有五花八門的熵：信息熵、度量熵、拓撲熵、玻爾茲曼熵，還有一堆的公式、不等式、概率論和函數。
  • 第二個麥克斯韋妖——信息熵
    " 第一個小妖，分離了速率不同的分子，降低了系統的熵，引發了人們對生命的思考；第二個小妖，讓一個分子推動活塞做功，降低了系統的熵，引導了人們建立信息理論。兩個妖啟迪了人類的智慧，開闢了新的疆域。"然而，這件事也引起了人們的疑惑：像熵這樣的物理量，是屬於被研究的物質對象自身具有的一種客觀存在，是一個多粒子物質系統某個宏觀態所包含的微觀態數，怎麼會與小妖的主觀觀察、獲得信息發生聯繫呢？這實在讓人難以理解。齊拉特提出了熵與信息之間的聯繫，但沒有能解決這個問題。
  • 坤鵬論:信息是熵?錯!
    三、信息不是熵！香農說過，信息是熵。實話講，這話挺害人。就算我們按照熱力學中熵的錯誤理解——熵＝混亂，也不能想明白「信息是熵」是個什麼道理？在《錯了！信息熵≠信息量 輕鬆讀懂什麼是信息熵》中，我們已經知道了，資訊理論裡面的熵，指的是不確定性的程度。如果說「信息是熵」，那麼到底是：信息＝不確定程度？還是信息＝不確定性？顯然都不對吧？！
  • 熵:傷腦筋的熵|賢說八道
    Williard Gibbs）熵、香農（Claude Shannon）的信息熵 （見下文），其定義都是基於概率的概念，所以都有一個負號。因為利用狀態數有其便利的一面，為避免混淆，一些統計力學書中把熵公式寫成 S=k logΩ的形式，用Ω表示同宏觀狀態相恰的微觀狀態數。
  • 大數據之從存儲單位到信息熵
    bit表示計算機的位，同時它也是信息熵的度量單位。定性看信息與信息熵我們常說的信息是一個很抽象的概念，人們常說信息多，信息少，但很難量化信息到底有多少。香農借鑑了熱力學的概念，把信息中排除了冗餘後的平均信息量稱為「信息熵」，信息熵的數學表達式通俗的理解，當一個事物有多種可能發生的情況時，具體單個情況發生的不確定性叫做熵，而能夠消除這種情況發生的不確定性的事物叫做信息。二者數量相等，意義相反，我們可以通過獲取信息來消除不確定性(熵) 。
  • 最大熵方法及其在自然語言處理中的應用研究
    最大熵方法的歷史發展最大熵方法本質上就是在遵守相應的最大熵原理建模，需要選用一個可以滿足在限制模型中最大熵值，此基本原理是因為在局部信息數據在被推算的過程中，需要滿足已知的多種條件，並從中感受到最大熵值的概率估算和建模過程是一個不包括偏見的研究結果。此類結果可以滿足全部既定事實，可以不進行對未知結果推算和前提性研究。
  • 科普,熵到底是什麼?
    這個概念就是熵。一個系統的混亂度越高它的熵就越高，這是一種很恰當的解釋，但不幸我們對這種解釋總是摸不到頭腦。 二、熵增現象理解熵 儘管我們還是很難理解熵，不過熵增現象在我們生活中比比皆是。系統由有序轉變為無序被的過程是熵增，比如系的鞋帶會開；家中鋪的很整齊的床單睡過後會變亂...這都是熵增現象。
  • 熵:傷腦筋的熵
    R.普朗克 （原文如此）來南京講學，在南京東南大學作《熱力學第二定律及熵之觀念》等報告，胡剛復教授為普朗克做翻譯，首次將entropy譯為熵 [2]。其根據是公式 ds=dQ/T，因為是熱力學概念，從火；此表達式又是個除式，為商，故名為熵！文獻[3]中有 「濮朗克教授（是否Max Planck待考）……講 『熱學之第二原理及熱溫商（entropy) 之意義』」的說法， 但也未敢斷言。