思維之熵

2021-02-19 創業邦

邦哥推薦:成長的過程,就是我們不斷汲取外界的能量,讓自己從「更加無序」變得「更加有序」的過程。
來源丨L先生說(ID:lxianshengmiao)

經常有讀者問我,說:

為什麼向您請教一個問題,您總能很快指出在哪篇文章裡面提到過,是因為您的記憶力特別好嗎?

其實不是的。更重要的原因是:如果你經過系統訓練,有意識地去獲取知識的話,是應該能夠把知識聯繫起來,連成一張網的。

那麼,對你而言,每一個知識點,無非都是這張網裡面的一個局部。面對任何一個知識點,你都可以知道「它在哪兒」,然後循著路徑去找到它,並牽引出它的來龍去脈、前因後果。

很有趣的是,這恰好跟物理學裡的一個概念是對應的:熵。

什麼是熵?簡單來說,就是無序程度的度量。熵越高,表示一個系統越混亂、越無序、越不確定。

舉個簡單的例子:把一句話拆成十幾個詞,它們彼此組合起來可以有幾十種可能性,那麼它們的無序程度就很高;但把它們組合成一個句子,就只能表達一個意思,那麼這個句子的無序程度就非常低,而確定性就提高了。

比如:「小明」「小紅」「喜歡」,這三個詞就有兩種可能性:究竟是小明喜歡小紅,還是小紅喜歡小明?但如果我們把它變成「小明喜歡小紅」,從詞語變成句子,它的表意就非常明確了。

在這個例子中,前者就是一個高熵的狀態,而後者就是一個低熵的狀態。

熱力學第二定律告訴我們:一個孤立系統,總是傾向於由低熵狀態向高熵狀態演化。因為高熵狀態從概率上是「更可能」出現的,而低熵狀態是「更不可能」出現的。這就是大家耳熟能詳的「熵增」定律。

舉個簡單的例子:一個房間,正常情況下,如果不去收拾它,它一定會隨著時間推移,變得越來越亂、越來越髒,這就是一個高熵的混亂狀態。

那如何讓它變成低熵的有序狀態呢?熱力學告訴我們,這就需要進行能量的交換,亦即對這個孤立系統注入能量。

在這個例子裡,就是需要你主動地去收拾它、整理它,亦即注入你的時間、精力,才能使它進行「熵減」 —— 由高熵的無序狀態,回到低熵的有序狀態。

生命其實也是如此。

我在《感覺人生很艱難,怎麼辦?》裡面,提到過一句話:「絕對的自由也許意味著無序,亦即無限的可能性。但生命作為熵減的有序體,這本質上就是互相對立的。」

有些同學表示不理解。其實是這樣:生命的本質是什麼?如果我們把生命看作一個系統,那麼它就是通過攝取能量,把外界無序的、混亂的信息,轉變為自身內部有序的信息,這麼一個過程。

這就是「熵減的有序體」。

以我們為例:你每一天都在成長,那麼你的身體發生了什麼變化?

你通過進食獲取能量,這些能量在基因的指導下被轉化為蛋白質,用來構建和修復你的組織;

你和外界產生交互,這些訊息通過大腦的記憶活動被篩選出來、沉澱下來,形成你的記憶;

乃至於你產生一個想法,都是因為大腦皮層中160億個神經元在放電,從而把各種感官信息、心理表徵和記憶印記整合起來,組合成一個統一的、整體的、有序的「意識」……

這些,都是從無序到有序的「熵減」過程。

可以說:成長的過程,就是我們不斷汲取外界的能量,讓自己從「更加無序」變得「更加有序」的過程。

當然,這篇文章並不是科普文,所以關於熵的內容,就不講太多了。大家對此有一個概念就好。

我主要想說的是:我們的思維,其實也是一樣的。

什麼意思呢?

我們每一天,都在從外界攝入信息。這些信息可能來自各種渠道,表達不同的內容,激發你不同的思考……

它們本質上是無序的,都是一塊塊信息碎片,彼此之間可以有無數種組合的可能性。這是一種高熵的狀態。

但大腦是無法處理高熵狀態的。因為高熵狀態的可能性(在物理學裡面,叫做「相空間」)非常多,這就意味著,大腦不得不花費許許多多資源,來儲存它們。

所以,如何才能把攝入的信息化為己用,讓自己能夠記住、理解和用上?最本質的做法,其實就是把這些信息,從高熵的無序狀態,轉化為低熵的有序狀態。

我在很多文章裡都提過一對對立的概念:「碎片化」和「體系化」。它們背後的本質,其實就是「高熵無序」和「低熵有序」。

所以,什麼叫做碎片化信息?不是說你從微博、知乎、公眾號看到的內容就一定碎片化,你讀書、聽課得來的內容就一定體系化,它最核心的點是:當這些信息進入你的大腦裡面,是以什麼樣的形式被你所編碼和儲存的。

你孤立地、碎片地去記憶它們,那就是碎片化的;反之,你能夠把它們串聯成一個體系,彼此之間建立聯繫,讓知識連成一張網,那就是體系化。

只有後者,才是真正有效的學習,也是能夠持久記住、理解和應用的學習方式。

所以,我在很多文章裡面,都會強調一個觀點:一定要構建框架,再去學習。

為什麼這樣說呢?框架的本質是什麼?就是元素與元素的某種固定的結合方式。當你對某個領域有了一個基本框架,你就相當於有了一張地圖。你會知道:

這個知識點應該放在哪兒,這個知識點又應該放在哪兒,它跟前一個知識點之間有什麼關係……

這就像前面所說的:把無序的「詞」,組合成了有序的「句子」。

在這種情況下,你所吸收的知識,才能真正成為你的積累,形成你的思維之網。

很多朋友對此也許會有兩個疑問。

第一:有些人會覺得:要對一個領域搭框架,是不是要很熟悉它才行?那當我還不熟悉它的時候,應該怎樣去搭框架呢?

其實,框架可以自上而下,也可以自下而上。

舉個例子:

我平時在閱讀學習的過程中,可能會接觸到很多關於「意識」的知識點。比如:

「科學家一度認為屏狀體是意識所在的區域」

「意識的兩大流派之一:IIT 理論」

「意識的兩大流派之一:GWT 理論」

「人工智慧可以擁有意識嗎?」

「IIT 和泛心論」

……

這些知識點零散在存放在大腦中,那麼它們就是碎片化的。但是,我可以把它們整合起來,形成一個整體的框架,像這樣:

……

那麼,這就是一個關於「意識」的整體框架。有了這個框架,我就會知道,每一個具體的知識點應該放在哪兒。同樣,如果以後獲取到了新的知識點,我也會知道:它可以放在哪兒,可以如何跟其他知識點構建聯繫。

當我需要從大腦中提取「意識」的相關內容時,我就從這個框架裡面去找就好了。比起我需要費勁地去回想「我看過哪些跟意識有關的知識點?」,這種做法更加輕鬆、方便、毫不費力。

第二,有些朋友可能會問:那框架搭錯了怎麼辦?

這壓根不是一個問題。搭框架又不是考試答題,更不是蓋摩天大樓,搭錯了,改就好了呀。

當你發現「框架搭錯了」時,一定是發現了有一些知識點,跟目前的框架是不相容的,沒辦法放到一起。那這個時候,就不妨結合這些新的知識點,來修補和改善原有的框架,把它們融合進來。

實際上,當遇到這種情況時,你應該感到開心。為什麼?因為這就是認知升級的機會。知識點的獲取和更新不是認知升級,知識框架的更新迭代才是。

所以,我一直說:要保持思維的開放性。什麼叫開放性?就是始終不排除「如果我錯了,會怎麼樣?」,始終讓自己的知識框架保持生命力,不斷迭代。

我們會看到:有些到了一定年紀的人,很容易思維固化,活在自己過去的認知裡面,拒絕去接受世界的新變化。這種現象,其實就是思維缺乏開放性,知識框架固化了 —— 也就是大腦真正「衰老」的開始。

只要保持開放性,就永遠不用擔心「出錯」。因為我們總是可以去修正它,讓任何外在的衝擊,都被我們吸納進來,成為使得系統更加穩健的一環。

更進一步,從框架再往前走,就是模型。

什麼是模型?其實非常簡單:當你遇到許許多多同類型的問題,理解和解決它們之後,你一定能夠從它們中間發現很多共性。這些共性整合到一起,就可以形成你對新的同類型問題的預判,幫助你更好地入手解決 —— 這就是模型。

模型的作用在於:可以幫助我們「合併同類項」,把相似的問題歸類起來,用同一套方式去解決,大大地節省我們大腦的認知資源。

我在以往的文章裡面,也分享過不少的思維模型。最常見的有這麼幾個:

系統思維模型:把一個事物看作一個整體的系統,去思考組成它的各部分元素,各元素之間的聯繫,以及挪動一個元素時,會如何傳遞給其他元素,造成對系統整體的擾動……

循環迴路模型:設計一套規則,營造一個環境,施加一個外力,讓一個系統能夠自己運轉起來,並通過運轉的結果為自己提供動力,不斷地循環下去,同時產生有效的產出;

成長系統模型:通過對問題的暴露和刺激,用新模式替代舊模式,不斷去矯正和訓練自己的大腦,讓心智世界更接近現實世界。

諸如此類。

這些模型是怎麼來的?其實都來自於對生活、工作、成長中遇到的問題的復盤和抽象思考。大體上,有這麼幾步:這個問題的本質是什麼?如果把它的具體場景和表象去掉,它背後的結構是什麼?在處理這個問題的過程中,我經歷了哪些步驟?會遇到哪些障礙?藉由這個問題的解決,我能夠從中抽象出什麼經驗,為以後的問題提供參考?我之前在文章裡提到過「對解決過的問題進行建模」,指的就是這樣。這本質上就是一個熵減的過程。如果說框架,是把我們「已知的知識」變得有序,把它們結構化;那麼模型,就是對於「已知的問題」和「未知的問題」進行熵減,把碎片化的問題、案例和場景,進行抽象的提煉,從更高的維度去把它們融為一爐,形成一個更加有序的整體。

它著眼的,是對這個世界的認知方式,是如何識別、理解和探索這個未知的世界。

所以,可以說:一個人的知識框架,決定了「我是誰」;而一個人的思維模型,決定了「我會成為誰」。

當然,這兩者是沒有高下之分的。可以說,它們同等重要。知識框架就像蛋白質,構成我們穩定的自我認知;思維模型就像碳水化合物,為我們探索世界提供動力。

它們都是構成我們有序的、低熵的大腦的必不可少的部分。

你的大腦越高度有序,越能夠把碎片化的信息整合到一起,形成一個複雜的整體,你也就越能更好地理解和適應外部的世界,從而讓心智世界跟外在世界更好地擬合。

最後,分享一個簡單有效的,可以鍛鍊大腦、使得思維更加「有序化」的方法:

那就是寫作。

當然,這裡的寫作,不僅僅包括文字寫作,也包括其他一切形式的輸出 —— 比如視頻、音頻,等等。

為了方便起見,這裡以文字寫作來泛指一切輸出。

你會發現,寫作本身,就是一個最簡單的「熵減」的例子:把大腦中零散的、無序的思維碎片,整合成一篇高度有序的文章,從而把你的想法提煉、濃縮,形成一個有序的整體。

這個過程是很痛苦的,因為它會消耗你的腦力(熵減需要消耗能量)。但是,也正是因為這個過程,我們才得以把攝入的信息碎片和思維碎片,整合成一個整體,構建起框架和模型。

所以,我非常建議每一位朋友,養成日常寫作的習慣。不一定要發表,不一定要寫給別人看,也不一定要寫得多好、寫得多長,哪怕是每天寫兩三百字,只要能夠把你腦海中的思維碎片進一步整理,都是好的。

我會把寫作分成兩大類:寫給自己的,跟寫給別人看的。後者的確是一門學問,需要一定的方法和訓練,但前者不需要。只要你能在這個過程中,讓自己的思維變得越來越清晰、明確,不斷地提升大腦的有序性,就是理想的。

所以,不用對「寫給自己的寫作」有太高的要求,也不用去買專門的書、學專門的課程,沒有必要,寫就完事了。

簡單分享幾個心得,希望能給你一些指引。

每種方式都有入門版和進階版。零基礎的朋友可以用入門版,有一定基礎和時間的朋友,可以用進階版。

1. 事件日記

入門版:

今天發生了什麼事?我看到了什麼有趣的新聞?

如何用儘量簡短的話,描述一下每個事件的梗概?

進階版:

這種方式可以鍛鍊你的敏感度和洞察力,讓你對外在世界保持更高程度的敏感。

另外,進階版同時可以鍛鍊形成自己觀點的能力。經常有讀者問我:如何培養自己的觀點?我總覺得我對很多事情都「沒有觀點」 —— 那麼,不妨試試這種方式。

我在之前的文章裡也提過:化「碎片認知」為「連續認知」,去關注一個事件的正反面立場和連續的發展,你才能對它有一個更深入、更全面的認知。

同樣,保持這種習慣,去理解和探索世界,你才能對這個世界,擁有「自己的判斷」。

而不是人云亦云,任由自己被別人的觀點和立場灌輸、帶跑。

2. 知識卡片

入門版:

進階版:

這種方式可以有效地沉澱自己的信息攝入和加工。當積累到一定程度之後,翻出這些知識卡片,你會感到巨大的滿足感和成就感。

進階版則更進一步。這種叫做共情式寫作,它要求你去體會一個人的內心,去試著思考和理解「他人」,站在他人的角度看待問題。

一方面,這種方式可以有效地提升你對這個知識點的理解;另一方面,它也可以極大地鍛鍊你的表達能力。

我自己非常喜歡這種做法。比如:前陣子和一位法務朋友聊天,有了一些收穫,我就會想:假如現在我有朋友要開公司,我會如何跟他普及一些基本的注意事項?於是,寫出來。

最近看到有些人在討論 MCN 的問題,我又會想:如果有朋友問我相關的問題,我要怎樣向他科普?於是,寫下來。

諸如此類。這種做法,一方面,可以把我獲取的信息、積累的知識體系化地整理出來,讓自己的思維更加有序;另一方面,它們也可以成為有用的素材,也許將來哪一天就用得上。

3. 觀察日記

入門版:

進階版:

這種做法,非常顯然,可以鍛鍊你的觀察力和想像力。它的作用在於,把你零散的感官信息整合起來,構建起對一些場景、地點的基本認知,以此來形成你對這個世界的框架。

而進階版則是一種很有效的文學創作的鍛鍊方式。如果你有志於小說、劇本等的創作,可以試一試。

4. 靈感日記

入門版:

進階版:

這個方法可以幫你捕獲每天的靈感和想法。我們每一天,可能會產生數百到數千個想法,哪怕只有百分之一是有用的,也是一個不小的數字。如果任由它們產生再消失,就像泡沫一樣破裂,那就非常浪費。

不妨試著讓它們「熵減」,把它們變成有序的整體,去思考,如何能夠讓它們落地,在以後的某一天發揮作用。

實際上,我的很多文章和課程內容,都來自於這些靈感的落地生根。它們就像一顆顆種子,可能在當下沒空去處理,但播種下來,再不斷去翻閱、聯繫、碰撞,就能生根發芽,誕生出一些真正有用的想法。

哪怕真的無法「用起來」,但積累這些靈感和想法,也能有效地提升自己的幸福感,讓自己感到,每一天都是充實的,都能留下痕跡。

5. 復盤日記

入門版:

進階版:

這一點,可以幫助你把遇見過的經歷、解決掉的問題,最大限度地「榨取」它們的價值,內化成你的思維模型。

從而,使得你付出的腦力和精力,以另一種形式儲存起來,成為你的工具箱,在以後需要的時候,可以隨時調用。

最後,總結一下:

用有效的思考,來對抗思維之熵。

讓大腦變得高度有序,才是對抗不確定性的法寶。

點擊視頻號查看更多DEMO CHINA創新中國秋季峰會動態。

相關焦點

  • 產品經理之熵減思維
    假期閒來無事翻閱了華為內部學習郵件《華為之熵,光明之矢》,文章系統闡述了任正非思想中的「熵減」理論,這是一個非常有意思的理論,華為將熱力學理論引入到公司治理系統,作為公司運作和管理的一個獨特思想。筆者讀完之後受益匪淺,回首自己的工作經歷和感悟,筆者覺得產品經理更需要熵減思維。那麼熵減思維是什麼?一句話簡單描述就是將事物由無序轉化為有序的過程,即抵抗熵增的思維方式。
  • 熵:傷腦筋的熵-虎嗅網
    熵是一個體系之作為熱力學體系所特有的廣延量,是熱力學的靈魂。可以說,如果一個體系的物理學描述不出現熵這個物理量,它就不是一個熱力學的問題。熵是和溫度相聯繫的,實際上溫度是熵關於能量的共軛,但溫度並不總是可以定義的。
  • 從能量-要素-連接-結構-熵增-熵-熵減-負熵視角,去看一個系統!
    熵這個字,其實是極端的抽象,熵的意義跟字面是毫無關聯的。中國的象形文字,代表著會意,但熵無法會意,也無法象形,只有極端的難以理解,只有極端的抽象。熵這個字就會嚇倒一大批想了解它的人,熵,是仙女也要讓她下凡,食人間煙火。
  • 熱力學熵與信息熵殊途同歸之二(普及篇)
    這實際上給出了一種特殊概率分布——均勻分布的信息熵,它與熱力學熵的玻爾茲曼公式完全一致,體現了熱力學熵與香農信息熵的同一性。而且,這個實例使我們對一般以公理化方式引進香農信息熵更容易理解。問題 1:有 16 個外形完全一樣的銅球,其中有一個球的重量比其它球略輕,問用一架天平稱幾次一定可以把這個輕球找出來?
  • 熵:傷腦筋的熵|賢說八道
    本文為《物理學咬文嚼字》027,原名為熵非商-the Myth of Entropy。熵是溫度關於能量的共軛量,脫離溫度理解熵,難免不著邊際。此次趁同「什麼是溫度?」 一起發表之機,又增添了兩條補綴。熵是一個體系之作為熱力學體系所特有的廣延量,是熱力學的靈魂。可以說,如果一個體系的物理學描述不出現熵這個物理量,它就不是一個熱力學的問題。熵是和溫度相聯繫的,實際上溫度是熵關於能量的共軛,但溫度並不總是可以定義的(1)。
  • 從熵減理論思考如何提升學習能力
    012017年9月份,華為總裁辦發布了《華為之熵,光明之矢》的內部學習郵件,文章系統闡述了任正非思想中的「熵減」理論。實際上,早在2012年,任正非就陸續在多篇文章和講話中提到了「華為之熵」的概念。任正非在與2012實驗室的座談中,第一次公開在內部提到了熵。
  • 幾乎支撐著科學的半壁江山的「熵」到底是什麼?深入討論熵理論
    為了完全理解熵是什麼,我們需要知道它是從哪裡來的。最早提出熵概念的是拉扎爾·卡諾,他以研究發動機和領導法國革命軍而聞名。拉扎爾對輸入系統的功和輸出系統的功的比較之間的關係非常感興趣。他把輸出的功稱為「有用的功」,而把損失的功稱為「轉換能」。這就是後來的熵。
  • 《熵減:華為活力之源》—讀書筆記導圖分享
    文章結尾附有思維導圖,幫你梳理文中脈絡精華。歡迎閱讀,你離知識又近一步。今天分享的書籍是《熵減》。熵是來源於物理科學熱力學第二定律的概念,熱力學第二定律又稱熵增定律。熵增表現為功能減弱直到逐漸喪失,而熵減表現為功能增強。熵的概念是貫穿任正非華為管理思想的精華。
  • 熵:傷腦筋的熵_湃客_澎湃新聞-The Paper
    本文為《物理學咬文嚼字》027,原名為熵非商-the Myth of Entropy。熵是溫度關於能量的共軛量,脫離溫度理解熵,難免不著邊際。此次趁同「什麼是溫度?」 一起發表之機,又增添了兩條補綴。
  • 全球熵ETV是如何利用熵增熵減原理實現財富增長的?有什麼獨到之處?
    全球熵ETV理財為長期穩定的理財模式,不造勢,不忽悠,我們應該去正確了解熵理財的規則以及特色:ETV衡量為3100萬,永不增發,首發39萬進行流通,剩餘3061萬枚採用配送的方式來抵消熵減機制平衡資產效果,平臺通過平臺幣usde流通,初始化39萬熵值,從1ETV=1USDE開始循環上漲。
  • 漫談熵
    前綴可見Entropy 與能量Energy有關,而後綴是變換之意,因此Entropy 聯繫的是能量變換的過程。寫成S 可能是為了紀念卡諾(N. L. Sadi Carnot)。中文翻譯「熵」體現的是熱溫商之意。可是,這個最初由熱力學引入的概念在後來的研究中變得極為重要,其意義也遠遠超越了Entropy 或者中文翻譯「熵」所暗示的內容,在包括信息學、宇宙學等領域內都大放異彩。
  • 機器學習最常用的損失函數之交叉熵
    其熵為1,他的不確定性比前邊兩位同學要高很多,在成績公布之前,很難準確猜測出他的考試結果。 可以看出,熵其實是信息量的期望值,它是一個隨機變量的確定性的度量。熵越大,變量的取值越不確定,反之就越確定。在圖中也可以看出,當p=0或1時,熵為0,即此時X完全確定。 熵的單位隨著公式中log運算的底數而變化,當底數為2時,單位為「比特」(bit),底數為e時,單位為「奈特」。
  • 「熵」什麼意思?它的變化有什麼意義?
    談一下個人的視角,熵這個字比較偏,很多人不會讀,它的拼音【[shāng]】,是指一個封閉系統的混亂程度,今天著重談一下熵[shāng]對我們有什麼啟發的意義。談意義之前,我們要建立對熵的一種認知。熵的意義在於指出,如果你什麼都不做,事物不能保持現狀,只會朝著更加混亂的方向變化。因此,我們要付出能力【做功】,把混亂帶入有序【負熵】的狀態。能量-熵-熵增-負熵-精神熵-心流-意志力-自制力的意義,幫助自己打開視角,看待自身與看待自身之外的事物。
  • 生活中的熵增定律&信息維度的熵減
    關鍵詞:熵、熵增、熵減、信息工具。 解答問題:為什麼生活中有那麼多越來越亂的現象?人為什麼需要自律? 然後深查「熵」概念,會翻出一些大牛人物,比如克勞修斯(物理學家)、香農(資訊理論之父)、吉布斯(考普利獎獲得者)……,也有五花八門的熵:信息熵、度量熵、拓撲熵、玻爾茲曼熵,還有一堆的公式
  • 到底什麼是「熵」?----熵的概念辨析(5)
    到底什麼是「熵」? 以前的介紹:熵的世界你不懂?----熵的概念辨析(1)熵(傷)腦筋?
  • 沉思錄|宇宙之信條——時間與熱力學熵的故事
    我們沉思,並不僅僅是觀察各學術領域的發展,還有對學術進步下我們人類看待自己和彼此方式之變化的思考。主角從此不再有身份,加入「信條」組織,成為無名氏,他的任務是保護全世界不要被逆時間毀滅。在本期欄目,我們邀請了物理學專業的寫手Minister,他將從電影出發,深度解讀時間和熱力學熵兩個物理概念,幫助大家理解電影背後樸素的科學原理、探索我們生存的宇宙的命運。宇宙之信條——時間與熱力學熵的故事作者 | Minister最近上映了一部十分熱門的科幻電影巨作:信條。看了電影的朋友們都說它十分燒腦。
  • 熵的世界你不懂?----熵的概念辨析(1)
    熵,--一個難以理解和應用的概念。(不要給提熵,提起熵,我就傷腦筋,腦子裡的熵就增大了,腦子裡的混亂度增大了,腦子就成漿糊了。
  • 熵、交叉熵和KL散度的基本概念和交叉熵損失函數的通俗介紹
    但是,由於當今龐大的庫和框架的存在以及它們的易用性,我們中的大多數人常常在不了解熵的核心概念的情況下著手解決問題。所以,在這篇文章中,讓我們看看熵背後的基本概念,把它與交叉熵和KL散度聯繫起來。我們還將查看一個使用損失函數作為交叉熵的分類問題的示例。什麼是熵?
  • 秩序與精神熵 |《心流:最優體驗心理學》讀後感
    《心流》中,稱為「最優體驗」、「負精神熵」,代表「積極」、「全神貫注」、「一氣呵成」等正面情緒、狀態。 0.2 精神熵 熵(外文名:entropy),熱力學中表徵物質狀態的參量之一,衡量體系混亂程度的度量。體系內越混亂,熵值越大。
  • 軟核科普:什麼是信息熵?
    我們對熵的了解最早來自於初中化學表示化學反應的熵判據。其實對於熵的研究是從熱力學中引入,用於表示熱力學第二定律。既''一個孤立系統的熵不會減小''。 而我所要講的信息熵和這個熱力學上的熵本質上並不是一個東西,但有一點聯繫,(就一點)通俗來講:熵就是用來衡量物質的混亂程度,(我高中化學老師就是這麼跟我說的)而在資訊理論上來講,熵是對信息量大小的度量,而什麼又是『信息量』呢?