但凡稱之為系統，幾乎所有都是由微觀個體組成，而系統的狀態只不過是微觀個體自組織行為的概率表現。——坤鵬論
一、計算語言系統的信息熵到底有什麼意義？
通俗地講，在資訊理論中，就是該語言中每個字符轉化為二進位表達平均需要幾個比特。
再聯繫信息熵的計算方法，我們不難得出，一個語言系統的字符種類越多，使用頻率越平均，那需要用來表達每個字符所要使用的平均比特數也就越高。
那比特數，或者說二進位表達的意義是什麼？
——是作為描述信息的一種通用的方式。
香農的資訊理論採用的是電報局的辦法，只計字數不問內容。
但是，這也會遇到問題。
那就是字數和所採用的符號系統（語言文字）密切相關，而各種符合系統的情況又千差萬別。
比如：一段中文，由許多漢字所組成，每個漢字又是從上萬個漢字中挑選出來的，其概率約為1/10；
但是，將其拼音出來，它就變成了一串包括空格的字母，每一個字母則是在26個拉丁字母和一個空格間抉擇的結果，其概率是1/27；
如果我們再將其翻譯成摩斯電碼，每一個電碼，只有兩種可能性，一划或一點，二者必居其一，其概率是1/2。
當然如果再精確些講，摩斯電碼還包括兩種停頓，一共算是有四個符號，概率是1/4。
所以，要定義信息量，必須擺脫具體符號系統的限制，從根本上考慮。
正是基於此，香農提出了信息的統計理論，也就是信息熵公式。
同時，他給出了一個規範化的信息表達系統——二進位。
正所謂站在同一起跑線才能公平競爭。
自此，一切其他語言系統都能計算其轉化為二進位的難易程度，這樣才能夠進行科學的比較。
信息熵告訴我們，一條訊息裡面有多少比特的不確定性，要想清除這些不確定性，就得再輸入相應多少比特的信息。
二、只計字數背後是從連續到離散
在信息傳輸過程中，噪聲是個避無可避的存在。
而且，噪聲並非我們日常所說的噪聲，它涵蓋了一切會削弱信號的東西。
比如：多餘的附近加信號、明顯的錯誤、隨機幹擾、靜電、失真等。
這裡面最麻煩的是，有些可以事先預測，有些則不可預測，而在這個概率的世界裡，永遠存在著不可預測，除非你什麼都不做。
香農把各不相同的通信系統大致分為三類：
連續的；
離散的；
混合的。
在離散的系統中，訊息和信號由獨立的個體符號組成，比如：字符、數字或點劃。
但是，在當時除了電報之外，工程師每天面對的大多是連續系統，其中的訊息和信號被視為連續函數。
那麼，如果要在一個信道中傳輸更多信息，工程師通常會選擇增大輸出功率。
但是，這個方法在遠距離通信中會失效，因為一次又一次地放大信號，只會導致噪聲的逐漸積累。
香農想到避免這個問題的辦法就是，像電報那樣，把信號視為一串離散符號。
這樣，訊息發送者就可以不用增加輸出功率，而是增加額外符號的辦法來進行糾錯，從而克服噪聲的幹擾。
這就像非洲鼓語，在遠距離溝通時，鼓手並不是更加用力地擊鼓，而是為自己的鼓語增加額外的字詞。
而且，把訊息拆成離散的個體符號看待，不僅可以應用在傳統通信領域，還能應用於當時新興的小眾領域——計算機器理論。
離散是什麼意思？
離散的意思就是不連續。
整個數學體系可以粗分為兩類：連續和不連續。
一般的數學的數據範圍都是連續的，比如初高中那些函數，通常都說在某某區間內。
而離散數學則是不連續的數，比如：1和2，中間的如1.1、1.11、1.1111等數都沒有連續，所以叫做離散數學。
離散數學也可以說是計算機科學系的基礎核心學科，它可以看成是構築在數學和計算機科學之間的橋梁。
三、我們這個世界是離散的還是連續的呢？
這又是一個燒腦的話題。
如果從物理的角度講，世界是由物質組成的，而物質又是由極小的粒子組成，粒子是離散的。
在物質波理論、量子力學那裡，粒子通過波構成我們眼前物質，就像水面的漣漪，那就是一種波。
水波由水分子這種物質組成，但水波卻又不是水分子。
比如：我們說100人組成了一個方陣，但方陣並不是100人，只是100個人的排列方式。
法國理論物理學家、物質波理論的創立者、量子力學的奠基人之一路易·維克多·德布羅意認為，物質其實也是波，只是波長特別短，所以你看不到它。
比如：你眼前的桌子看起來是物質，它沒有擾動，其實它是波，它在擾動，只是波長太短以至於你沒法看見。
而這個觀點挑戰了「世界是由物質組成」這個主張，因為波不是物質，波是場的擾動。
場又是什麼？
還沒有人知道。
如果深入地了解物理學，你就會發現，如同信息熵，物理學所描述的世界和我們常識中的世界非常的不一樣。
在物理的世界中，很多概念都沒有意義了。
德布羅意也是愛因斯坦時代的一位牛人，他關于波和量子的論文被愛因斯坦青睞——「這是天才的一筆，揭開了偉大帷幕的一角！」並在自己的論文中專門加入了介紹德布羅意工作的內容。
後來薛丁格發表他的波動力學論文時，明確表示：「這些考慮的靈感，主要歸因於路易·維克多·德布羅意先生的獨創性的論文。」
在得到電子衍射實驗的證實後，1929年，德布羅意因提出物質波理論而獲諾貝爾物理學獎。
後來，德國物理學家玻恩又提出物質波是概率波的見解：
波函數的絕對值的平方，就是微觀粒子在某一時刻出現在某處的概率。
看，又到概率了！
微觀世界裡我們只能用概率描述事件，這就是量子力學描述微觀世界的物理語言。
比如：就像你我，也有可能出現在月球上，但是，和你我坐在電腦前的概率相比，那是非常非常小，以至於生命有限的我們不可能看到這種情況。
這些都是量子力學的基本概念。
也就是說，量子力學認為物質沒有確定的位置，它表現出的宏觀看起來的位置其實是對機率波函數的平均值，在不測量時，它出現在哪裡都有可能，一旦測量，就得到它的平均值和確定的位置。
在《物理學神獸之拉普拉斯獸和薛丁格的貓》中（建議讀，正好可以普及一下量子力學的基礎知識），坤鵬論曾講過丹麥物理學家尼爾斯·玻爾對於電子運動的描述：
「它是一個粒子，同時出現在雲中的所有位置，當我們要測量它的時候它會隨機選一個位置出現，告訴我們它在哪。」
意思就是，沒有觀測時，電子可能會在雲中的任何位置，只有觀測的那一刻，你才知道電子在哪裡；電子在你沒有觀測它時，它是一片雲，在你觀測的那一刻，它是一粒電子。
也就是，微觀物質有不同的存在形式，即粒子和波（雲）。
為此愛因斯坦沒少和玻爾打嘴仗，提出一個又一個思想試驗證明玻爾的矛盾和錯誤。
而薛丁格的貓這隻物理學四大神獸之一，就是薛丁格助力愛因斯坦的思想實驗。
通過複雜性科學的學習，我們知道了，所有系統都是由微觀個體組成，系統的狀態只不過是微觀個體自組織行為的概率表現。
就像黑天鵝事件，它出現的稀少並不代表它不存在。
而塔勒布《反脆弱》之所以有用，關鍵就在於黑天鵝不僅存在，而且發生的概率絕對比我們預想的高得多，甚至根本用不著活久見。
所以，我們的世界歸根結底就是概率的世界，概率是它運轉的最高法則。
那麼，《反脆弱》叫《如何在概率世界更好地生存？》應該更加貼切。
當琢磨明白這個問題後，也就同時踏上了哲學的道路，所以很多大物理學家也同樣可以稱為哲學家。
也是，畢竟所有科學都誕生於哲學，是哲學下的蛋，它們不過是哲學發展出來探究這個世界的方法論。
本文由「坤鵬論」原創，轉載請保留本信息
請您關注本百家號，坤鵬論自2016年初成立至今，創始人為封立鵬、滕大鵬，是包括百度百家、頭條、雪球、搜狐、網易、新浪等多家著名網站或自媒體平臺的特約專家或特約專欄作者，目前已累計發表原創文章與問答6000餘篇。