羅夫·蘭道爾
在人類文明史上,存在一些基本的理論概念。一旦弄清這些基本概念之間的聯繫,科技乃至人類文明就將出現飛躍。比如愛因斯坦搞清楚了質量與能量的關係後,人類就製造出了原子彈,愛因斯坦也成為科學史上巨人。
那麼,如果有人闡明了信息與能量的關係,他是否也會青史留名?答案是肯定的,這個人就是羅夫·蘭道爾(Rolf Landauer)。
來自IBM公司的一篇論文
1927年,蘭道爾出生在德國斯圖加特的一個猶太人家庭。1934年,蘭道爾的父親去世後,母親帶著他遷居到美國紐約生活。1945年,18歲的蘭道爾從哈佛大學畢業後,在美國海軍服了18個月的兵役。兵役結束後,蘭道爾返回哈佛大學攻讀博士,1950年拿到博士學位。
1952年,蘭道爾加入IBM公司工作,成為一個上班族。他從來沒跳過槽,生活看上去波瀾不驚。但到了1961年,蘭道爾在《IBM研究通訊》上發表了一篇令他青史留名的論文,這篇論文的題目是《不可逆性與計算過程中的熱量產生問題》。在這篇論文中,蘭道爾指出了一件以前從來沒人發現的事情:經典計算機要擦除一個經典比特的信息,其所消耗的最小能量是kT ln2(k 是玻爾茲曼常數,T是經典計算機所處的外界物理環境的溫度)。
蘭道爾是怎麼得到這個結論的?為了搞清楚這個問題,我們需要對信息多一些了解。
什麼是信息?
在資訊理論的鼻祖香農看來,信息其實是對不確定性的消除。比如一個女生不確定一個男生是不是喜歡自己,而這男生對女生說:「今天晚上我請你看電影吧?」這句話裡面就是包含信息的,因為這句話在一定程度上消除了不確定性。
但是,如何度量信息的多少呢?這就需要用到一些數學了。
1948年,香農提出了「信息熵」的概念,信息熵解決了信息的度量問題。信息熵的定義如下(其中pi為每種可能性的概率):
這個公式可以對照物理學中著名的熱力學熵公式:
這兩個公式的區別有兩點:首先是兩者差了一個玻爾茲曼常數K;其次是求對數的時候,信息熵是以2為底的,而熱力學熵是以自然常數e為底的。
我們可以用以下例子來理解信息熵:考試時,有一道選擇題,你對4個選項ABCD都不確定。那麼,這時每個選項正確的概率是25%。於是,這時的信息熵就可以這樣用以上提到的信息熵公式來計算。
把四個pi都等於25%代入以上那個公式,就可以算出這個時候的信息熵等於2比特。
這個時候,考場裡進來一個人,這個人是你非常信任的張老師。張老師突然告訴你說:「選項A與選項B肯定不對,不用選了。」張老師說的話是給你信息了。那麼,老師的話裡包含了多少信息呢?
現在對你來說,選項AB可以排除,那麼只剩下選項C與D了。對你來說,C與D各自正確的概率是50%。
所以,這時你把兩個pi都等於50%代入,可以得到的信息熵等於1比特。你會發現,信息熵減少了。
所以,對你來說,張老師的話包含的信息量是1比特,因為2-1=1(這裡涉及到一個信任問題,如果你不相信張老師的話,那麼張老師的話對你來說並不包含信息)。
從信息熵到熱力學熵
有了香農的信息熵以後,可以把它與物理學中的熱力學熵聯繫起來。
在這裡,需要使用高中數學中求對數的換底公式,在求對數的時候,信息熵是以2為底的,而熱力學熵是以自然常數為底的,統一換成以自然常數為底,兩者相差一個ln2。
所以,按照物理學的理解,3比特的信息熵,對應的熱力學熵就是3kln2 。在這裡K是玻爾茲曼常數,這個常數給出了信息熵與熱力學熵的轉化。用公式表示就是:
這其實也是當年香農考慮信息熵的時候的出發點,他正是通過玻爾茲曼的熱力學熵來類比資訊理論中的熵的。只不過在資訊理論中不需要玻爾茲曼常數,所以他當年在定義信息熵的時候,把玻爾茲曼常數省略了。
而蘭道爾要考慮的問題則更進了一步,他需要考慮一個真實的物理過程。在這個過程中如果想要用物理的手段擦除1比特的信息,需要多少能量呢?
物理圖像
蘭道爾是用熱力學與統計力學的思維來思考這個擦除信息的過程。他的思考本質上,就是物理學家非常熟悉的麥克斯韋妖。
英國物理學家麥克斯韋假設有一個密閉的容器,由一個沒有摩擦力的隔板分成左右兩部分,隔板上是一個由麥克斯韋妖控制的閥門。起初,箱子兩側溫度相同,當高速分子由左向右運動或慢速分子由右向左運動時,小妖就打開閥門令其通過;而當高速分子由右向左運動或慢速分子由左向右運動時,小妖就關閉閥門。
久而久之,高速分子都跑到了右區,慢速分子都跑到了左區,於是左邊的溫度明顯降低,而右區的溫度明顯升高。這樣,因為麥克斯韋妖的存在,這個系統內出現了溫度差,其有序性大大增加,熵就大大減少了。
很明顯,如果麥克斯韋妖存在,那麼它可以使得熱力學系統由溫度的平衡態轉變成了不平衡態。但這是有代價的。麥克斯韋妖需要付出什麼代價呢?麥克斯韋妖需要獲得信息,它必須讀取每個氣體分子的速度,然後做出判斷,判斷這個分子的速度是快還是慢(這是一個典型的是非判斷)。這個過程要求麥克斯韋妖必須具有智商(也就是具有信息處理的能力)。
所以,從這個物理圖像中很容易看出,信息熵與熱力學熵本質上是等價的。換句話說就是,氣體熱力學熵的減少,其實是以麥克斯韋妖自身的信息熵增加為代價的。麥克斯韋妖每讀取一個分子的速度快慢,氣體分子的信息熵降低1比特,而麥克斯韋妖自身信息熵就會增加1比特,最後麥克斯韋妖的大腦就會很累,因為它的大腦儲存了大量的信息熵。
信息與能量的聯繫
上面的討論可以讓蘭道爾洞察出信息與能量的關係。
在物理上,能量對熱力學熵(內含玻爾茲曼常數)的導數等於溫度
蘭道爾構造了一個模型,來解釋這個問題。為了敘述方便,我們把蘭道爾的思想翻譯為如下模型。
首先,我們構造一個盒子,把這個盒子分為左右兩部分。然後假設有一個氣體分子,如果我們不確定它到底是在左邊還是右邊,那麼與本文一開始寫到的做選擇題的情況類似,相當於有兩個選項(選左邊或者右邊),這時的信息熵是1比特。
現在,假設在箱子的右邊有一個活塞,活塞可以通過等溫壓縮把氣體分子推到左邊。在這個過程結束後,我們能夠確定氣體分子一定處於盒子的左邊,所以,氣體分子的信息熵就等於0。
因此,從資訊理論的角度來說,在活塞運動的過程中,相當於擦除了1比特的信息。而從物理學的角度來說,活塞的運動是需要消耗能量的,在等溫壓縮的過程中,可以通過本小節的微分公式算出,活塞做了kT ln2 的功。這就是蘭道爾原理的基本思想:經典計算機要擦除一個經典比特,其所消耗的最小能量是kT ln2。當然蘭道爾用了比較長的篇幅來論證這個能量是最小的,我們在這裡就不展開論證了。
信息熵是香農在1948年提出來的,而且很快就成了信息科學的主流科學術語。目前5G時代的計算網速的理論依據也是以信息熵為基礎的,香農的公式刻畫了信息傳遞的效率與帶寬以及噪聲的關係。毫無疑問,香農奠定了資訊理論的基礎。
而1960年蘭道爾需要考慮的問題是本質上是信息熵與能量到底是什麼關係。他考慮的問題看起來很奇怪,在他之前確實沒有人考慮過這個問題:如果我們想要擦除1比特的信息,最少需要消耗多少能量?從資訊理論的角度來說,比如給你一個U盤,U盤裡存了一張照片,你要刪除這張照片(不能毀滅U盤),你肯定要給U盤接上電腦,那麼電腦肯定要花電費,必須要消耗能量才能把這個照片刪除。因此,蘭道爾原理也解釋了電腦在工作的時候為什麼會發熱,因為電腦一直在擦除信息。其實,對於人腦也一樣,人腦也是一個內存,如果要忘記某件事某個人,也必須要消耗能量。因此,蘭道爾的思想還是很有價值的。