香農,帥又有才的科學家

今年是資訊理論的創始人香農（C. E. Shannon，1916-2018）誕辰102周年。他於1948年發表了著名的文章「通信的數學理論」（A Mathematical Theory of Communication）創建了資訊時代的理論基礎——資訊理論。香農因而被稱為「資訊理論之父」。說來奇怪，數學理論的形成和出現都是一步一步逐漸實現的。可香農的文章甫一問世，就是個成熟的理論。這頗有點兒令人感到驚詫。香農是美國貝爾電報電話公司的一位很低調的數學家和電器工程師，1938年他曾將沉睡多年的布爾代數應用於電路設計中，讓布爾代數第一次找到了用武之地，從此布爾代數就成為電路和計算機運行的必不可少的邏輯工具。那麼他的資訊理論似乎也是這樣。1924年，美國物理學家奈奎斯特（N. Nyquist）發現，如果以一個確定的速度來傳輸電報信號，就需要一定的帶寬，這就是所謂的奈斯奎特定律，即信道的極限速率（碼元速率）等於信道寬度（低通信道）的2倍。奈氏的貢獻是將信息率與帶寬聯繫了起來。1928年哈特萊（R. V. Hartley）進一步深化了奈奎斯特的工作，在他的「信息傳輸」（Transmission of Information）一文中，不僅將「信息」一詞作為科學術語提了出來，而起還提出信號（信道）在時間T的持續中的帶寬Ω擁有一個自由級的數，即2ΩT，因此該帶寬便可以傳輸最大的信息量。他還定義了等概率N的可能狀態等於log2N.前人的工作對香農資訊理論的思想還都是有影響的。

香農在1943年曾與英國邏輯學家和數學家圖靈（A. Turing）有過交集。當時圖靈正在美國訪學，但卻各事其主。他們各自具體的工作都涉及到軍方機密，因此均守口如瓶。那時他們二人均在從事密碼分析工作，但目標卻相反。圖靈要對付如何破譯德軍的密碼，以避免德軍的U型潛艇對英國商船的襲擊。而香農的工作則是探究X系統的工作，該系統就是用來加密通信的，以確保坐陣五角大樓的羅斯福和在大西洋另一端邱吉爾辦公室之間的語音通話不被竊聽。一個是破譯通信密碼，一個是加密通信內容。既然密碼的問題不能進行討論，那就談些純的學術問題吧。圖靈給香農看來他1936年寫的那篇著名文章「論可計算數及其在判定問題上的應用」。圖靈所謂的「判定性問題」就是能否發現嚴格的、分步的算法，給定某種演繹推理的形式語言，這樣就可以用機器證明。這一思想呼應了萊布尼茨的夢想。萊布尼茨的夢想用現代計算機科學的術語表達就是「能行可計算」的過程。

1945年，香農終於完成了「密碼術的數學理論」的保密報告。從密碼分析的角度看，系統中的有噪通信系統與密碼系統沒什麼不同，數據流故意被弄得表面上看上去是隨機的。但事實上絕非如此，否則其中的信號也會丟失。從某種意義講，密碼也是一種語言，就像日常語言一樣，是符合一定模式的東西，換句話說，密碼深處也具有相應的模式隱匿其中。從語言學的角度出發，當時的語言學家就是試圖從語言含糊不清而又連綿不斷的形狀和聲音中找出其結構。語言學家薩丕爾（E. Sapir）在1921年的名著《語言論》中便論述道：「單個語音並不是言語的實質性事實；語言的實質性事實毋寧說在於思維的分類、形式模式……語言，作為一種結構來看，它的內部是思維的模具。」多麼精緻的描述，語言的特質是「思維的模具」！香農的任務就是需要找到比日常語言更有形，更易數的方式來描述語言這種「思維的模具」。香農的這篇文章於1949年解密後發表，題目是「密碼術的數學理論」。該文剛一發表就引起轟動，香農也隨之為美國政府聘為密碼事務顧問。這篇論文為對稱密碼系統的研究建立了一套數學理論，從此密碼術變成為密碼學了，由一門藝術或技藝變成一門真正的科學。香農曾在這篇論文中指出，好的密碼系統的設計問題本質上是尋求一個困難問題的解，使得破譯密碼等價於解某個已知數學難題。這句話含義深刻，但卻不難理解。不就是老師出了道數學難題，學生就要解題嗎？如果老師的水平高，學生水平低，肯定就無法解答數學題了。

也就是在這篇保密報告中，香農幾乎隨意使用了先前無人用到過的說法，這就是「資訊理論」（Information Theory）。要想建立用數學建立資訊理論的理論，香農首先要做到將信息中的「意義」去除。這個打了引號的「意義」是香農自己加上的。他曾高興地說，對於資訊理論而言，可以不去考慮「意義」的問題。之所以在用數學的語言描述的資訊理論中剔除「意義」的目的，在於使自己的研究更加清晰明確。他需要把握的是「信息」而非「意義」，在此之前奈斯奎特和哈特利都注意到了這一點，香農也希望將信息集中在「物理」層面，排除其中的「心理因素」。可是，抽去語義的信息還會剩下什麼呢？對這個難題，有幾種可能的回答，例如信息可以是不確定性，是困難程度，也可以是熵。

香農的關於資訊理論的文章於1948年分二期發表在《貝爾系統技術期刊》上。這份出版物幾乎沒有什麼圖書館訂閱，類似於我們今天某單位的內部參考之類。當時的研究人員幾乎是靠口口相傳的蠢笨方式獲知香農的工作。於是就紛紛給香農直接寫信索要該文的複印本。即便如此，也沒幾個人能讀懂香農的文章。原因是工程師認為該文數學內容太深了；數學家又對文章中的工程學背景缺乏了解。可是，畢竟還是有慧眼識金的人物。時任洛克菲勒基金會自然科學部主任的韋弗（W. Weaver）認識到該文的價值。他告訴基金會的主席，香農之於通信理論的貢獻，就如同「吉布斯之於物理化學」。1949年，韋弗在《科學美國人》雜誌發表了一篇不是很技術化的讚譽香農工作的普及文章，深入淺出地介紹了香農工作的重要性。之後韋弗的文章和香農的論文被集結成書，以《通信的數學理論》(The Mathematical Theory of Communication)為題公開出版。請注意，香農的論文題目用的是不定冠詞「A」，而韋弗與他合著的書卻用了定冠詞「THE」。在英語中，從不定冠詞變為定冠詞馬上就從謙虛變為自負！難道香農的資訊理論不是自負的一種理論嗎？它的問世改變了一個時代！

貝爾實驗室於1948年分別誕生了二項重要成果，一項是肖克利（W. Shockley）等三人發明替代電子管的電晶體，那是終結電子管的產品（肖克利等三人因此獲1956年的諾貝爾獎）；一項就是香農的資訊理論，那是開創新時代的數學理論。香農的資訊理論究竟是個什麼理論？我們說是個「數學理論」，關於「通信的」數學理論。作為常人，似乎會認為通信的基本問題是讓自己的意圖被人所理解，傳遞的是意義。可對於數學家的香農而言，則大錯特錯了。他認為：「通信的基本問題是，在一點精確地或近似地復現在另一點所選取的訊息。」香農所說的「點」（point）是經過選擇的。它意味著，訊息的信源和信宿可在時間上相分隔。同時，訊息並非創造出來的，而是選擇出來的。換句話說，一條訊息就是一個選擇，選擇可以多種多樣。當然，香農還是不能不考慮到意義的問題，可作為數學家，他還是將其拒斥在數學門外：

這些訊息往往都帶有意義，即根據某種體系，它們指向或關聯了特定的物理或概念實體。但通信的信息工程方面和語義無關。

香農僅僅從數學的角度解釋信息，常常被人所詬病。認為他的資訊理論是狹隘的。對信息的詮釋過於狹窄。我想作為數學家的香農，他也無可奈何。畢竟數學是不是科學，而是科學的工具，具有高度的抽象性；要想讓具有高度抽象的數學負荷內容，難免免為其難。還是韋弗努力進行了解釋，說這不是一種狹隘的通信概念，恰恰相反，這樣的概念包羅萬象：「不僅涵蓋了口語和書面語，還有音樂、圖像藝術、戲曲、芭蕾乃至所有的人類行為。」其實還包括非人類，機器就沒有訊息要傳遞嗎？按照中國人的理解，「少既是多」來說明香農對信息的解釋，似乎再恰當不過了。即便如此，香農還是被人「追殺」，他最後實在沒辦法，乾脆就說了句尷尬的話：

「『信息』這個詞在資訊理論的一般領域已經由各位作者賦予不同的意義。至少，這些意義很可能在某些應用領域充分證明是有用的，需要進一步的研究和做出永久性的承認。幾乎不能指望一個單一的關於信息的概念能夠令人滿意地對一般領域的各種應用負責。」

香農為了避免繼續被「追殺」，乾脆對他提出的「信息」的概念放任自流了。別的領域愛怎麼用就怎麼用吧，只要你們能自圓其說。所以直到今天，信息無論是在哪個領域也沒有一個定於一尊的定義！實際上，信息是一個不能被定義的「元概念」。頗有點兒像奧古斯丁（A. Augustinus）關於「時間」的說法。在其《懺悔錄》卷十一中他說：「什麼是時間？……如果沒人問我，我知道它是什麼。如果我想對他解釋什麼是時間，我卻不知道了。」信息是否也和時間一樣呢？

香農和圖靈二人都使用編碼，圖靈是將指令編碼變成數，將十進位數編碼成0和1，而香農是對基因、染色體、繼電器和開關編碼。香農的博士論文題目就是《理論遺傳學的代數學》。很多人不知道這篇論文寫的是什麼，都只是從題目上掃那麼一眼，認為就是用數學方法研究人類遺傳學的。其實這篇文章的直到今天都沒有引起注意，一個原因是該文直到1993年才被正式發表。另一個原因恐怕與他當年的《通信的數學理論》一樣，工程師認為數學太深，數學家沒有工程學背景。同樣，現在這篇論文也是，遺傳學家看不懂，數學家不去看的論文！舅舅不疼，姥姥不愛。想當年，貝爾實驗室的衛星通信專家皮爾斯（J. L. Pierce）對香農的工作所言，香農的工作宛如一枚定時炸彈，而且有點兒像是枚延時炸彈。又有誰能想到香農的這篇博士論文就不是呢？IBM公司的數學家蔡汀（G. Chatin）不久前撰寫了一本《證明達爾文：進化和生物創造性的一個數學理論》（Proving Darwin：Making Biology Mathematical）的書。他就是希望用數學的方法證明達爾文的進化論，試圖揭示生物學深層的數學結構，開闢了一個稱之為「元生物學」的新領域。那誰能保證香農的博士論文就不會是未來遺傳學研究的一個嶄新方向呢？如果說《通信的數學理論》是顆原子彈的話，那麼《理論遺傳學的代數學》就有可能是枚氫彈！

香農和韋弗的小冊子1949年出版了。但依然沒有引起關注。數學家杜步（J. L. Doobe）為其撰寫了第一篇書評。杜步在書評中對該書頗表不滿，認為「作者運用數學的動機並不總是那么正大光明。」，整個討論的「暗示」多於數學推導。還有一份來自生物學的期刊評論道：「初看起來，這主要是本工程學專著，對於解決人類實際問題用處不大，或甚至跟本沒用。但事實上，該理論具有許多當今令人振奮的意蘊。」《哲學評論》稱，哲學家不應忽視這本書（的確不應忽視，否則也就沒有今天的信息哲學了！）：「香農提出了一個『信息』的概念，並且令人驚訝的是，信息這個概念竟然是熱力學中『熵』的延伸。」此前，香農曾與馮·諾依曼（J. von Neumann）討論過他的工作，馮·諾依曼比香農年長13歲，是香農最佩服的人之一。

「熵」是資訊理論中最基本最重要的一個概念，香農最初想用「信息」 （information） 來表達這一概念，但這個詞當時已經被用濫了。香農便放棄用信息這個詞。馮·諾依曼建議香農用「熵」；並給出二個理由：一是香農原本想用的「不確定性」（uncertainty）這個概念已經用於統計力學，二是沒人知道「熵」倒底是什麼，用它不會引起爭論。不過馮·諾依曼畢竟見多識廣，他早就知道「熵」已被用於熱力學系統，但卻僅是一個可以通過熱量改變來測定的物理量，其本質仍沒有很好地得到解釋。正如所料，「熵」這一概念被延伸到資訊理論後，其本質才逐漸被解釋清楚，資訊理論對熵的本質的解釋就是「系統內在的混亂程度」。漢語中本無「熵」字，1923年德國物理學家普朗克（M. Planck）來華講學時用到entropy這個詞，由於entropy在表達形式上是兩個量相除的商，我國著名物理學家胡剛復教授在現場口譯時，把這個詞翻譯成「商」字加「火」旁創造了漢語的一個新術語「熵」。

最終，香農採納了馮·諾依曼的建議，在資訊理論中提出了「信息熵」或「香農熵」的概念，解決了信息的量化度量問題。一條信息的信息量大小和它的不確定性有直接關係。例如，我們要弄清楚一件很不確定的事情，或者我們一無所知的事情，就需要大量的信息。相反，如果我們對某件事已經有了較多的了解，就無需太多的信息就夠了。所以，從資訊理論的角度看，信息量的度量等於不確定性的多少。信息熵的數學表達式很簡潔：

香農與韋弗的小冊子發表後，終於讓維納（N.Wiener）坐不住了。他在《物理評論》寫了篇很難算得上是書評的話。開篇維納倚老賣老地說：「大約15年前，一名非常聰明的年輕學生向麻省理工學院的教授提出了自己的一個設想，試圖建立一種基於邏輯代數的電動開關的理論，這名學生就是香農。」維納比香農大22歲，也算是神童。俗話說，老不跟少鬥，可維納似乎沒有意識到這一點。緊接著，維納說香農與韋弗的小冊子「總結了他對於通信工程的見解。」聽聽，原來香農的工作不過是對他的工作進行了總結。維納認為，香農提出的基本見解是「把信息量視為負熵」，可卻立即補充道，他自己也幾乎在同一時間產生了相同的見解。不過維納還是承認，他們之間的工作是相互獨立的。

維納於1948年出版了他的奇書《控制論——關於動物和機器中控制和通訊的科學》維納還指出，香農對於語言的討論沒有給予語言在人類神經系統內的通信過程以更多重視。畢竟是同行，難免有些醋味，「我這樣說並不是為了吹毛求疵。」最後維納用了一大段文字介紹了自己的《控制論》：

而在我的書中，作為作者，我有幸從更思辨的角度，討論比香農和韋弗博士所選的更廣闊的話題。我希望重申，在一個新領域……不僅有空間，而且也確實需要種種在現實性或思辨性上各具特色的著作。

維納這就不對了，難免不招人待見。這不明擺著說，咱們走著瞧，看最終的結果如何。其實，香農對維納的這種不低調做人的態度也很不以為然。此前，香農在《無線電工程師學會學報》上針對維納的《控制論》寫過一篇短評，雖是讚賞，可程度卻很一般，認為該書是一本「出色的導論」。這一老一少的關係有點兒緊張，韋弗在《通信的數學理論》中開篇就有一大段腳註：

香農博士強調，他的通信理論在基礎哲學原理方面頗多受益於維納教授。另一方面，維納教授也指出，香農在開關和數理邏輯方面的許多早期研究是在他對該領域產生興趣之前，並且他大度地補充道，引入熵的思想，將之作為該理論的基本思想，確實是香農一個人的功勞。

事情果真如維納所言「把熵理解為負熵」是他與香農相互獨立的見解嗎？香農的同事皮爾斯後來說，「那時維納滿腦子沉浸在自己研究……知道底細的人告訴我，維納誤以為自己早已得出了香農所得到的結論，但其實他從來都沒有得出過。」從1940年香農拿到碩士起，他花了整整8年時間，為通信系統建立了一整套數學理論。他的理論涉及整個通信過程，包括通信源頭、數據壓縮、信道編碼、信道噪聲、解調、檢錯、糾錯等。該理論關注了最佳通信系統的性能和接近該性能的方法。1948年瓜熟蒂落，資訊理論誕生。這篇劃時代的論文至今仍在指引和啟迪後人的研究工作，而且在越來越多的領域展現出意想不到的成就。

香農是位興趣廣泛的人，除了自己的研究工作外，他還喜歡各種活動。尤其令人稱奇的是，他是位雜耍愛好者。他酷愛雜耍，曾製造過好幾臺雜耍機。經常有人見到他一邊騎著獨輪車，一邊用四個球玩著雜耍，穿行在貝爾實驗室的大廳裡。畢竟是搞數學出身，他竟然提出一套雜耍統一場論：用B代表球的數量，H代表手的數量，D表示球在手中度過的時間，F代表每個球的飛行時間，E代表每隻手不拿球的時間，那麼B/H=（D+F）/(D+E).可是他的這個理論卻幫不了香農同時拋出四個以上的球。可是他卻強詞奪理，認為那是他的手比較小的原因。他有一間擺放玩具的房間，在最顯眼的位置掛著裝裱好的名為「雜耍學博士」的證書，可能還真有這樣的博士學位呢。看起來他對獲得這個博士學位感到非常自豪。

從不拋頭露面的香農於1985年出現在英國布萊頓舉辦的IEEE資訊理論會議上。會議開了一半，與會者才發現香農來了，很多人都以為香農早已不在人世。當大會主席說服香農給參會者致辭時，會場瞬間沸騰起來。香農講了幾分鐘，可能是怕聽眾聽得不耐煩，竟然從口袋裡拿出三個小球玩起雜耍。聽眾徹底瘋狂了，排長隊索要籤名。有人回憶當時的情景時說，「就好像牛頓出現在物理會議。」到了晚年，香農患上阿爾茨海默症。他在一家私立醫院裡度過了晚年，逝世於2001年2月24日。這正是資訊時代到來的前夜，可他卻永遠看不到了。在香農塑像落成典禮上，著名資訊理論和編碼學家布勞胡特（R. Blahut）這樣評價香農：「……兩三百年後，當人們回過頭來看我們的時候，他們可能不會記得誰曾是美國的總統，可能也不會記得誰曾是影星或搖滾歌星，但人們仍然會知曉香農的名字，大學裡仍然會教授資訊理論。」