昨天是10月24日,也就是大家喜聞樂見的1024程式設計師節。
其實,按道理來說,1024並不只屬於程式設計師,也同樣屬於我們通信汪。我們每天也沒少和1024打交道,不是麼?
說到1024背後的含義,相信大家都很清楚了。1024等於2的10次方,而這個2,就是二進位。我們通常把每一位二進位數字,稱為1比特(bit)。
那麼問題來了,「比特」這個單位是怎麼來的呢?我們為什麼會用「比特」作為信息量的單位呢?
哈哈,我想很多童鞋已經猜到了,今天這篇文章,小棗君要給大家介紹的,就是我們信息和通信行業共同的祖師爺——香農。
就是這麼帥!
香農,全名是克勞德·艾爾伍德·香農(Claude Elwood Shannon),美國著名數學家、發明家、密碼學家,資訊理論的創始人。
接下來,小棗君就來給大家講講他的傳奇故事。
1916年,第一次世界大戰激戰正酣。在該年的4月30日,遠離戰場的美國密西根州佩託斯基(Petoskey),一個男嬰呱呱墜地。這個男嬰,就是香農。
香農從小就在一個名叫蓋洛德(Gaylord)的小鎮生活。他的父親,是這個小鎮的法官,名字叫克勞德·艾爾伍德·香農(沒錯,他老爹給兒子取了和自己一毛一樣的名字)。
香農的母親,是小鎮的中學校長,名叫梅布爾·沃爾夫·香農(Mabel Wolf Shannon)。
父親是法官,母親是校長,這樣的知識分子家庭,教育氛圍當然不會差。
讀書時候的香農,已經表現出驚人的數學天賦。在8歲的時候,他就輔導他姐姐做高等數學作業。後來,他姐姐大學畢業,成為了數學教授。。。
除了數學之外,小香農特別喜歡搞發明創造,其中就包括電報機、電動船,以及各自機械動物。
小時候的香農
這個興趣愛好,估計和他的爺爺有很大的關係。他爺爺是一位農場主兼發明家,發明過洗衣機和很多農用機械。
值得一提的是,香農還有一個遠房親戚,也很喜歡搞發明。這位親戚的名字,叫愛迪生。
1936年,20歲的香農從密西根大學本科畢業,順利拿到了數學和電子工程雙學位。隨後,他進入麻省理工學院繼續深造。
兩年後,香農完成了他的碩士論文——《繼電器與開關電路的符號分析》。
在論文中,他首次提出,可以用布爾代數來描述電路。他將布爾代數的"真"與"假"和電路系統的"開"與"關"對應起來,並用了數學中最簡單的兩個數字——「1」和「0」來表示。
喬治·布爾(1815-1864),英國數學家
1847年,他提出了布爾代數,這是一種計算命題真偽的數學方法。
香農的這篇論文,雖然僅僅是碩士論文,但具有劃時代的意義。它奠定了數字電路的理論基礎。後來出現的計算機等設備,都以此為設計思路。
後來,著名計算機科學家赫爾曼·哥爾斯坦評價這篇論文是「有史以來最重要的一篇碩士論文」,「從藝術到科學上改變了電路的設計。」
赫爾曼·哥爾斯坦
世界上第一臺現代電子數字計算機ENIAC的研製者之一
因為這篇論文,香農獲得了電子工程界的大獎——美國Alfred Noble協會美國工程師獎。
正當世人以為這位電子工程天才會繼續大展拳腳的時候,他卻沒了下文。直到兩年後,他丟出了自己的博士論文——《理論遺傳學的代數學》,並憑此獲得了麻省理工的數學博士學位。
是的,這傢伙玩了個跨界,竟然從電子工程學跨到了生物遺傳學。。。
年輕時的香農
此後,香農去普林斯頓高等研究院待了一年,與愛因斯坦、馮·諾依曼等大師級人物有過交集。他的研究方向,變成了機械模擬計算機。
1941年,香農發表了新的論文——《微分分析器的數學理論》,通過機械式計算機來求解微分方程。
當時的微分分析器
同年,香農加入了著名的貝爾實驗室(此後一直工作到1972年)。
最開始進入貝爾實驗室的時候,香農是去的數學部,從事和戰爭相關的工作——研究火力控制系統和密碼學。
他所在的密碼破譯團隊,主要負責追蹤納粹德國的飛機和火箭。他還用數學手段,推導了X系統的安全性。這個X系統,就是指英國首相邱吉爾和美國總統羅斯福之間的專用電話線路。
1943年,英國著名數學家、密碼學家阿蘭·圖靈訪問貝爾實驗室,並與香農共進午餐。
阿蘭·圖靈(1912-1954)
鑑於兩人的特殊工作性質,他們並沒有進行密碼學的交流,反而更多的是討論人造思維機器(也就是後來的AI人工智慧)。
當時,香農告訴圖靈,他不僅僅滿足於向這臺「大腦」裡輸入數據,還希望把文化的東西灌輸進去。
這個想法震驚了阿蘭·圖靈,他感到非常不可思議,驚呼道:「他(香農)想給它來點音樂!」
後來,隨著對密碼研究的不斷深入,香農逐漸形成了一套完整的密碼學理論。與此同時,他開始思考有效通信系統的問題。現代資訊理論的思想雛形,逐漸在他的腦海裡形成。
1945年,他向貝爾實驗室提交了一份備忘錄——《密碼學的一個數學理論》。
1948年6月至10月,香農在《貝爾系統技術雜誌》連載了那篇改變人類社會發展軌跡的論文——《通信的數學理論》。次年,香農又在該雜誌發表了另一篇著名論文——《噪聲下的通信》。
在這兩篇論文中,香農給出了通信系統的基本模型,提出了信息熵的概念以及數學表達式。
計算信息熵H的公式
大家如果是工科出身且還記得通信原理的話,就知道,一條信息的信息量大小,和它的不確定性有直接關係。
舉個例子:如果我告訴你,世界是圓的。這種非常確定的內容,信息量是0(等於一句廢話)。如果我告訴你,XX樹下埋了一百萬美金,那這個信息量就很大。上面那個公式,就是根據確定性大小算信息量的,考研必考題。
香農指出,信息是可以被量化的,用數字編碼可以代表任何類型的信息。信息進行數位化後,可以經壓縮再傳輸,極大地減少傳輸時間和傳輸成本。
香農還推出了比特的概念(他將發明這個詞的榮譽歸功於自己的同事約翰·圖基),將其稱為「用於測量信息的單位」。
比特(bit),其實就是二進位數(binary digit)的縮寫。
眾所周知,比特後來成為了資訊時代的基石。我們今天在網際網路上所有的信息,都在用它來表達。
除了信息熵之外,香農還在論文中提出了大名鼎鼎的香農公式。
香農公式
簡單來說,信息熵討論的是信息量及數據壓縮的臨界值。而香農公式,則是討論通信速率的極限值。
具體細節我們就不討論了哈,不然人都跑光了。
我們只需要知道,直到現在的5G,我們還沒有逃脫香農公式的「魔爪」。有些人一輩子幹的事,就是無限逼近香農公式的極限。
兩篇論文的發表,奠定了資訊理論的基礎,對學術界造成了巨大的震動,影響力絲毫不亞於1947年12月世界上第一個電晶體的發明(同樣來自貝爾實驗室)。
當時,因為資訊理論的觀點非常超前,還引起了一些質疑和反對。後來,隨著時間的推移,信息技術迅速發展,資訊理論的價值越發顯現,香農也確立了自己「信息和通信雙料祖師爺」的地位。
忘了說了,發表論文時的香農,才33歲。
1949年,香農在備忘錄《密碼學的一個數學理論》的基礎上,又發表一篇重要論文——《保密系統的通信理論》。
這篇論文再次震驚學術界。波士頓環球報稱:「這一發現將密碼從藝術變成為科學」。
論文開闢了用資訊理論來研究密碼學的新思路,奠定了現代密碼理論的基礎。香農也憑此成為近代密碼理論的奠基者和先驅。
1949年3月27日,香農迎娶了自己在貝爾實驗室的同事,瑪麗·伊莉莎白·摩爾(Mary Elizabeth Moore),然後繼續從事自己熱愛的科學研究工作。
1952年,香農夫婦共同推出了著名的「會走迷宮的老鼠」——忒修斯。
香農和忒修斯
這是一隻木製的、帶有銅須的玩具老鼠。它能通過不停地隨機試錯,穿過一座由金屬牆組成的迷宮,直到在出口處找到一塊金屬的「奶酪」。
最厲害也最具獨創性的是:「忒修斯」能夠記住這條路線,甚至在下一次任務中,迷宮的牆壁有所移動,都難不倒它。
當時,香農還專門拍攝了一段影像,製作成電視節目,展示這隻老鼠。這個節目引起了公眾的極大興趣,在人們看來,這就是一隻「會思考」的老鼠啊。
其實,走迷宮的秘訣並不在老鼠身上,而是在迷宮上。迷宮各處隱藏了75個繼電器開關,通過這些簡單的只具有開關功能的設備,最終實現了老鼠的所謂「智能」。
1956年,香農成為麻省理工學院(MIT)的客座教授。1958年,成為終生教授。
1961年,香農和同事索普做出一個香菸盒大小的小型計算機,小盒子藏在口袋裡,用大腳趾控制藏在鞋子裡的開關。這個設備用來幹什麼呢?用來預測賭場的輪盤賭結果,計算小球落在輪盤不同位置的概率。
憑藉這個設備,他們倆還真的在拉斯維加斯贏到了錢。後來,因為被盯上,所以趕緊放棄並離開了。
香農另一個著名的發明,是一個會下西洋棋的機器。這個機器用了150個繼電器開關,具備不錯的計算能力。1965年,香農帶著這個機器跑去挑戰當時的世界冠軍Mikhail Botvinnik。雖然最後還是輸了,但表現不賴。
1973年,在以色列阿什凱隆召開的資訊理論國際研討會上,IEEE命名了香農獎,並把這一獎項授於香農本人。這種自己領自己名字命名的獎的做法,後來被人戲稱為「香農套路」。
1985年,在英格蘭布萊頓舉行的「國際信息理論研討會」上,香農突然現身,引起了全場轟動。參加會議的年輕學者簡直不敢相信自己的眼睛,竟然親眼看見了信息理論的祖師爺!更讓人瞠目結舌的是,香農竟然在會場上表演起了拋物雜耍,讓整個會場更加沸騰。。。
香農當年還是投資大師、炒股高手,擅於採用套利的手法,迅速賺取財富。
1986年8月11日,著名的《巴倫周刊》曾匯總了1026家共同基金的近期表現,香農排名第一。。。
剛才我們提到香農在會場表揚拋物雜耍。其實,香農終身都熱愛雜耍。在很年輕的時候,他就學會了騎獨輪車和拋接球。當年在貝爾實驗室上班的時候,他經常特立獨行地騎獨輪車去上下班,成為一道靚麗的風景線。
被科學耽誤了的雜技天才
到了晚年時期,香農對雜耍的熱愛簡直到了痴迷的地步。他花了很多時間刻苦練習,不斷提高雜耍水平。他甚至還擁有一張雜耍學博士證書,視為至寶。
除了雜耍之外,他還熱衷於製造玩具。他建造了火焰噴射喇叭、火箭驅動飛盤、自動下棋機器人等各種奇怪的玩具。
在後來人工智慧先驅馬文·閔斯基的啟發下,他設計了一個被稱為「終結機器」的機器人。當你把開關撥到「開」,盒子打開並伸出一個機械手,它把開關撥回到「關」,然後機械手縮回到盒子裡去。
「終極機器」……
在麻薩諸塞州溫徹斯特香農的家中(香農稱為「熵宅」),堆滿了他的小發明。他的車庫中存放了至少30輛奇特的獨輪車,其中包括一個沒有腳蹬的獨輪車,一個是方形的輪胎的獨輪車,一個特為兩個人騎的獨輪車。。。
真正的老頑童
香農還把玩雜耍上升到理論的高度,開始撰寫《統一的雜耍場理論》。。。
遺憾的是,這篇作品還沒有完成,香農就因阿爾茲海默症於2001年2月26日去世了,享年85歲。
著名學者理察·布拉胡特(Richard Blahut)教授在香農雕像(位於香農老家蓋洛德鎮)的落成典禮上,是這麼評價香農的:
「在我看來,兩三百年之後,當人們回過頭來看我們的時候,他們可能不會記得誰曾是美國的總統。他們也不會記得誰曾是影星或搖滾歌星。但是仍然會知曉香農的名字。學校裡仍然會教授資訊理論。」
致敬!偉大的資訊時代之父——克勞德·艾爾伍德·香農!