誰是第一個研究信息的科學家?看資訊理論之父香農的偉大人生
2021-01-15 徐曉亞然如果在世界上再發起一次誰是最偉大科學家的投票，再怎麼選，牛頓同志都會在前二以內，另一位大家自行腦補。的確，牛頓的萬有引力定律和運動定律，光學上發現，以及數學上的創造太過燦爛，但是歷史上有如此成果和創造力也不止牛爵士一人吧，麥克斯韋，龐加萊等等，為啥這些後人們都得給牛爵士讓步呢？
為什麼砸的是我！上帝曾經曰過：「讓牛頓降生吧，於是世界一片光明。」
因為牛頓是第一個開闢科學研究的科學家，在牛頓之前，人們對蘋果為什麼落地感到理所當然，只有牛頓認為蘋果掉落在地上這個現象不簡單。牛頓將生活中常見的力學現象歸納，並結合數學和實驗，看穿這些司空見慣的運動現象，然後整理成自成體系的牛頓運動定律，後來的人們在這條道路上不斷耕耘，並最終誕生了如此燦爛的輝煌成果。可以說，是牛頓一手把當時的世界從未知的蠻荒時代帶入了科學研究的範圍內。
貝爾實驗室的克勞德 香農在20世紀，也誕生了一位這樣的大師，他第一次把信息作為研究對象，讓人們第一次意識到，原來信息也可以被研究的，並一手指導了後來的計算機革命，他就是克勞德·艾爾伍德·香農（Claude Elwood Shannon），我們現在尊稱他是資訊理論之父。
貝爾實驗室總部話說1916年4月30日，香農出生了美國密西根州，跟所有的科學大師一樣，興趣都是從小就培養的，在中學時代，香農就可以造出一個可以在半英裡內無線通信的電報機。不知道就是因為這個小發明，讓他從此對信息這個全新的領域開始痴迷。
喬治 布爾1932年，香農進入密西根大學學習，在大學裡接觸到了喬治·布爾的理論，這個布爾就是現在計算機數據布爾型的那個布爾，他是著名的數學邏輯學家。大約1938年的時候，香農完成自己的碩士畢業論文《繼電器與開關電路的符號分析》，看這個標題平平無奇，但是卻被譽為是20世紀最重要的論文之一。這篇文章的驚人想像力在於，他首先把電路中的開關與數字邏輯中的代數思想結合起來。讓電路設計可以在數學理論的指導下進行，這是一個劃時代的發現。
電路設計我們都知道數學中有很多複雜方程或者公式，你必須要化簡或者轉化成精簡的語言才能描述更準確的信息，數學公式越是簡化，就越能體現公式的力量。那這個要是在電路設計中呢？作為一個初級電路設計師，你只要能力達到，就一定可以用簡單的元器件去實現特定的功能。但是，在實際生產的過程中是必須要考慮成本和故障頻率的，別人用3個電容，2個電感，2個電阻就可以實現的功能，你的電路偏要用10個電容，5個電感，5個電阻才能實現。增加成本不說，而且器件增加，故障點也必然增加，最終導致生產效率低下。那麼香農的思想是什麼呢？
電路簡化設計
布爾代數 簡化很明顯我們發現，這裡的A,B是不需要2組觸點的，甚至連A這個常閉觸點也是不需要的，僅保留B一個常開觸點即可控制這個燈。當然這個例子過於簡單，當電路龐大時，比如現在動不動幾十億的電晶體的晶片在設計時，這些數學理論就給電路設計提供了數學保障。用這樣的流程來設計電路，就將大大簡化電路設計難度，提高可拓展性，這對於電路設計成本，故障率，測試等等都是非常有用的。
這一年，香農22歲。
信息到底是什麼？1948年，香農在貝爾實驗室又出了一個爆炸招，他提交了一份論文《通信的數學原理》，這個標題瞬間就比他十年前的那篇神作要高大上的多。貌似還跟牛爵士的大作很像，是不是有點蹭熱度的嫌疑啊。但是翻開內容，你就會明白這個標題起的是多麼貼切，正是這篇論文將人類帶入了資訊時代。
信息是什麼？每個人好像都有自己的答案，你想研究信息，你就必須在科學上給信息作出一個定義。於是香農大師給出了。
信息的本質是消除不確定性。一條信息究竟有多大的信息量，在於它能消除多少不確定性。
香農啊，真是猶如醍醐灌頂，一句話或者一幅畫的信息蘊含多少，就是在於它能夠消除多少不確定性啊。舉個曉然菌工作上的例子，作為一名工控軟體工程師，程序寫出來在調試過程中，如果功能上有錯誤，那麼在測試過程中是每次都會出現同樣的bug。這一點從程序代碼上就很好分析出原因，因為每次都會出現，那麼不確定性就很小，於是這樣的問題修復起來難度不大。
通訊問題不容易解決假如現在出現了一個傳感器控制器通訊的問題，請注意這個通訊問題並不是每次都有，十次有一兩次，你可以認為這是偶爾發生的，但是卻必須要找出原因。這種情況下工作就變得困難許多，因為不確定性太多，你必須要從各種可能的方式分析。按照香農的定義，出現通訊問題這個現象蘊含的信息量就比出現功能性bug要多得多。
程式設計師日常工作那麼信息的最小單位是什麼呢？就是0,1，或者說真，假。每一種狀態就是一個bit，類似於量子力學中的普朗克長度。
香農第一個發現了信息不會無中生有，具有和物質一樣的本質。既然物質有守恆定律，那麼信息也有。只不過，信息要流通才會產生價值，就跟物質要被使用才能發揮作用一樣。你準確預測了明天的六合彩中獎號碼，但是你卻沒有去買彩票，那麼這個價值巨大的預測信息就只是一串毫無意義的數字。
信息的最小單位bit然而信息在傳輸過程中遇到了諸多挑戰，噪聲幹擾，頻率幹擾，發射接收難度等等。幹擾只要出現，就對信息準確發送率帶來挑戰，在香農之前，人們普遍認為，以固定速率發送信息，而忽略誤差概率的傳輸系統是不可能做到的。而香農用一個精巧的公式告訴人們，只要通信速率R低於信道容量C，那麼總可以找到一種可靠的方式來進行傳輸，並且可以使得誤差概率幾乎降到零。這個結論震驚了世界，也為二戰之後的計算機信息革命奠定了理論基礎。
香農第二定律這裡的P/N也就是我們常說的信號噪聲比，W是帶寬。C就是信道容量，也就是通訊理論上的最大值，多少年來，人們都是為了儘可能擴大C這個值上限，並先後迎來了1G,2G,3G,4G，5G，並在提高通訊速率的同時也改變了整個世界。
5G毫無意外地改變了我們的世界至此香農給資訊理論這門偉大的學科解決了最重要的問題，世界也迎來資訊時代。
香農大師似乎對這個世界上所有關於信息的問題非常敏感。1949年，香農捲土重來，發表了《保密系統的通信理論》，這篇論文在科學界的地位有多高呢？
「這一發現將密碼從藝術變成科學，奠定了現代密碼理論的基礎。」
這是當時波士頓環報給出的評價，香農以一人之力改變了密碼學的發展方向。
人工智慧之父 密碼學家 圖靈在香農看來，明文就是原始信息，加密手段就相當於信息在傳輸過程中各種幹擾信息，密文就是被幹擾之後收到的信息，解密就是需要動用各種方法來去除掉原始信息被人為加入的幹擾。這麼一看，密碼的使用環境簡直就是另一種信息傳輸系統！如果當年香農也能在布萊切利莊園和圖靈一起工作破譯德軍密碼，說不定會更快地結束二戰的摧殘。
香農和他的資訊理論現在世界上的科技巨頭基本上都是網際網路企業，他們的核心價值都是數據信息，我們現在充分享受著來自網際網路時代帶給我們的信息高速便利，無論如何都不能忘記開創這一時代的偉大科學家——克勞德·香農。
相關焦點
-
信息熵是怎樣煉成的 | 紀念資訊理論之父香農
撰文 | 丁玖（南密西西比大學數學教授）紀念"資訊理論之父"香農的最好方式，莫過於重溫一下他怎樣定義信息熵的數學思想，去理解現代資訊理論這個基本概念——僅用初等代數即可推導，令人賞心悅目，流連忘返！確定性過程在數學裡是司空見慣的現象。 -
「資訊時代之父」香農:用一隻木老鼠奠定人工智慧的基礎
「忒修斯」給香農的老闆們留下如此深刻的印象，他們在一陣熱情衝動中，要推選香農進貝爾電話公司的董事會。 在人工智慧已經能夠擊敗世界上最優秀的棋手，並能自動駕駛汽車的今天，記住一些「奶酪」的位置似乎是一項微不足道的成就。但在當時，「忒修斯」是令人驚嘆的。它體現了香農對資訊時代的兩個基礎性貢獻。 -
資訊理論之父——克勞德·香農 | 致敬先驅
1940年，香農博士畢業後曾在普林斯頓高等研究院工作過一年，和馮·諾伊曼有過不少的交流。「熵」（entropy）是香農創立的資訊理論中最核心的概念，代表了一個系統的內在的混亂程度。香農本來打算用「不確定性」（uncertainty）來表達這個概念，當他和馮·諾伊曼討論這個問題時，馮·諾伊曼對香農建議說：「你應該把它稱之為『熵』。」 -
坤鵬論:香農說,信息是能夠用來消除不確定性的東西
從宣傳角度看，許多時候，不一定是事情本身大，只是它被重複的次數夠多。——坤鵬論前兩天，我們充分討論了信息的特徵。今天，坤鵬論主要講幾個與資訊理論、信息熵相關的基本概念，如果沒有它們作為基礎，理解後面的內容會比較困難些。同時，再講一下香農給信息的定義是什麼。 -
「資訊理論之父」——克勞德·香農是如何創造未來的
因此，很少有人能夠同時為這三個學科做出重大貢獻，而克勞德·香農（Claude Shannon）就是其中之一。你可能從未聽過Claude Shannon這個名字，但我們現在所處的信息化時代背後的整個通信基礎架構，正是基於他七十多年前發表的一篇富有開創性的論文。1916年，Shannon在密西根州出生，他的父母是當地的商人和教師。 -
信息價值最大化:香農《資訊理論》的生活意義
一段信息所包含的信息量不僅僅由信息的長短來決定,還決定於這信息克服了多少不確定性。克服的不確定性越大說明得到的信息越有價值。香農的《資訊理論》信息熵熵——物理上表示一個系統混亂的程度，物體越不穩定，熵越值大。而信息熵相似的表示信息中字符的不可預測程度，信息熵越大——可供選擇的範圍越廣，選擇的信息量就越大。這可以是好處，你可以得到更多內容。 -
資訊理論創始人克勞德·香農:真正的天才是如何思考的?
編者按：克勞德·香農（Claude Shannon），美國數學家、電子工程師和密碼學家，被譽為資訊理論的創始人。1948年，香農發表了劃時代的論文《通信的數學原理》，奠定了現代資訊理論的基礎。不僅如此，香農還被認為是數字計算機理論和數字電路設計理論的創始人，也為軍事領域的密碼分析， 包括密碼破譯和保密通信，做出了很大貢獻。 -
他用1和0解決了人類兩大難題,他是資訊理論之父,卻渴望做雜耍博士
但還有一個人很少被我們提及，他就是帥到令人髮指，成就與牛頓、愛因斯坦比肩，他是資訊理論之父——克勞德·香農。為什麼想到了他？起因是我最近認真讀了《信息簡史》。香農雖然不是計算機的發明者，但是這篇論文讓計算機從簡單的運算工具，變成了無所不能的電腦。在這篇震驚世界的論文發表後，香農開啟了人生中的第一次跨界。 -
他用1和0解決了人類兩大難題，他是資訊理論之父，卻渴望做雜耍博士
但還有一個人很少被我們提及，他就是帥到令人髮指，成就與牛頓、愛因斯坦比肩，他是資訊理論之父——克勞德·香農。於是，他加入了貝爾實驗室，研究起了密碼學。隨後他發表了一篇論文，這篇論文把密碼學從玄學變成了科學。據說邱吉爾和羅斯福的越洋電話就是香農加密的，後來香農成為密碼破譯的權威。 -
生命起源百年探索:進化論、資訊理論、熱力學誰是主角?
科學家們已經研究這個問題幾十年了，他們也發明了一些巧妙的方法來試圖找出答案。科學家甚至試圖利用達爾文的進化論（即生物學中最有力的理論）來回答問題。但是目前仍未得到一個滿分的答案：因為他們將遭遇這個世界上最繁雜的理論迷宮，而這迷宮的終點是一個死胡同。 -
香農告訴你:彪悍的人生就是玩也要玩出境界
克勞德·香農，資訊理論之父，在科學史上，香農是足以和牛頓、愛因斯坦相提並論的天才。而且按照有些學者的說法，愛因斯坦開創了相對論，卻沒有把我們帶入相對論的時代，而香農開創了資訊理論，並且把人類帶入了資訊時代。所以，香農的影響比愛因斯坦更大。 -
生命起源百年探索：進化論、資訊理論、熱力學誰是主角？
事實上，當今的研究者正在這樣思考，這也顯示了進化論的普適性。引人注目的是，1994年，美國宇航局採用了達爾文的定義來指導對宇宙中生命的研究：生命是一個能夠進行達爾文進化的自我維持的化學系統。隨著科學家們擴展達爾文進化論的指導範圍，一些人質疑我們是否需要一個能超越它的新理論。 -
後香農時代信息產業發展面臨的十大挑戰數學問題
在上月底結束的長沙「數學促進企業創新發展論壇」上，華為董事、戰略研究院院長徐文偉拋出了後香農時代信息產業發展面臨的了十大挑戰數學問題。 提到香農定理，通信領域的小夥伴應該是非常熟悉的了，可稱得上是該領域的「金科玉律」。1948 年，香農博士在《通信的數學原理》一書中提出了這一著名的定理。 -
香農,帥又有才的科學家
今年是資訊理論的創始人香農（C. E. Shannon，1916-2018）誕辰102周年。他於1948年發表了著名的文章「通信的數學理論」（A Mathematical Theory of Communication）創建了資訊時代的理論基礎——資訊理論。香農因而被稱為「資訊理論之父」。 -
坤鵬論:信息是熵?錯!
要想正確理解香農的信息熵，一定要時刻提醒自己，香農他老人家只關心字數，而不關注信息內容和質量。——坤鵬論再次對今天的文章修訂的時候，坤鵬論發現，「信息不是說了什麼，而是還能說什麼。」這個總結簡直絕妙、經典至極。 -
信息與生命的聯繫:科學家定義信息,可能掀起社會哲學驚濤駭浪
定義「信息」的人上世紀中葉以美國為中心，活躍著一大批傑出的、開創性的科學家，主要在電子通信、電子計算、自動控制等領域，包括資訊理論之父香農，以及維納、圖靈、馮·諾依曼等等。克勞德·香農（Claude E. Shannon，1916-2001）1948年，32歲的他發表《通信的數學理論》創立了資訊理論，資訊理論被認為是從一發表就已經完善的科學，從對信息的量化入手創建了一整套定理和數學描述，對通信、密碼、信息處理、存儲壓縮、算法編程等等都具有根本性的指導意義。 -
克勞德·香農:看我如何發明未來
【導讀】克勞德·艾爾伍德·香農，美國數學家、電子工程師和密碼學家，被譽為資訊理論的創始人。他發表了劃時代的論文——通信的數學原理，奠定了現代資訊理論的基礎。不僅如此，香農還被認為是數字計算機理論和數字電路設計理論的創始人。他不曾捧起過一座諾貝爾獎盃。他的名字也不曾如愛因斯坦、費曼般如雷貫耳，無論是生前死後。 -
香農定律:新帝國的基石,資訊時代規則的制定者,5G幕後的大Boss
而第三次信息革命，則是香農提出的香農定律吹響了變革的號角。從 1948 年，香農定律的提出，標準著資訊理論的建立，美國之所以能夠對全球經濟具有話語權，除了是因為強大的軍事能力之外，還仰賴於香農定律構建的全球技術標準，讓美國成為新帝國的壟斷者。 -
香農誕辰百年紀念特輯 | 香農說要有「熵」,資訊時代便由此開啟
雖然香農被學術屆尊為資訊時代之父，聽說過這位科學巨人名字的想必比知道宋仲基的人少得多。當然，熱愛韓星的同學也都是很有文化的，他們也都會把愛因斯坦視為上個世紀最偉大最傑出的科學家，他們在茶餘飯後也會聊聊愛老伯的相對論和最近時髦的引力波。只是他們可能不知道，香農對人類的貢獻絕對可以和愛老伯媲美。 -
Bear談無線通信|資訊理論與香農定理
當然，在這上面也存在著信息不對稱，有興趣的同學可以去了解一下檸檬市場和劣幣驅逐良幣。但正是因為信息消除了不確定性，就給你帶來了「驚喜！」。因此，消除的不確定性越多，給你帶來的「驚喜」也就越大。這個信息對你而言也就越有價值。但是，就像物理擴散作用一樣，信息有向著最大不確定性的方向發展的特性。假設你跟人玩骰子，你搖到6點的概率應該是越來越接近1/6。