如果一腳把足球踢到接近光速會發生什麼？
12 月 30 日（本周三） 19:00
新年悟理 2021 跨年科學演講
中科院物理所曹則賢研究員開講：什麼是相對論
進入主頁即可預約，全網直播，敬請關注！
認真閱讀下面的文章，並思考文末互動提出的問題，嚴格按照 互動：你的答案格式在評論區留言，就有機會獲得由人民郵電出版社提供的優質科普書籍《數學之旅》一本。
有了這位孤獨的天才的突破性工作，如今的資訊時代才成為了可能
01 香農其人
科學尋求自然的基本定律，數學則在舊基礎上構造新的定理，而工程學建造系統來解決人類的需求。這三個學科相互依存，但又截然不同。同時為這三個領域做出核心貢獻的人極為罕見，而克勞德·香農就是如此。
香農是紀錄片《The Bit Player》的主題，其研究工作和研究哲學深深啟發了筆者的事業。儘管如此，無論是生前還是在2001年去世之後，香農並不是一個像愛因斯坦一樣家喻戶曉的人物，他不像費曼那樣出名，也從未獲得過諾貝爾獎。然而，香農70多年前的一份開創性論文，奠定了整個現代通信設施的基礎。沒有他，就沒有如今的資訊時代。
紀錄片《The Bit Player》
香農於1916年出生於密西根州的蓋洛德，是一位本地商人和一位教師的兒子。他在密西根大學獲得了電氣工程和數學學位，之後，在麻省理工學院撰寫了一篇碩士論文，將布爾代數應用於開關電路的分析和綜合。這項變革性的工作，將電路設計從一門藝術變成了一門科學，如今這被認為是數字電路設計的起點。
克勞德·香農撰寫的碩士論文，突破性地開創了數字電路設計這一領域，十年後，他撰寫了有關資訊理論的開創性論文《通信的數學理論》
接下來，香農將目光投向了一個更大的目標：通信。
02 向通信進發
通信是人類最基本的需求之一。從煙霧信號到信鴿，再到電話、電視，人類一直在尋找更遠、更快、更可靠的通信方法。但是，通信系統的工程問題總是逃不開各種發射源和傳輸介質。
香農卻問了一個沒人問過的問題：「是否有一個偉大的統一理論來描述通信？」1939年，香農在給導師範尼瓦爾·布希的信中，概述了他的一些關於「用於情報傳遞的通用系統的基本特性」的初步想法。經過十年的研究，香農終於在1948年發表了他的大師之作：《通信的數學理論》。
香農的理論的核心，是一個簡單卻非常通用的通信模型：發送器將信息編碼為信號，該信號會被噪聲破壞，然後由接收器解碼。模型很簡單，卻有兩個關鍵見解：
1.信息源和噪聲源獨立於要設計的通信系統；
2.對這兩個源進行概率建模。他設想源生成許多可能的信息，每條信息都有一定的概率。概率噪聲進一步增加了接收器所解碼的隨機性。
在香農之前，通信問題主要被視為決定論的信號重建問題：信號經介質傳播後發生變形，如何處理接收信號，能夠儘可能準確地復現原始信號？香農的天才在於他意識到：溝通的關鍵是不確定性。畢竟，如果我要講述的內容您提前就知道，我還寫它做什麼呢？
香農的通信模型示意圖，摘自他的論文
就是這一見解，將通信問題從實體轉為抽象，從而使香農可以使用概率對不確定性進行建模。這極大地震驚了當時的通信工程師。
03 資訊理論到底在講什麼
建立起有關「不確定性和概率」的理論框架之後，香農開始著手他裡程碑式的論文，並系統地確定了通信的基本極限。他的回答分為三個部分。在每個部分中，「bit（比特）」的概念都扮演著重要角色，香農將其用作不確定性的基本單位。「bit」是「binary digit（二進位數字）」的合成詞，bit可以是1或0，香農的論文首先使用了該詞（儘管他說數學家John Tukey在備忘錄中首先使用了它）。
首先，香農提出了一個公式來計算每秒鐘至少需要多少個bit來傳輸一條信息，並將這個數字稱作熵率（entropy rate）H。熵率H表示發送者發送信息的不確定性，熵率越低，不確定性越小，因此越容易將消息壓縮得更短。例如，以每分鐘100個英文字母的速率發送簡訊意味著每分鐘發送 26100 條可能的消息，每條消息都是100個字母組成的序列。用470個比特就可以編碼所有可能，因為 2470≈ 26100。如果每種序列都具有相同的可能性，那麼香農公式將表明熵率H確實是470 bits/分鐘。實際上，某些序列比其他序列更有可能出現，熵率低得多，可以進行更大程度的壓縮。
其次，香農提出了一個公式，來計算系統在噪聲存在情況下的最大傳輸容量，他稱之為系統容量（system’s capacity），C。這是接收器能夠對傳送的信息進行解碼的最大速率，也代表了通信的速度極限。
最後，他證明了對於發出的信息受到噪聲幹擾的情況，只有當H < C時，通信才是可靠的。信息就像水一樣，流量小於管道容量時，才可安全流過。
雖然這是一種通信理論，但同時也是一種有關信息如何產生和傳遞的理論——資訊理論。因此，現在香農被稱作「資訊理論之父」。
他的定理得出了一些與直覺相反的結論。假設您在嘈雜的地方講話。確保您的消息通過的最佳方法是什麼？也許是一遍又一遍地重複？這可能是大多數人的本能，但事實證明這樣做效率並不高。當然，重複的次數越多，溝通越可靠，但這是犧牲速度來換取可靠性。香農告訴我們，我們可以做得遠遠比這更好。重複消息是使用代碼傳輸消息的一個例子，而使用不同的、更複雜的代碼，可以在保持一定可靠性的同時，更快速地通信——一直到速度極限C。
香農站在一箱電子元件前 香農也有愛玩的一面，他經常將這一面帶到他的工作中。這是香農和他為一隻名為特修斯的電子老鼠建造的迷宮的合影
香農理論的另一個出乎意料的結論是，無論信息的性質是什麼，無論是莎士比亞十四行詩，貝多芬第五交響曲的錄音還是黑澤明的電影，在進行傳輸之前，將其編碼為比特一定是最有效率的。因此，例如在無線電系統中，即使初始的聲音和在空中傳播的電磁信號都是模擬波形，基於香農定理，最好也要先將聲波數位化為比特，然後再將這些比特映射為電磁波。這一令人驚訝的結果是現代數字資訊時代的基石，在這個時代，比特已成為信息的「通用貨幣」。
04 跨界的天才
香農的通信理論是如此自然，他似乎是發現了，而不是發明了宇宙的信息傳播定律。他的理論與大自然的物理定律一樣基礎。從這個意義上說，他是一位科學家。
香農發明了新的數學來描述通信定律。他首次引入的概念，例如概率模型的熵率，已經應用到廣泛的數學分支的研究中，例如遍歷理論（ergodic theory）（動力學系統的長期行為的研究）。從這個意義上說，香農是一個數學家。
但最重要的是，香農是一名工程師。他的理論是受到了實際工程問題的啟發。儘管對當時的工程師來說，這些理論深奧難懂，但現已成為了所有現代（光學，水下，甚至星際）通信系統的基礎標準框架。就個人而言，我很幸運地參與了一個全球範圍的，將香農的理論應用和擴展到無線通信的事業，在多代標準中將通信速度提高了兩個數量級。確實，當前推出的5G標準使用的不是一種而是兩種實用的代碼，它們都達到了香農的速度極限。
克勞德·香農在看一張土星照片
香農在70多年前就為所有這一切奠定了基礎。他是怎麼做到的？通過鍥而不捨地專注於問題的基本特徵，而忽略所有其他方面。他的交流模型的簡單性就是這種風格的很好例證。他還知道要專注於可能的事情，而不是立即可行的事情。
香農製作的一輛黃色的遙控巴士。儘管香農在2001年去世了，但他的遺產仍然存在於構成我們現代世界的技術和他創造的設備（如這種遙控巴士）中
香農的作品說明了頂級科學的真正作用。當我開始讀研究生時，我的導師告訴我，最好的工作往往是在修剪知識樹，而不是發展知識樹。那時候我無法理解這句話。我一直認為，研究人員應當追求的是添加自己的樹枝。後來我有機會在自己的工作中運用了這種哲學，我才開始理解。
當香農開始研究傳播時，工程師已經掌握了大量技術。正是他的工作將所有技術統一起來，將這些知識的枝條修剪成了一棵富有邏輯、一以貫之的、可愛的樹，這棵樹為幾代科學家，數學家和工程師結出了累累碩果。
作者：David Tse
翻譯：xux
審校：Dannis
原文連結：
https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/
tian
福
tian
利
xiang
時
shang
間
今天我們將送出由人民郵電出版社提供的優質科普書籍《數學之旅》。
本書將為你講述數學發展史上100個重大發現。通過這些重大發現重現出人類文明的發展歷程，帶你了解偉大的科學家們的故事以及他們的探索足跡。以時間為劃分，在科學發展的歷史長河中，讓你體驗一次獨特的旅行。
【互動問題：你還知道哪些改變了我們生活的科學理論？】
請大家嚴格按照互動：問題答案的格式在評論區留言參與互動，格式不符合要求者無效。
為了保證更多的朋友能夠參與獲獎，過往四期內獲過獎的朋友不能再獲得獎品，名次會依次順延
*本活動僅限於微信平臺
編輯：Dannis