在1024 特殊日子,怎麼能忘記香農及比特 bit

2021-01-13 IT之家

昨天是10月24日,也就是大家喜聞樂見的1024程式設計師節。

其實,按道理來說,1024並不只屬於程式設計師,也同樣屬於我們通信汪。我們每天也沒少和1024打交道,不是麼?

說到1024背後的含義,相信大家都很清楚了。1024等於2的10次方,而這個2,就是二進位。我們通常把每一位二進位數字,稱為1比特(bit)。

那麼問題來了,「比特」這個單位是怎麼來的呢?我們為什麼會用「比特」作為信息量的單位呢?

哈哈,我想很多童鞋已經猜到了,今天這篇文章,小棗君要給大家介紹的,就是我們信息和通信行業共同的祖師爺——香農。

就是這麼帥!

香農,全名是克勞德·艾爾伍德·香農(Claude Elwood Shannon),美國著名數學家、發明家、密碼學家,資訊理論的創始人。

接下來,小棗君就來給大家講講他的傳奇故事。

1916年,第一次世界大戰激戰正酣。在該年的4月30日,遠離戰場的美國密西根州佩託斯基(Petoskey),一個男嬰呱呱墜地。這個男嬰,就是香農。

香農從小就在一個名叫蓋洛德(Gaylord)的小鎮生活。他的父親,是這個小鎮的法官,名字叫克勞德·艾爾伍德·香農(沒錯,他老爹給兒子取了和自己一毛一樣的名字)。

香農的母親,是小鎮的中學校長,名叫梅布爾·沃爾夫·香農(Mabel Wolf Shannon)。

父親是法官,母親是校長,這樣的知識分子家庭,教育氛圍當然不會差。

讀書時候的香農,已經表現出驚人的數學天賦。在8歲的時候,他就輔導他姐姐做高等數學作業。後來,他姐姐大學畢業,成為了數學教授。。。

除了數學之外,小香農特別喜歡搞發明創造,其中就包括電報機、電動船,以及各自機械動物。

小時候的香農

這個興趣愛好,估計和他的爺爺有很大的關係。他爺爺是一位農場主兼發明家,發明過洗衣機和很多農用機械。

值得一提的是,香農還有一個遠房親戚,也很喜歡搞發明。這位親戚的名字,叫愛迪生。


1936年,20歲的香農從密西根大學本科畢業,順利拿到了數學和電子工程雙學位。隨後,他進入麻省理工學院繼續深造。

兩年後,香農完成了他的碩士論文——《繼電器與開關電路的符號分析》。

在論文中,他首次提出,可以用布爾代數來描述電路。他將布爾代數的"真"與"假"和電路系統的"開"與"關"對應起來,並用了數學中最簡單的兩個數字——「1」和「0」來表示。

喬治·布爾(1815-1864),英國數學家

1847年,他提出了布爾代數,這是一種計算命題真偽的數學方法。

香農的這篇論文,雖然僅僅是碩士論文,但具有劃時代的意義。它奠定了數字電路的理論基礎。後來出現的計算機等設備,都以此為設計思路。

後來,著名計算機科學家赫爾曼·哥爾斯坦評價這篇論文是「有史以來最重要的一篇碩士論文」,「從藝術到科學上改變了電路的設計。」

赫爾曼·哥爾斯坦

世界上第一臺現代電子數字計算機ENIAC的研製者之一

因為這篇論文,香農獲得了電子工程界的大獎——美國Alfred Noble協會美國工程師獎。

正當世人以為這位電子工程天才會繼續大展拳腳的時候,他卻沒了下文。直到兩年後,他丟出了自己的博士論文——《理論遺傳學的代數學》,並憑此獲得了麻省理工的數學博士學位。

是的,這傢伙玩了個跨界,竟然從電子工程學跨到了生物遺傳學。。。

年輕時的香農

此後,香農去普林斯頓高等研究院待了一年,與愛因斯坦、馮·諾依曼等大師級人物有過交集。他的研究方向,變成了機械模擬計算機。

1941年,香農發表了新的論文——《微分分析器的數學理論》,通過機械式計算機來求解微分方程。

當時的微分分析器

同年,香農加入了著名的貝爾實驗室(此後一直工作到1972年)。

最開始進入貝爾實驗室的時候,香農是去的數學部,從事和戰爭相關的工作——研究火力控制系統和密碼學。

他所在的密碼破譯團隊,主要負責追蹤納粹德國的飛機和火箭。他還用數學手段,推導了X系統的安全性。這個X系統,就是指英國首相邱吉爾和美國總統羅斯福之間的專用電話線路。

1943年,英國著名數學家、密碼學家阿蘭·圖靈訪問貝爾實驗室,並與香農共進午餐。

阿蘭·圖靈(1912-1954)

鑑於兩人的特殊工作性質,他們並沒有進行密碼學的交流,反而更多的是討論人造思維機器(也就是後來的AI人工智慧)。

當時,香農告訴圖靈,他不僅僅滿足於向這臺「大腦」裡輸入數據,還希望把文化的東西灌輸進去。

這個想法震驚了阿蘭·圖靈,他感到非常不可思議,驚呼道:「他(香農)想給它來點音樂!」

後來,隨著對密碼研究的不斷深入,香農逐漸形成了一套完整的密碼學理論。與此同時,他開始思考有效通信系統的問題。現代資訊理論的思想雛形,逐漸在他的腦海裡形成。

1945年,他向貝爾實驗室提交了一份備忘錄——《密碼學的一個數學理論》。

1948年6月至10月,香農在《貝爾系統技術雜誌》連載了那篇改變人類社會發展軌跡的論文——《通信的數學理論》。次年,香農又在該雜誌發表了另一篇著名論文——《噪聲下的通信》。

在這兩篇論文中,香農給出了通信系統的基本模型,提出了信息熵的概念以及數學表達式。

計算信息熵H的公式

大家如果是工科出身且還記得通信原理的話,就知道,一條信息的信息量大小,和它的不確定性有直接關係。

舉個例子:如果我告訴你,世界是圓的。這種非常確定的內容,信息量是0(等於一句廢話)。如果我告訴你,XX樹下埋了一百萬美金,那這個信息量就很大。上面那個公式,就是根據確定性大小算信息量的,考研必考題。

香農指出,信息是可以被量化的,用數字編碼可以代表任何類型的信息。信息進行數位化後,可以經壓縮再傳輸,極大地減少傳輸時間和傳輸成本。

香農還推出了比特的概念(他將發明這個詞的榮譽歸功於自己的同事約翰·圖基),將其稱為「用於測量信息的單位」。

比特(bit),其實就是二進位數(binary digit)的縮寫。

眾所周知,比特後來成為了資訊時代的基石。我們今天在網際網路上所有的信息,都在用它來表達。

除了信息熵之外,香農還在論文中提出了大名鼎鼎的香農公式。

香農公式

簡單來說,信息熵討論的是信息量及數據壓縮的臨界值。而香農公式,則是討論通信速率的極限值。

具體細節我們就不討論了哈,不然人都跑光了。

我們只需要知道,直到現在的5G,我們還沒有逃脫香農公式的「魔爪」。有些人一輩子幹的事,就是無限逼近香農公式的極限。

兩篇論文的發表,奠定了資訊理論的基礎,對學術界造成了巨大的震動,影響力絲毫不亞於1947年12月世界上第一個電晶體的發明(同樣來自貝爾實驗室)。

當時,因為資訊理論的觀點非常超前,還引起了一些質疑和反對。後來,隨著時間的推移,信息技術迅速發展,資訊理論的價值越發顯現,香農也確立了自己「信息和通信雙料祖師爺」的地位。

忘了說了,發表論文時的香農,才33歲。

1949年,香農在備忘錄《密碼學的一個數學理論》的基礎上,又發表一篇重要論文——《保密系統的通信理論》。

這篇論文再次震驚學術界。波士頓環球報稱:「這一發現將密碼從藝術變成為科學」。

論文開闢了用資訊理論來研究密碼學的新思路,奠定了現代密碼理論的基礎。香農也憑此成為近代密碼理論的奠基者和先驅。

1949年3月27日,香農迎娶了自己在貝爾實驗室的同事,瑪麗·伊莉莎白·摩爾(Mary Elizabeth Moore),然後繼續從事自己熱愛的科學研究工作。

1952年,香農夫婦共同推出了著名的「會走迷宮的老鼠」——忒修斯。

香農和忒修斯

這是一隻木製的、帶有銅須的玩具老鼠。它能通過不停地隨機試錯,穿過一座由金屬牆組成的迷宮,直到在出口處找到一塊金屬的「奶酪」。

最厲害也最具獨創性的是:「忒修斯」能夠記住這條路線,甚至在下一次任務中,迷宮的牆壁有所移動,都難不倒它。

當時,香農還專門拍攝了一段影像,製作成電視節目,展示這隻老鼠。這個節目引起了公眾的極大興趣,在人們看來,這就是一隻「會思考」的老鼠啊。

其實,走迷宮的秘訣並不在老鼠身上,而是在迷宮上。迷宮各處隱藏了75個繼電器開關,通過這些簡單的只具有開關功能的設備,最終實現了老鼠的所謂「智能」。

1956年,香農成為麻省理工學院(MIT)的客座教授。1958年,成為終生教授。

1961年,香農和同事索普做出一個香菸盒大小的小型計算機,小盒子藏在口袋裡,用大腳趾控制藏在鞋子裡的開關。這個設備用來幹什麼呢?用來預測賭場的輪盤賭結果,計算小球落在輪盤不同位置的概率。

憑藉這個設備,他們倆還真的在拉斯維加斯贏到了錢。後來,因為被盯上,所以趕緊放棄並離開了。


香農另一個著名的發明,是一個會下西洋棋的機器。這個機器用了150個繼電器開關,具備不錯的計算能力。1965年,香農帶著這個機器跑去挑戰當時的世界冠軍Mikhail Botvinnik。雖然最後還是輸了,但表現不賴。

1973年,在以色列阿什凱隆召開的資訊理論國際研討會上,IEEE命名了香農獎,並把這一獎項授於香農本人。這種自己領自己名字命名的獎的做法,後來被人戲稱為「香農套路」。

1985年,在英格蘭布萊頓舉行的「國際信息理論研討會」上,香農突然現身,引起了全場轟動。參加會議的年輕學者簡直不敢相信自己的眼睛,竟然親眼看見了信息理論的祖師爺!更讓人瞠目結舌的是,香農竟然在會場上表演起了拋物雜耍,讓整個會場更加沸騰。。。

香農當年還是投資大師、炒股高手,擅於採用套利的手法,迅速賺取財富。

1986年8月11日,著名的《巴倫周刊》曾匯總了1026家共同基金的近期表現,香農排名第一。。。

剛才我們提到香農在會場表揚拋物雜耍。其實,香農終身都熱愛雜耍。在很年輕的時候,他就學會了騎獨輪車和拋接球。當年在貝爾實驗室上班的時候,他經常特立獨行地騎獨輪車去上下班,成為一道靚麗的風景線。

被科學耽誤了的雜技天才

到了晚年時期,香農對雜耍的熱愛簡直到了痴迷的地步。他花了很多時間刻苦練習,不斷提高雜耍水平。他甚至還擁有一張雜耍學博士證書,視為至寶。

除了雜耍之外,他還熱衷於製造玩具。他建造了火焰噴射喇叭、火箭驅動飛盤、自動下棋機器人等各種奇怪的玩具。

在後來人工智慧先驅馬文·閔斯基的啟發下,他設計了一個被稱為「終結機器」的機器人。當你把開關撥到「開」,盒子打開並伸出一個機械手,它把開關撥回到「關」,然後機械手縮回到盒子裡去。

「終極機器」……

在麻薩諸塞州溫徹斯特香農的家中(香農稱為「熵宅」),堆滿了他的小發明。他的車庫中存放了至少30輛奇特的獨輪車,其中包括一個沒有腳蹬的獨輪車,一個是方形的輪胎的獨輪車,一個特為兩個人騎的獨輪車。。。

真正的老頑童

香農還把玩雜耍上升到理論的高度,開始撰寫《統一的雜耍場理論》。。。

遺憾的是,這篇作品還沒有完成,香農就因阿爾茲海默症於2001年2月26日去世了,享年85歲。

著名學者理察·布拉胡特(Richard Blahut)教授在香農雕像(位於香農老家蓋洛德鎮)的落成典禮上,是這麼評價香農的:

「在我看來,兩三百年之後,當人們回過頭來看我們的時候,他們可能不會記得誰曾是美國的總統。他們也不會記得誰曾是影星或搖滾歌星。但是仍然會知曉香農的名字。學校裡仍然會教授資訊理論。」

致敬!偉大的資訊時代之父——克勞德·艾爾伍德·香農!

相關焦點

  • 坤鵬論:香農說,信息是能夠用來消除不確定性的東西
    在搞清楚了信息的傳輸模型後,其實大部分人都能說出怎麼讓信息傳輸得更快、更準。這就是為什麼坤鵬論一直強調,凡事先搞清基礎概念以及本質的原因。可見,在信息傳輸系統中,最關鍵的點就是信道。歷史上,凡是給出度量方法的,都能稱之為偉大。秦始皇統一了度量衡,被寫進了歷史課本。你現在可能還不太理解,沒關係,繼續跟著坤鵬論學習香農。
  • 克勞德·香農:看我如何發明未來
    在不確定性和概率的框架下,香農在他的裡程碑式的論文中系統地確定了通信的基本限制。他的回答分為三部分。在這三者中起核心作用的是信息「位」(bit)的概念,香農將其作為不確定性的基本單位。這個詞是「二進位數字」的合成詞,一位可以是1也可以是0,香農的論文是第一個使用這個詞的人(儘管他說數學家約翰·圖基首先在備忘錄中使用了這個詞)。
  • 圖靈與香農以及他們的大時代《智慧財產權簡史》人物篇
    熵在創新、信息等各個領域都有應用(我曾寫過《熵、創新、智慧財產權與稅》的文章,請大家往前翻看),信息熵表明漢字的靜態平均信息熵比較大,中文是9.65比特,英文是4.03比特。什麼意思呢?就是說中文的複雜程度要高於英文,中文字含的信息要比英文字母豐富,尤其是文言文,言簡意賅,中文是世界上最難學的語言(驕傲不?)。
  • 克勞德·香農:貢獻可與牛頓和愛因斯坦比肩
    他對人類的貢獻完全可以和牛頓、愛因斯坦比肩,比特(bit)這個單位,就是他發明的,用二進位存儲信息也是他的貢獻。32 歲時,香農的《通信的數學理論》出版。在這部著作中,他提出了比特數據,證明了信息是可以被量化的,並闡述了如何在保證準確率的前提下用數字編碼對信息進行壓縮和傳輸。該著作被譽為「資訊時代的大憲章」(the MagnaCarta of the information age)。普通人可能聽著不覺得有什麼,因為香農並不是家喻戶曉的科學家。
  • 你已經知道比特幣,但知道「比特」從何而來嗎?
    你也許通過比特幣 Bitcoin 知道了 bit,或者早就聽說過 bit,但知道 bit 是信息的最小單位麼?香農與圖靈,人工智慧的設想二戰期間,Claude Elwood Shannon 加入貝爾實驗室,研究火力控制系統和密碼學,相關課題直屬國防研究委員會領導。
  • 11ax:1024QAM
    然後就開始出現4QAM,16QAM,64QAM,256QAM,直至今天的1024QAM。看上去很複雜,其實挺簡單。把前面那個數字以2為底求對數,就是一個symbol所能夠表達的bit數。例如:256QAM:8bit1024QAM:10bit單個symbol所能表達的bit數越多,空口的帶寬(bps)越寬。
  • 堪與E=mc²比肩的香農公式,5G背後的主宰
    即使經歷了從1G(FirstGener⁃ation)到2G,從2G到3G,從3G到4G的移動通信變更,各家巨頭AT&T、摩託羅拉、愛立信、英國電信、諾基亞、高通、蘋果、中國移動、華為……你方唱罷我登場,但始終沒有誰能坐穩通信業的「鐵王座」。    面對即將到來的5G,誰是這場通信變革的新起之秀?
  • 香農極限下光傳輸的演進之路
    3月19日消息(水易)日前,市場研究公司Delloro Group副總裁Jimmy Yu撰文,以行業分析師的角度解析了面對香農極限下的光傳輸演進之路。以下是編譯原文:光纖帶寬並不是無限的。但是,幾十年後的今天,香農極限的現實像烏雲一樣籠罩著服務提供商的未來。在全球範圍內,通過部署最新的DWDM光轉發器,服務提供商一直可以享有以較低的每比特成本來滿足客戶更高網絡容量的要求。這是一種久經考驗的方法,利用了原先光纖基礎設施的相關沉沒成本。
  • 看資訊理論之父香農的偉大人生
    如果在世界上再發起一次誰是最偉大科學家的投票,再怎麼選,牛頓同志都會在前二以內,另一位大家自行腦補。的確,牛頓的萬有引力定律和運動定律,光學上發現,以及數學上的創造太過燦爛,但是歷史上有如此成果和創造力也不止牛爵士一人吧,麥克斯韋,龐加萊等等,為啥這些後人們都得給牛爵士讓步呢?
  • 香農誕辰百年紀念特輯 | 香農說要有「熵」,資訊時代便由此開啟
    其實在一些特殊的情況下,確定最優的問問題策略和最少需要的問題個數並不困難。考慮這樣一個特例:俺心裡的神秘數字 X 的取值範圍是 S={1, 2, …, 8},而且 X 的概率分布函數是個均勻分布。那麼最優的問問題方法就是所謂的「二分法」:每問一個問題要把這個神秘數字的可能範圍縮減一半。
  • 香農告訴你:彪悍的人生就是玩也要玩出境界
    克勞德·香農,資訊理論之父,在科學史上,香農是足以和牛頓、愛因斯坦相提並論的天才。而且按照有些學者的說法,愛因斯坦開創了相對論,卻沒有把我們帶入相對論的時代,而香農開創了資訊理論,並且把人類帶入了資訊時代。所以,香農的影響比愛因斯坦更大。
  • 「資訊時代之父」香農:用一隻木老鼠奠定人工智慧的基礎
    正如它的名字所暗示的,香農的這隻木老鼠也是一個走迷宮的高手。它能通過不停地隨機試錯,穿過一座由金屬牆組成的迷宮,直到在出口處找到一塊金屬的「奶酪」。最厲害也最具獨創性的是:「忒修斯」還能記住這條路線,在下一次試驗中能漂亮地完成任務;甚至在下一次任務中,迷宮的牆壁有所移動,都難不倒它。
  • 香農定律:新帝國的基石,資訊時代規則的制定者,5G幕後的大Boss
    在麥克斯韋構想中,麥克斯韋妖有極高的智能,可以追蹤每個分子的行蹤,並能辨別出它們各自的速度。這個理想實驗如下:「我們知道,在一個溫度均勻的充滿空氣的容器裡的分子,其運動速度決不均勻,然而任意選取的任何大量分子的平均速度幾乎是完全均勻的。
  • Filmic發布10bit LogV3
    而這次的filmic 帶來了 10bit HDR 和 logV3,也算是難得的誠意了,下面跟著我一起看下10bit LogV3 官方介紹10bit LogV3 快速體驗簡介在剛剛發布的 iOS 和安卓版 FILMIC Pro v6.13 中,官方推出了支持 10bit SDR 拍攝的全新伽馬曲線套件,其中包括了logV3,當然這個功能依然是屬於需要內購的