資訊理論之父——克勞德·香農 | 致敬先驅

2020-12-05 Tackson機器人

如日中天的人工智慧正在或即將引爆整個世界,而那些在上個世紀就預知到人工智慧的未來的先知們,雖然早就在歲月的漩渦裡消失不見,但他們的天才般的智慧和意義非常的碩果,卻將被後人們萬世傳承、永遠銘記。

4月30日,是香農誕辰的102年(1916.04.30-2001.02.26),就讓我們一起來懷念這位與馮·諾伊曼、圖靈並稱的人工智慧領域的先知。

20世紀50年代,圖靈與馮·諾伊曼兩位大師相繼離世後,香農成為人工智慧領域承上啟下的關鍵人物。

1940年,香農博士畢業後曾在普林斯頓高等研究院工作過一年,和馮·諾伊曼有過不少的交流。「熵」(entropy)是香農創立的資訊理論中最核心的概念,代表了一個系統的內在的混亂程度。香農本來打算用「不確定性」(uncertainty)來表達這個概念,當他和馮·諾伊曼討論這個問題時,馮·諾伊曼對香農建議說:「你應該把它稱之為『熵』。」並給出兩個理由,一是「不確定性」這個概念已被用於統計力學,二是沒有人知道「熵」到底是什麼,不致引發爭論。「熵」這個經典的概念,跨越了資訊理論、物理學、數學、生態學、社會學等領域,至今仍在人工智慧領域給人帶來新的啟迪。

互信息、條件熵與聯合熵

與馮·諾伊曼和圖靈一樣,香農也在反法西斯戰爭中立下了不朽的功勳,它研究的通信理論和保密系統被美軍採用,他參與製作的通信加密設備,被用於二戰中盟軍最高領袖羅斯福、邱吉爾、艾森豪、蒙哥馬利等人之間的絕密通信,保護了盟軍的情報安全。在「二戰」期間,因為負責盟軍中通信加解密的工作,圖靈和香農有多次機會見面交流,成了通信和密碼學,他們也多次探討了他們的共同愛好——人工智慧以及機器下棋。1949年,香農發表了著名文章《編程實現計算機下棋》(Program a Computer for Playing Chess),這篇文章是萌芽期人工智慧領域的一篇傑作,後來擊敗西洋棋世紀冠軍的「深藍」和擊敗圍棋世界冠軍的AlphaGo,都是後人在香農開拓的機器下棋領域創造的巔峰傑作。

1956年夏天,在著名的達特茅斯會議上,偉大的先知香農見證了「人工智慧」學科的誕生,完成了與麥卡錫、明斯基、西蒙、紐厄爾等新一代人工智慧學術領袖的傳承。

克勞德·艾爾伍德·香農(Claude Elwood

相關焦點

  • 「資訊理論之父」——克勞德·香農是如何創造未來的
    因此,很少有人能夠同時為這三個學科做出重大貢獻,而克勞德·香農(Claude Shannon)就是其中之一。你可能從未聽過Claude Shannon這個名字,但我們現在所處的信息化時代背後的整個通信基礎架構,正是基於他七十多年前發表的一篇富有開創性的論文。1916年,Shannon在密西根州出生,他的父母是當地的商人和教師。
  • 資訊理論創始人克勞德·香農:真正的天才是如何思考的?
    編者按:克勞德·香農(Claude Shannon),美國數學家、電子工程師和密碼學家,被譽為資訊理論的創始人。1948年,香農發表了劃時代的論文《通信的數學原理》,奠定了現代資訊理論的基礎。不僅如此,香農還被認為是數字計算機理論和數字電路設計理論的創始人,也為軍事領域的密碼分析, 包括密碼破譯和保密通信,做出了很大貢獻。
  • 誰是第一個研究信息的科學家?看資訊理論之父香農的偉大人生
    貝爾實驗室的克勞德 香農在20世紀,也誕生了一位這樣的大師,他第一次把信息作為研究對象,讓人們第一次意識到,原來信息也可以被研究的,並一手指導了後來的計算機革命,他就是克勞德·艾爾伍德·香農(Claude Elwood
  • 在1024 特殊日子,怎麼能忘記香農及比特 bit
    香農,全名是克勞德·艾爾伍德·香農(Claude Elwood Shannon),美國著名數學家、發明家、密碼學家,資訊理論的創始人。接下來,小棗君就來給大家講講他的傳奇故事。1916年,第一次世界大戰激戰正酣。在該年的4月30日,遠離戰場的美國密西根州佩託斯基(Petoskey),一個男嬰呱呱墜地。這個男嬰,就是香農。
  • 信息熵是怎樣煉成的 | 紀念資訊理論之父香農
    撰文 | 丁玖(南密西西比大學數學教授)紀念"資訊理論之父"香農的最好方式,莫過於重溫一下他怎樣定義信息熵的數學思想,去理解現代資訊理論這個基本概念——僅用初等代數即可推導,令人賞心悅目,流連忘返!確定性過程在數學裡是司空見慣的現象。
  • 後香農時代信息產業發展面臨的十大挑戰數學問題
    打開APP 後香農時代信息產業發展面臨的十大挑戰數學問題 機器之心 發表於 2020-11-20 17:33:21 在上月底結束的長沙「數學促進企業創新發展論壇」上,華為董事、戰略研究院院長徐文偉拋出了後香農時代信息產業發展面臨的了十大挑戰數學問題。 提到香農定理,通信領域的小夥伴應該是非常熟悉的了,可稱得上是該領域的「金科玉律」。1948 年,香農博士在《通信的數學原理》一書中提出了這一著名的定理。
  • 信息價值最大化:香農《資訊理論》的生活意義
    一段信息所包含的信息量不僅僅由信息的長短來決定,還決定於這信息克服了多少不確定性。克服的不確定性越大說明得到的信息越有價值。香農的《資訊理論》信息熵熵——物理上表示一個系統混亂的程度,物體越不穩定,熵越值大。而信息熵相似的表示信息中字符的不可預測程度,信息熵越大——可供選擇的範圍越廣,選擇的信息量就越大。這可以是好處,你可以得到更多內容。
  • 一個頑皮的科學巨匠,香農外傳紀念克勞德·艾爾伍德·香農誕生一百...
    …  資訊理論之父---香農  小時候,香農就熱衷於安裝無線電收音機,痴迷於莫爾斯電報碼,還擔任過中學信使,冥冥之中,與保密通信早就結下了姻緣。特別是一本破譯神秘地圖的推理小說《金甲蟲》,在他幼小的心靈中,播下了密碼種子。
  • 天才是如何解決問題的——以資訊理論的創始人香農為例
    克勞德·香農是美國數學家、電子工程師和密碼學家,被譽為資訊理論的創始人。不僅如此,香農還被認為是數字計算機理論和數字電路設計理論的創始人。克勞德·香農花了大約十年的時間才完全形成了他開創性的信息理論。他最初的想法是在研究生院為他那個時代的許多信息技術(如電話、收音機和電視)建立一個共同的基礎。然而,直到1948年,他才發表了一篇關於溝通的數學理論。不過,這並不是他唯一的重大貢獻。
  • 華為緣何致敬極化碼之父?
    華為給予阿里坎「國王般的禮遇」去年7月26日,華為在深圳總部為5G極化碼(Polar碼)發現者、土耳其人埃爾達爾·阿里坎教授舉行頒獎儀式,致敬其為人類通信事業發展所作的貢獻。當天,華為董事長梁華,輪值董事長徐直軍、郭平、胡厚崑、CEO任正非等核心高管悉數到場。
  • 香農誕辰百年紀念特輯 | 香農說要有「熵」,資訊時代便由此開啟
    雖然香農被學術屆尊為資訊時代之父,聽說過這位科學巨人名字的想必比知道宋仲基的人少得多。當然,熱愛韓星的同學也都是很有文化的,他們也都會把愛因斯坦視為上個世紀最偉大最傑出的科學家,他們在茶餘飯後也會聊聊愛老伯的相對論和最近時髦的引力波。只是他們可能不知道,香農對人類的貢獻絕對可以和愛老伯媲美。
  • 他用1和0解決了人類兩大難題,他是資訊理論之父,卻渴望做雜耍博士
    但還有一個人很少被我們提及,他就是帥到令人髮指,成就與牛頓、愛因斯坦比肩,他是資訊理論之父——克勞德·香農。為什麼想到了他?起因是我最近認真讀了《信息簡史》。據說邱吉爾和羅斯福的越洋電話就是香農加密的,後來香農成為密碼破譯的權威。第二次世界大戰如火如荼之時,阿蘭·圖靈搭乘「伊莉莎白女王號」,輾轉躲過德軍的 U 型潛艇來到美國,兩位志趣相投的思想家在這裡相遇。
  • 他用1和0解決了人類兩大難題,他是資訊理論之父,卻渴望做雜耍博士
    但還有一個人很少被我們提及,他就是帥到令人髮指,成就與牛頓、愛因斯坦比肩,他是資訊理論之父——克勞德·香農。起因是我最近認真讀了《信息簡史》。雖然我仍然對熵的概念表示迷惑,但是完全不影響我對香農的崇拜。他真是太牛了!專注自己本職不說,還是一位跨界高手。簡直讓我等渣渣汗顏。
  • 坤鵬論:香農說,信息是能夠用來消除不確定性的東西
    ——坤鵬論前兩天,我們充分討論了信息的特徵。今天,坤鵬論主要講幾個與資訊理論、信息熵相關的基本概念,如果沒有它們作為基礎,理解後面的內容會比較困難些。資訊理論之父香農曾說過,通信技術的主要矛盾就是傳輸速率與可靠性的矛盾。不管什麼時候,在信道質量不變的前提下,一味地提升數據傳輸速率,必然導致信號的失真,甚至完全識別不出來。這個世界上,牛人都是從改變自己開始,正如芒格所說,要想得到什麼,先得讓自己配得上。
  • 天才VS頑童,帶你走近克勞德·香農
    他的頭銜好像太多了:美國數學家、密碼學家、資訊理論創始人、雜耍學博士……沒錯!香農就是這樣一個集英俊與才華於一身的男子,妥妥的別人家的孩子,那麼今天就讓我們來看看香農和他的遊戲人生吧!(2019華南理工大學)簡述香農韋弗模式的運作方式,意義以及缺陷(2019陝西師範大學)香農韋弗數學傳播模式理論(2018安徽大學)香農韋弗模式(2018湖南師範大學)香農韋弗模式的貢獻我們都知道傳播學是一個多學科交叉的領域,其實,除了大家都熟悉的數學模式,香農定理及其資訊理論還在很多方面為傳播學的發展奠定了基礎。
  • 「資訊時代之父」香農:用一隻木老鼠奠定人工智慧的基礎
    「大家好,我是貝爾電話實驗室的數學家克勞德?香農,」當攝像機鏡頭逐漸放大時,一位穿西裝、打領帶,身材修長的男人,用活潑輕快的語言做自我介紹。 這發生在1952年。儘管對於工程師和數學家們來說,香農早已是一個不需要介紹的傳奇人物,但對於美國的數百萬觀眾,他仍然是一張陌生面孔――但不久之後就家喻戶曉,人盡皆知了。
  • 後香農時代,華為提出10大數學挑戰問題,你能看懂嗎?
    機器之心報導編輯:杜偉後香農時代的通信技術會如何發展?又有哪些值得業界關注的數學問題呢?在上月底結束的長沙「數學促進企業創新發展論壇」上,華為董事、戰略研究院院長徐文偉拋出了後香農時代信息產業發展面臨的了十大挑戰數學問題。提到香農定理,通信領域的小夥伴應該是非常熟悉的了,可稱得上是該領域的「金科玉律」。
  • 克勞德·香農:看我如何發明未來
    【導讀】克勞德·艾爾伍德·香農,美國數學家、電子工程師和密碼學家,被譽為資訊理論的創始人。他發表了劃時代的論文——通信的數學原理,奠定了現代資訊理論的基礎。不僅如此,香農還被認為是數字計算機理論和數字電路設計理論的創始人。他不曾捧起過一座諾貝爾獎盃。他的名字也不曾如愛因斯坦、費曼般如雷貫耳,無論是生前死後。
  • Bear談無線通信|資訊理論與香農定理
    當然,在這上面也存在著信息不對稱,有興趣的同學可以去了解一下檸檬市場和劣幣驅逐良幣。但正是因為信息消除了不確定性,就給你帶來了「驚喜!」。因此,消除的不確定性越多,給你帶來的「驚喜」也就越大。這個信息對你而言也就越有價值。但是,就像物理擴散作用一樣,信息有向著最大不確定性的方向發展的特性。假設你跟人玩骰子,你搖到6點的概率應該是越來越接近1/6。
  • 新的實驗室數據傳輸速率達到178Tbps,接近香農理論極限
    更令人印象深刻的是,根據UCL所述,這個速度接近於美國數學家資訊理論創始人克勞德·香農(Claude Shannon)於1948年提出的香農極限。信道的香農極限(或稱香農容量)指的是在會隨機發生誤碼的信道上進行無差錯傳輸的最大傳輸速率。