Geoffrey Hinton:從黑暗深淵到重現人類智能,神經網絡之父的傳奇人生

2021-02-19 異步圖書

Geoffrey Hinton,被稱為「AI教父」,是神經網絡的先驅之一,也是多倫多大學名譽教授,曾在Google擔任高級工程師。

Geoffrey Hinton生於1947年12月6日,加拿大英裔。出生在書香門第的他似乎天生比別人多了很多「天賦」,比如對外部的事物具有驚人的洞察力和觀察力,擅長思考、研究,敢於開拓。

1977年,Geoffrey Hinton在愛丁堡大學獲得博士學位。心理學和計算機是他的強項,同時又在人工智慧神經網絡領域取得了巨大成就,也被稱為」神經網絡之父「。

1943 年,美國芝加哥大學的神經科學家Warren McCullough和他的助手Walter Pitts發表了論文《神經活動中思想內在性的邏輯演算》(A Logical Calculus of Ideas Immanent in Nervous Activity)。這個論文首次提出了人工神經網絡的概念,隨後,Rosenblatt又提出具有三層網絡特性的的神經網絡結構「感知器」,此概念一經提出便引起了全社會的廣泛關注,促成了連接主義的第一波熱潮。

1969年,「人工智慧之父」Minsky和Papert發文指出,神經網絡概念的構成過於簡單,只能用於現行問題的求解,因而從理論上還不能證明將感知器模型擴展到多層網絡是有意義的。

顯而易見,這個批評理論的出現讓當時從事人工神經網絡研究的學者們遭遇到了巨大的阻礙,為剛剛燃起希望之火的人工神經網絡潑了一大盆冷水。人工神經網絡的研究也因此進入了長達13年的低潮期,政府和相關機構都不再為這個項目提供科研基金,沒人願意把時間和精力浪費在這件看似「毫無意義」的研究上。

因為神經網絡的應用效果完全沒有達到公眾期望,所以高漲的熱情也就逐漸變成了失望乃至責難。

長達13年的「黑暗時期」,在大部分的研發學者礙於沒有資助改投其他研究領域的時候,仍然有一小批以Geoffrey Hinton教授為首的學者堅守在這個領域,通過堅持不懈的實驗模擬再到迭代更新,最終證明了「神經網絡」理論的可行性。他們的卓越工作將人工神經網絡從「黑暗深淵」中拯救出來,令其重新回歸到人工智慧的研究領域。

早在高中時期,Geoffrey Hinton就從朋友那裡得知了人腦的工作原理。

朋友告訴他,人腦就像一個3D全息圖,需要大量的記錄人類所看到的影像以及對外界物體多次反射的結果,然後這些信息會被儲存進大腦裡一個龐大的「資料庫」中。這個「資料庫」並非一個特定的地方,而是在整個神經網絡中進行傳播。Geoffrey Hinton聽罷深深為此著迷,這也成為了他人生的關鍵和成功的起點。

在劍橋大學就讀期間,他開始致力於生理學方面的研究與學習,解剖大腦以了解其工作方式。但他明白,單靠醫學研究的方向是遠遠不夠的,人類大腦有數十億個神經細胞,它們之間通過神經突觸相互影響,形成極其複雜的相互聯繫。而科學家們也不能解釋這些具體的影響和關聯。一年之後他轉而將心理學和物理作為攻讀方向。

「我認為,如果你真的想了解一個非常複雜的裝置,比如大腦,那你就製作一個。」

1973年,Geoffrey Hinton開始在愛丁堡大學攻讀人工智慧博士學位。基於醫學和心理學方面的研究成果,他決定使用計算機科學的方法來模擬大腦,繼續在神經網絡方向上的探索。

他致力於使用人工神經網絡讓計算機去模擬人類大腦存儲和思考方面的研究,儘管這個課題已經被當時的學術界認定是不切實際的,在那個電腦運算緩慢和數據只能小批量處理的80年代,Geoffrey Hinton和同事們依舊在這樣苛刻的環境中取得了一些成就。

1985年,Geoffrey Hinton和Sejnowski藉助統計物理學的概念和方法提出了一種隨機神經網絡模型——玻爾茲曼機。一年後他們又改進了模型,提出了受限玻爾茲曼機。

1986年,Rumelhart,Geoffrey Hinton,Williams發展了BP算法(多層感知器的誤差反向傳播算法),然而神經網絡仍然不受主流學術派待見。

在隨後的數年中,得益於計算機的運算和數據處理能力的大幅度提高,Geoffrey Hinton和他的工作團隊NCAP逐步地實現了一些早期關於神經網絡研究方面的想法。他們定期舉辦研討會,討論研究中遇到的困難提出解決辦法,加快了研究的步伐,最終建立了更有效的深度學習的算法,贏得全球AI界的關注,並成功地引起了網絡巨頭們的注意。 

Geoffrey Hinton對這項技術的堅定信念最終帶來了巨大的紅利和行業的發展。由於他在這一領域的卓越貢獻,Geoffrey Hinton也在去年被授予圖靈獎。

目前,Geoffrey Hinton在谷歌公司參與並領導世界最著名最大規模的人類大腦模擬項目——「谷歌大腦」計劃。

該項目使用超大規模計算機集群,通過神經網絡技術去模擬人類大腦的神經元工作,谷歌大腦團隊的標語為「讓機器更智能,以提升人類生活質量」。這項技術主要運用於安卓作業系統裡的語音識別控制項中,同時也用於谷歌社交平臺Google+裡的圖片搜索功能,而且也對谷歌的智能視頻推薦起到了至關重要的作用。

關於人工智慧領域的發展空間,Geoffrey Hinton表示:「在人工智慧無所不能之前,我們還需要有相當多的概念突破,尤其是有關於如何得到神經活動的載體來實現推理功能方面的概念突破。」

在未來的人工智慧領域,運動控制是非常重要的研究方向。而深層神經網絡越來越擅長運動控制。人工智慧的發展遠遠不止於此,它的潛力是無窮的,隨著時代的變遷,人工智慧技術日趨成熟,同時我們也應該記住這位貢獻者——「神經網絡之父」。

所以,當我們在探討人工智慧的學習時,我們應該從何處找到切入點?是複雜的公式?還是令人深感迷惑的神秘術語?異步君給大家推薦三本經典書,一起開啟這場冒險吧。

作者: [美] 傑弗瑞·希頓(Jeffery Heaton)

內容簡介:

算法是人工智慧技術的核心,大自然是人工智慧算法的重要靈感來源。本書介紹了受到基因、鳥類、螞蟻、細胞和樹影響的算法,這些算法為多種類型的人工智慧場景提供了實際解決方法。全書共10章,涉及種群、交叉和突變、遺傳算法、物種形成、粒子群優化、蟻群優化、細胞自動機、人工生命和建模等問題。書中所有算法均配以具體的數值計算來進行講解,每章都配有程序示例,讀者可以自行嘗試。

自然語言處理實戰 利用Python理解、分析和生成文本

作者: [美]霍布森•萊恩(Hobson Lane) ,科爾•霍華德(Cole Howard) ,漢納斯•馬克斯•哈普克(Hannes Max Hapke)

內容簡介:

本書是介紹自然語言處理(NLP)和深度學習的實戰書。NLP已成為深度學習的核心應用領域,而深度學習是NLP研究和應用中的必要工具。本書分為3部分:第一部分介紹NLP基礎,包括分詞、TF-IDF向量化以及從詞頻向量到語義向量的轉換;第二部分講述深度學習,包含神經網絡、詞向量、卷積神經網絡(CNN)、循環神經網絡(RNN)、長短期記憶(LSTM)網絡、序列到序列建模和注意力機制等基本的深度學習模型和方法;第三部分介紹實戰方面的內容,包括信息提取、問答系統、人機對話等真實世界系統的模型構建、性能挑戰以及應對方法。本書面向中高級Python開發人員,兼具基礎理論與編程實戰,是現代NLP領域從業者的實用參考書。

作者: 【美】Ian Goodfellow(伊恩·古德費洛) 【加】Yoshua Bengio(約書亞·本吉奧) 【加】Aaron Courville(亞倫·庫維爾)

內容簡介:

本書為三大部分,第一部分介紹應用數學基礎知識和機器學習的基本概念,第二部分介紹業界經典的深度學習算法,第三部分是一些探索性研究,對深度學習的未來發展非常重要。本書假定讀者擁有計算機科學的背景,熟悉編程,對計算性能、複雜度問題、圖論知識以及入門的微積分了解。

Today's Interaction

今日互動

分享你關於人工智慧學習心得

在留言區參與互動,並點擊在看和轉發活動到朋友圈,我們將選1名讀者獲得贈書1本,截止時間11月30日。

戳閱讀原文購書

相關焦點

  • Geoffrey Hinton:從神經網絡的黑暗時代堅守至今日黎明
    出生於英國,現今 69 歲的他是人工智慧領域眾所周知的「神經網絡教父」,神經網絡是一種模仿人腦構建的計算機系統,並可自我學習。正如一些專家說的,如同 20 世紀的電力一樣,神經網絡將——事實上已經——徹底變革人類生活方式。數年來,Hinton 教授的工作不僅相對來說令人費解,而且在一場長達 10 年的計算機科學學術之爭中處於失利的一方。
  • 人物 | Geoffrey Hinton的成功之路:從神經網絡黑暗時代的堅守到今天的勝利
    出生於英國,現今 69 歲的他是人工智慧領域眾所周知的「神經網絡教父」,神經網絡是一種模仿人腦構建的計算機系統,並可自我學習。正如一些專家說的,如同 20 世紀的電力一樣,神經網絡將——事實上已經——徹底變革人類生活方式。數年來,Hinton 教授的工作不僅相對來說令人費解,而且在一場長達 10 年的計算機科學學術之爭中處於失利的一方。
  • 從「神經網絡之父」到「人工智慧教父」|Geoffrey Hinton的傳奇...
    本文主要圍繞「神經網絡之父」Geoffrey Hinton。    Geoffrey Hinton,被稱為「神經網絡之父」、「深度學習鼻祖」,他曾獲得愛丁堡大學人工智慧的博士學位,並且為多倫多大學的特聘教授。在2012年,Hinton還獲得了加拿大基廉獎(Killam Prizes,有「加拿大諾貝爾獎」之稱的國家最高科學獎)。
  • 「AI教父」Geoffrey Hinton:GPT-3遠不如人類大腦
    不過,他對這項技術的執著態度最終還是給人類帶來了巨大的益處。在第四屆 ImageNet 大賽上,幾乎每支團隊都用上了深度學習技術,並且達到了驚人的準確率。不久之後,深度學習不僅在圖像識別任務中得到了應用,還被廣泛地應用於其它領域。30 年前,人們都覺得提出的神經網絡的想法是離經叛道。但辛頓表示,現在幾乎所有人都認同了他的想法。
  • 「神經網絡之父」GeoffreyHinton:寒冬之下的孤勇
    雷鋒網AI科技評論按:許多人都對 Geoffrey Hinton 並不陌生,作為「神經網絡之父」,他經歷了人工智慧的寒冬,面臨連導師都不看好的艱難時期,然而他一直對神經網絡保持信心,終於在漫長的黑夜過後,等到了人工智慧的黎明。本文編譯自 ,雷鋒網做了不改動原意的調整和修改。
  • 神經網絡之父Geoffrey Hinton傑弗裡·欣頓 跨過人工智慧寒冬談深度學習
    目錄神經網絡之父Geoffrey Hinton傑弗裡·欣頓跨過人工智慧寒冬談深度學習[附深度學習論文表](19794字)11神經網絡之父Geoffrey Hinton傑弗裡·欣頓教授Biography傳記(7468字)12Geoffrey Hinton傑弗裡·欣頓跨過人工智慧寒冬談深度學習[17](11904字
  • Geoffrey Hinton專訪:如何解釋神經網絡的變遷
    似乎視覺處理、語音識別,這樣類似於用感官知覺來處理的人類核心活動被認為是首先需要清除的障礙,對嗎?GH:是也不是,因為還有一些比如運動控制這樣的其他領域。我們人類非常擅長運動控制,我們的大腦顯然就是為此而設計的。而直到現在,神經網絡才開始與其他最好的技術競爭。神經網絡技術最終會贏,但現在才剛剛開始贏。
  • 專訪深度學習之父Geoffrey Hinton:人工智慧的向量之舞
    1980年代中期出版的這本書,展示了如何訓練具有多層次的神經網絡,它為過去十年裡AI的進步奠定了基礎。對於人工智慧的未來,MIT的記者James Somers專訪了深度學習之父Geoffrey Hinton。
  • 【Geoffrey Hinton傳奇】你我都是機器人
    從默默無聞到絕對明星:30年鑽研無人問津的課題,2012年終成傳奇長達30多年,Geoffrey Hinton都徘徊在人工智慧研究的邊緣,一個局外人堅持一個簡單的命題:計算機可以像人類一樣思考,使用直覺而不是規則。
  • 深度學習之父Geoffrey Hinton:AI寒冬不會出現
    當被問到如今人工智慧是否將走進寒冬時,Hinton 的回答非常堅決:「不會有『人工智慧寒冬』。因為 AI 已經滲透到你的生活中了。在之前的寒冬中,AI 還不是你生活的一部分。但現在它是了。」在 20 世紀 70 年代早期,一位名叫 Geoffrey Hinton(傑弗裡·辛頓)的英國研究生開始構建簡單的數學模型,以說明人類大腦中的神經元是如何在視覺上理解世界的。
  • 從"棄兒"到大神,神經網絡之父Hiton說人類就是機器
    從「棄兒」到「明星」Hinton於1972年開始在愛丁堡大學攻讀博士學位,研究方向是神經網絡。每周,他的導師都會對他說,你是在浪費時間。但Hinton還是堅持繼續研究。在當時,神經網絡確實取得了一些小小的成功。後來的事實證明,它在發現信用欺詐方面很有用。
  • Yoshua Bengio, Yann LeCun, Geoffrey Hinton 獲 2018 年圖靈獎
    雷鋒網 AI 科技評論按,今天,ACM 宣布,2018 年圖靈獎獲得者是號稱深度學習三巨頭的 Yoshua Bengio, Yann LeCun 和 Geoffrey Hinton,得獎理由是:他們在概念和工程上取得的巨大突破,使得深度神經網絡成為計算的關鍵元素(For conceptual and engineering breakthroughs that have made
  • 揭秘三位圖靈獎得主Hinton、LeCun、Bengio的傳奇人生
    整理| 智能菌 出品| 網易智能(公眾號 smartman163) 2019年3月27日,ACM(國際計算機學會)宣布,三位「深度學習之父」約書亞·本吉奧(Yoshua Bengio)、傑弗裡·辛頓(Geoffrey Hinton)和楊樂昆(Yann LeCun) 共同獲得了2018年圖靈獎。
  • 兒子轉眼就長大:Hinton、LeCun、Bengio 口述神經網絡簡史
    他們始終堅信神經網絡將點亮世界,並改變人類的命運。這些先驅者們散落在世界各地,不過投身神經網絡研究的學者們在加拿大這個地方尤其集中。其實他們能來加拿大很大程度上只是因為運氣好:神經網絡的研究在當時無論如何都算不上時尚,那時候由政府支持的加拿大高級研究所(CIFAR),通過資助神經網絡研究的方式吸引了一小撮專業學者來到加拿大。
  • Hinton一作新論文:如何在神經網絡中表示「部分-整體層次結構」?
    https://www.cs.toronto.edu/~hinton/absps/puppet.pdf局部和整體的一致性表示似乎一直是Hinton的研究重點。「GLOM」一詞源自一句俗語「 glom together」(「抓」到一起),可能是來源於「凝聚」(agglomerate)一詞。心理學提供了一個有力證據,表明:人們會將視覺場景解析為整個分層體系,並將部分與整體之間視角不變的空間關係,建模為他們分配給該部分和整體的內在坐標系之間的坐標轉換。 如果我們想要建立像人類一樣理解圖像的神經網絡,那麼我們需要想明白:神經網絡是如何表示部分-整體的分層體系?
  • 深度學習祖師 Hinton 親自授權 | 《神經網絡》中文字幕版
    Geoffrey Hinton,將反向傳播BP用於多層神經網絡、發明了玻爾茲曼機(Boltzmann machine),深度學習領域的開山祖師、三大巨頭之首。PS:另2位巨頭是Yann LeCun和Yoshua Bengio,其中Yann LeCun是Facebook的人工智慧研究總監,CNN(卷積神經網絡)之父,同時也是Hinton的學生!
  • Geoffrey Hinton,讓加拿大成為AI創新之地的助推者
    在劍橋大學讀本科的時候,Geoffrey Everest Hinton一直對人類大腦有著很多的思考。 他想要更好地了解人類大腦究竟是如何工作的,然而令人沮喪的是,從生理學和心理學、再到物理和化學,沒有一個學科領域能給出一個真正的答案。所以他決定自己建立一個電腦模型來模仿大腦的思維過程。
  • 思緒萬千的黑暗深淵
    就如永久的黑暗,就像人類文明誕生之前的地球,又如茫茫無際的宇宙。還如,種族紛爭戰亂頻仍殺戮不斷的非洲,也像陌生人之間的仇恨,還像兩千多年來走不出的孔子思想的陰影。社會,如烏雲密布的天空,波詭雲譎變化莫測看不到光明和未來。沒有盡頭的黑夜使我找不到出路,不知道何時才能夠走出這心理的深淵,深不見底深不可測。這就是剛才的夢境。
  • 谷歌之父 Larry Page的傳奇人生
    谷歌之父 Larry Page
  • Geoffrey Hinton、Andrew Moore、吳恩達等人總結 2017 AI 大事件
    有的人認為,具有超級智能的機器人可以威脅人類、接管世界;也有的人覺得,人類對人工智慧的恐懼被誇大了。因此,當 2017 年即將過去的時候,外媒 Axios 對人工智慧圈內的一些知名人物進行了一次採訪,看看在他們的眼裡,今年最重要的人工智慧大事件都是些什麼吧。雷鋒網(公眾號:雷鋒網) AI 科技評論把他們的呈現介紹如下。