「神經網絡之父」GeoffreyHinton:寒冬之下的孤勇

2021-01-12 雷鋒網

雷鋒網AI科技評論按:許多人都對 Geoffrey Hinton 並不陌生,作為「神經網絡之父」,他經歷了人工智慧的寒冬,面臨連導師都不看好的艱難時期,然而他一直對神經網絡保持信心,終於在漫長的黑夜過後,等到了人工智慧的黎明。本文編譯自 ,雷鋒網做了不改動原意的調整和修改。the globe and mail

而 AI 研習社在獲得了 Hinton 教授的親自授權後,得以將《Neutral Network for Machine Learning》漢化。目前雷鋒字幕組正在招募英才,。詳情請戳連結了解

Geoffrey Hinton 已經 69 歲了。這個出生於英國的多倫多大學教授被譽為「神經網絡之父」,他將神經網絡將計算機算法的演算過程與人腦的思維方式相比擬,讓人工智慧在經歷寒冬後再一次為人所知,並像電一樣逐漸滲透入人們的生活。

早在上世紀 80 年代,Hinton 就參與了一個使用計算機模擬大腦的研究,這也便是如今所說的「深度學習」概念。然而,Hinton 的求知之路也並不總是一帆風順,學術期刊曾經因為不認可神經網絡這一理念而頻頻拒收論文。

在過去五年間,隨著他學生還有無數研究者所做出的一系列貢獻,Hinton 在深度學習所做的研究開始為人所知並接受,也被人們推舉為計算新時代的領頭人。神經網絡現在幾乎涵蓋了所有的人工智慧算法,並藉助科技企業的各類應用傳播開來。

在多倫多大學的向量學院建成之前,Hinton 在多倫多大學及谷歌多倫多大學辦公室同時進行授課及研究工作,而如今,Hinton 會以向量學院首席科學顧問的身份為人工智慧研究出力。Hinton 擔負起的,其實是將加拿大的多倫多建設成為全球頂尖人工智慧中心的重任。

雖然 Hinton 取得了如此大的成功,但他的工作場所卻依然簡單——Hinton 在谷歌的辦公室狹小而簡樸,桌子背後是一塊寫滿公式的白板,記者到訪的時候,甚至找不到一把多餘的椅子。Hinton 在採訪期間並不願意多費口舌,但他卻非常詳細地描述神經網絡的擁護者及傳統人工智慧支持者之間的觀點爭論。

儘管只要招聘到一名神經網絡教授,用於人工智慧的研究的谷歌百萬級經費就會撥到多倫多大學去,但大學卻遲遲沒有這樣做。傳統的高校學術機構獲得了大量的資源,也比之前有了更多的自由調配研究資金,但目前研究者們似乎陷入了盲目追逐神經網絡的潮流。

「如今神經網絡理論開始奏效,因而工業界及政府也開始將神經網絡當作人工智慧。以前整天嘲笑神經網絡的 AI 研究者們也樂在其中,並計劃從中分一杯羹。」

Hinton 教授在訪談期間喜歡摸鼻子(雷鋒網按:在行為心理學上,這種行為有緩解個人情緒的作用。)他對川普做出了負面評論,又向在旁邊的谷歌公關表示歉意。

神經網絡的翻身仗

傳統概念裡的 AI 依賴邏輯和規則給計算機編程。在上世紀 60 年代的時候,人工智慧的嘗試依然處於理論階段,遠未開始實踐。神經網絡的想法並不受待見,Hinton 表示。傳統的思路無疑更受關注和信任。

但在過去幾年內,(部分因為)隨著計算能力的大幅提升,這種觀念開始發生改變。Hinton 的兩個研究生在 2009 年採用神經網絡獲得了語音識別競賽的勝利,隨後這項基於神經網絡的方法被應用於谷歌安卓手機上。在 2012 年,他的另兩個學生輕易地奪得圖像識別大賽的冠軍,達到了人類的水平。

(雷鋒網按:Hinton 以及他的學生 D. Mohamed 將深度神經網絡應用於語音的聲學建模, 在小詞彙量連續語音識別資料庫 TIMIT 上獲得成功,而 2012 年在 ImageNet 上,Hinton 和學生 Alex Krizhevsky 刷新了 image classification 的記錄,在這次競賽中 Alex 所用的結構被稱為 AlexNet)

Hinton 為了解釋神經網絡是如何工作的,他以翻譯程序為例,給計算機提供海量的單詞及片段。系統會對句子的含義進行理解,隨後輸入另一個神經網絡中,後者會輸出另一種語言的句子。在這個過程中,系統不會涉及編程或語言規則,此外,神經網絡甚至還能自行掌握主動句及被動句的區別。

「並沒有人告訴神經網絡這兩個概念是什麼,就像小孩一樣,你不會告訴他們,『這個是主動,這個是被動。』過段時間,他們自然就明白了。神經網絡也是如此。」

頗為周折的就學經歷

Hinton 出生於溫布爾登,在布里斯托長大。母親是數學老師,父親是著迷於甲蟲的昆蟲學家。值得一提的是,Hinton 的祖父是 19 世紀的邏輯學家喬治·布爾,也是布爾代數的發明家(雷鋒網按:布爾發明的邏輯代數已經發展成為純數學的一個主要分支。)。Hinton 上的是英國的公立學校,他表示:「我在學校數學不是特別好。我喜歡物理學和足球。」

他的就學經歷也頗為周折:只在劍橋讀了一個月的物理和化學,轉而到建築學上了一天課,隨後開始讀物理和生理學,但發現物理數學太難了,轉而把兩年的課壓到一年學習哲學。

在回憶這段經歷的時候,Hinton 表示,「那一年對我來說受益良多。彼時我對哲學仿佛產生抗體,因而想了解思維是如何運轉的。」

隨後,他研讀心理學,發現「心理學對意識也一無所知。」在當了一年木匠之後,他投身愛丁堡大學的 Christopher Longuet-Higgins 麾下學習人工智慧。Christopher Longuet-Higgins 桃李滿天下,包括諾貝爾獎獲得者 John Polanyi,多倫多大學化學家和理論物理學家 Peter Higgs 等。

Hinton 當時就認為神經網絡的概念會是大勢,但導師依然站在傳統的 AI 陣營裡。「每周我和導師都會發生激烈爭辯,」Hinton 說,「我一直堅持自己的想法,對導師說,『好吧,再給我六個月,我會證明給你看的』。然後六個月過去了,我會說,『快了快了,再給我半年時間吧。』之後,我索性說『再給我五年吧』,人們都說,你已經做了五年,但它並不管用。最終,它還是奏效了。」

Hinton 從未對神經網絡產生過懷疑,「我從來沒有懷疑過,因為大腦一定是以某種形式工作,而且並不根據既定的編程。」

Hinton 所預見的AI未來

被問起老生常談的「AI 是否會取代人類」時,Hinton 表示人類確實需要對 AI 做出一些限制,近期他籤署了一份來自「Campaign to Stop Killer Robots」的請願書,呼籲聯合國禁止使用會對生命產生威脅的 AI 武器。其中這樣寫道:「我認為這一點是最為聳人聽聞的。而且不是發生於遙遠的未來,而是近在咫尺。」

在美國幾所學校輾轉之後,Hinton 於 1987 年來到多倫多大學任教,主要基於兩個考慮。首先是加拿大高級研究所的資助;而另一個原因則頗為政治:「我不想從美國軍方拿錢,美國研發 AI 的大部分資金來自軍方。」

他預見,AI 會在醫生診斷疾病或皮膚癌等領域發揮良好的作用,而且它也會成為人類的好幫手,提醒你準時參加午餐會見,並用常識觀察用戶的行為,如果你忘記了日程內容,它可能會打算打斷你手頭的事情。

大銀行、有限電視及其它公司正在採用 AI 分析銷售數據,並希望與客戶產生良好的互動。從 Facebook 離職回多倫多創立 Integrate.ai 的 Steve Irvine 就在做類似的事情。

Irvine 表示,「我認為再多的讚美也毫不為過,他在 AI 的低谷期也一直不離不棄,看起來就像一個瘋狂的科學家,而人們也從未預料到 AI 的今天會是如此……這些被我們談論了 20、30 年的事情正在發生著,我覺得於他而言,是一個非常好的回饋。在這個世界裡,他是當之無愧的教父。他的成功絕非一日之寒。」

相關焦點

  • 神經網絡之父Geoffrey Hinton傑弗裡·欣頓 跨過人工智慧寒冬談深度學習
    目錄神經網絡之父Geoffrey Hinton傑弗裡·欣頓跨過人工智慧寒冬談深度學習[附深度學習論文表](19794字)11神經網絡之父Geoffrey Hinton傑弗裡·欣頓教授Biography傳記(7468字)12Geoffrey Hinton傑弗裡·欣頓跨過人工智慧寒冬談深度學習[17](11904字
  • 深度學習之父Geoffrey Hinton:AI寒冬不會出現
    「人工神經網絡」,正如其名,幾十年來仍被視為一種不切實際的技術。但在 2012 年,Hinton 和他在多倫多大學的兩名研究生 Alex Krizhevsky、Ilya Sutskever 通過人工神經網絡來提高計算機識別照片中物體的準確性,他們設計的深層卷積神經網絡 AlexNet,也一舉奪得了當年 ImageNet LSVRC 的冠軍。
  • 從「神經網絡之父」到「人工智慧教父」|Geoffrey Hinton的傳奇...
    本文主要圍繞「神經網絡之父」Geoffrey Hinton。    Geoffrey Hinton,被稱為「神經網絡之父」、「深度學習鼻祖」,他曾獲得愛丁堡大學人工智慧的博士學位,並且為多倫多大學的特聘教授。在2012年,Hinton還獲得了加拿大基廉獎(Killam Prizes,有「加拿大諾貝爾獎」之稱的國家最高科學獎)。
  • Geoffrey Hinton:從神經網絡的黑暗時代堅守至今日黎明
    出生於英國,現今 69 歲的他是人工智慧領域眾所周知的「神經網絡教父」,神經網絡是一種模仿人腦構建的計算機系統,並可自我學習。正如一些專家說的,如同 20 世紀的電力一樣,神經網絡將——事實上已經——徹底變革人類生活方式。數年來,Hinton 教授的工作不僅相對來說令人費解,而且在一場長達 10 年的計算機科學學術之爭中處於失利的一方。
  • 人物 | Geoffrey Hinton的成功之路:從神經網絡黑暗時代的堅守到今天的勝利
    出生於英國,現今 69 歲的他是人工智慧領域眾所周知的「神經網絡教父」,神經網絡是一種模仿人腦構建的計算機系統,並可自我學習。正如一些專家說的,如同 20 世紀的電力一樣,神經網絡將——事實上已經——徹底變革人類生活方式。數年來,Hinton 教授的工作不僅相對來說令人費解,而且在一場長達 10 年的計算機科學學術之爭中處於失利的一方。
  • Geoffrey Hinton:從黑暗深淵到重現人類智能,神經網絡之父的傳奇人生
    心理學和計算機是他的強項,同時又在人工智慧神經網絡領域取得了巨大成就,也被稱為」神經網絡之父「。1943 年,美國芝加哥大學的神經科學家Warren McCullough和他的助手Walter Pitts發表了論文《神經活動中思想內在性的邏輯演算》(A Logical Calculus of Ideas Immanent in Nervous Activity)。
  • 「AI教父」Geoffrey Hinton:GPT-3遠不如人類大腦
    30 年前,人們都覺得提出的神經網絡的想法是離經叛道。但辛頓表示,現在幾乎所有人都認同了他的想法。對於人工智慧領域短板的看法,辛頓說:「很多概念性的突破必將接踵而至,但我們同樣也需要進行大規模且有成效的性能提升。」對於神經網絡不足之處的看法,辛頓說:「含有大量突觸的神經網絡非常善於處理數據量較小的任務,但是人類自己在這方面更勝一籌。」
  • Geoffrey Hinton專訪:如何解釋神經網絡的變遷
    而直到現在,神經網絡才開始與其他最好的技術競爭。神經網絡技術最終會贏,但現在才剛剛開始贏。另外,我認為推理——抽象推理,這是我們要學習做的最後一件事,我也認為這將是神經網絡學習做的最後一件事。NT:所以你一直說神經網絡最終會贏得一切。GH:嗯,我們都是神經網絡。他們可以做任何我們能夠做的事情。
  • 專訪深度學習之父Geoffrey Hinton:人工智慧的向量之舞
    1980年代中期出版的這本書,展示了如何訓練具有多層次的神經網絡,它為過去十年裡AI的進步奠定了基礎。對於人工智慧的未來,MIT的記者James Somers專訪了深度學習之父Geoffrey Hinton。
  • 深度學習祖師 Hinton 親自授權 | 《神經網絡》中文字幕版
    Geoffrey Hinton,將反向傳播BP用於多層神經網絡、發明了玻爾茲曼機(Boltzmann machine),深度學習領域的開山祖師、三大巨頭之首。PS:另2位巨頭是Yann LeCun和Yoshua Bengio,其中Yann LeCun是Facebook的人工智慧研究總監,CNN(卷積神經網絡)之父,同時也是Hinton的學生!
  • Hinton一作新論文:如何在神經網絡中表示「部分-整體層次結構」?
    https://www.cs.toronto.edu/~hinton/absps/puppet.pdf局部和整體的一致性表示似乎一直是Hinton的研究重點。如果我們想要建立像人類一樣理解圖像的神經網絡,那麼我們需要想明白:神經網絡是如何表示部分-整體的分層體系?這很困難,因為一個真實的神經網絡無法將一組神經元進行動態分配,以表示解析樹中的一個節點。 神經網絡無法動態分配神經元,也是一系列用到「膠囊」觀點的模型所出現的原因。這些模型會作出如下假設:被稱為「膠囊」的一組神經元會永遠成為圖像特定區域中的某一特定類型的一部分。
  • Yoshua Bengio, Yann LeCun, Geoffrey Hinton 獲 2018 年圖靈獎
    雷鋒網 AI 科技評論按,今天,ACM 宣布,2018 年圖靈獎獲得者是號稱深度學習三巨頭的 Yoshua Bengio, Yann LeCun 和 Geoffrey Hinton,得獎理由是:他們在概念和工程上取得的巨大突破,使得深度神經網絡成為計算的關鍵元素(For conceptual and engineering breakthroughs that have made
  • 卷積神經網絡(CNN)之父:AI可望撐起晶片業復興
    在近日於美國加州舉行的國際固態電路會議(ISSCC)上,來自機器學習、計算機視覺和神經科學等領域的先驅——Yann LeCun在一場專題演講中告訴3,000名晶片設計師,當今監督式的神經網絡正取得了廣泛應用,但卻受限於人類創造者啟動的過程。被譽為「卷積神經網絡(CNN)之父」的Yann LeCun說:「我認為,AI的未來是一種自我監督的學習過程。」
  • 兒子轉眼就長大:Hinton、LeCun、Bengio 口述神經網絡簡史
    他們始終堅信神經網絡將點亮世界,並改變人類的命運。這些先驅者們散落在世界各地,不過投身神經網絡研究的學者們在加拿大這個地方尤其集中。其實他們能來加拿大很大程度上只是因為運氣好:神經網絡的研究在當時無論如何都算不上時尚,那時候由政府支持的加拿大高級研究所(CIFAR),通過資助神經網絡研究的方式吸引了一小撮專業學者來到加拿大。
  • 淺析Geoffrey Hinton最近提出的Capsule計劃
    Geoffrey Hinton 以「深度學習之父」和「神經網絡先驅」聞名於世,其對深度學習及神經網絡的諸多核心算法和結構(包括「深度學習」這個名稱本身,反向傳播算法,受限玻爾茲曼機,深度置信網絡,對比散度算法,ReLU 激活單元,Dropout 防止過擬合,以及深度學習早期在語音方面突破)做出了基礎性的貢獻。儘管已經將大半輩子的時間投入到神經網絡之上,這位老人卻絲毫沒有想退休的意思。
  • Hinton:不要再問神經網絡是不是泡沫 | ACM專訪2018圖靈獎得主
    新智元報導 來源:ACM編輯:小芹、大明【新智元導讀】2018年圖靈獎得主,「深度學習三巨頭」Geoffrey Hinton, Yann LeCun和Yoshua Bengio早年也曾飽受嘲笑,但終於熬過寒冬
  • 【Geoffrey Hinton傳奇】你我都是機器人
    在大多數學術界,神經網絡被註銷為邊緣追求。儘管如此,Hinton還是沒有受到任何阻撓。他說:「大腦必須以某種方式工作,而且肯定不會有人編寫程序並粘貼在那裡:「我們沒有編程。我們有常識。」 他相信神經網絡的想法並不是錯誤的,主要問題是算力。當時的計算機無法通過數百萬個連接所需的圖像來尋找意義,樣本量太小了。
  • 訪遞歸神經網絡之父:AI下一輪革命的核心是「人工好奇心」
    以上三段話不是科幻電影的臺詞,也不是科幻小說的描述,是人工智慧遞歸神經網絡之父、德國計算機科學家尤爾根·施米德胡貝在參加2019世界人工智慧大會之際接受澎湃新聞(www.thepaper.cn)專訪時,對人工智慧的預測。
  • Hinton構思下一代神經網絡:屬於無監督對比學習
    受人腦的啟發,他和其他研究者提出了「人工神經網絡」(artificial neural network),為機器學習研究奠定了基石。那麼,30 多年過去,神經網絡的未來發展方向在哪裡呢?Hinton 在此次報告中回顧了神經網絡的發展歷程,並表示下一代神經網絡將屬於無監督對比學習。
  • 訪談| Geoffrey Hinton:人工智慧終將超越人腦,但卻難以理解笑話
    過去十年來,他們的深度學習神經網絡幾乎在每一種基準上都超越了傳統了人工智慧方法。在 2013 年,谷歌收購了 Hinton 的神經網絡創業公司 DNNresearch。而最近,他還被提名為「《連線》2016 年度全球百大影響力人物」之一。他的學習機器已被證明具有巨大的實際價值。