人物 | Geoffrey Hinton的成功之路:從神經網絡黑暗時代的堅守到今天的勝利

2021-02-19 機器之心

選自The Globe and Mail

作者:Jeff Gary

機器之心編譯

參與:吳攀、黃小天、Ellen Han

深度學習泰鬥 Geoffrey Hinton 的名字在當今的人工智慧研究界可謂是如雷貫耳,他曾發明了玻爾茲曼機(Boltzmann machine),也首先將反向傳播(Backpropagation)應用於多層神經網絡;不僅如此,他還有 Yann LeCun 和 Ilya Sutskever 等大牛級的學生。近日,Fred Lum 在 THE GLOBE AND MAIL 網站上發布了一篇介紹 Hinton 生平的文章,UC Santa Barbara 計算機科學系助理教授、CMU 博士王威廉在新浪微博上對此文總結說:「G 的高曾祖父是發明布爾代數的布爾,G 在劍橋先學了 1 個月物理就轉了建築,但只持續了一天。後重回物理,但覺得其中數學太難,轉學習哲學。學習一年後,G 對哲學充滿了抗體,只好修心理學。後確認心理學家對人類意識也是毫無頭緒,這才轉到愛丁堡學習 AI。」以下是機器之心對原文的編譯介紹。

多倫多大學教授 Geoffrey Hinton 參與谷歌大腦團隊的工作,開發人工智慧前沿技術

對於多倫多大學計算機科學教授 Geoffrey Hinton 來說,現在應該是一個歡慶的時刻。

出生於英國,現今 69 歲的他是人工智慧領域眾所周知的「神經網絡教父」,神經網絡是一種模仿人腦構建的計算機系統,並可自我學習。正如一些專家說的,如同 20 世紀的電力一樣,神經網絡將——事實上已經——徹底變革人類生活方式。

數年來,Hinton 教授的工作不僅相對來說令人費解,而且在一場長達 10 年的計算機科學學術之爭中處於失利的一方。Hinton 教授說,他的神經網被獲得了更多資助的人工智慧傳統論(需要人工編程)者認為是「沒有頭腦的廢話(weak-minded nonsense)」,學術期刊過去常常拒收有關神經網絡的論文。

但是在過去的 5 年左右的時間裡,Hinton 的學生取得了一系列的驚人突破,神經網絡變得十分流行,Hinton 也被尊稱為計算新時代的宗師(guru of a new era of computing)。神經網絡已經在手機中為絕大多數語音識別軟體提供支持,其還能識別不同種類的狗的圖片,精確度幾乎可以和人類媲美。

而且世界上最大的科技公司也正往神經網絡研究中砸錢,僱傭了許多 Hinton 教授之前的學生,他們在蘋果、Twitter、谷歌和 Facebook 等公司進行著人工智慧方面的研究。他說人工智慧的研究潛力覆蓋了從無人駕駛汽車到智慧型手機的範圍,並能比任何皮膚科醫生都更好地診斷皮膚癌。人們預計這新一波的技術浪潮將席捲工業界並為發展且調控它的人們帶來巨大財富。

Hinton 教授將他的時間分配在多倫多大學和谷歌位於多倫多的辦公室裡。在谷歌,他是一名工程學者(engineering fellow)並將協助領導一個新的人工智慧實驗室。他剛剛被任命為新成立的 Vector Institute 的首席科學顧問,那裡將開展人工智慧研究並致力於將多倫多建設成一個全球人工智慧的中心。

除了所有最近這些成績,Hinton 教授似乎還在進行一項保衛行動。在他位於谷歌的狹窄簡樸的辦公室內進行的一次訪談中——辦公室內沒有椅子,他的身後是一面與牆一般大小的白板,上面寫滿了公式——他不願在閒言碎語上浪費時間,但熱衷於極為詳盡地描述仍存在於神經網絡的擁護者與那些更傳統的人工智慧形式的支持者之間的爭論。

他說,儘管谷歌給予了 100 萬美元的資助,他自己的大學卻遲遲沒有聘用一位新的神經網絡方面的教授。現在,由於研究經費可以自由流動,很多人都在追逐神經網絡的潮流。

Hinton 教授說:「現在神經網絡有效了,所以業界和政府就開始把神經網絡稱作人工智慧。原來的人工智慧領域那些一輩子都在嘲笑神經網絡的人則說他們從來沒有那樣說過,現在也樂意把神經網絡叫做人工智慧,而且也在嘗試從中賺錢。」

(很快就能明顯地發現 Hinton 教授喜歡動鼻子。在這次採訪中,他對美國總統 Donald Trump 進行了一些負面的評論,然後又通過一個簡單的微笑向旁邊的谷歌公關表示了歉意。)

傳統的人工智慧概念依賴於邏輯和規則來給計算機編程。在 20 世紀 60 年代,那時候人工智慧的研究還更多處於理論階段,不能實用。使用神經網絡的思路被「摧毀(destroyed)」和抹黑,Hinton 教授說,傳統的模型得到了人們無疑的信賴。

但隨著過去幾年計算機算力的極大增長,神經網絡的突破出現了,情況也隨即發生了變化。2009 年,Hinton 教授的 2 位研究生使用一個神經網絡贏下了一個語音識別比賽,擊敗了之前最好的成熟方法,該神經網絡後來升級並被整合到了谷歌的安卓手機中。2012 年,他的另外兩個學生又輕鬆贏下了一場圖像識別比賽。其使用的技術涉及到使用一個包含 100 萬張圖像的資料庫所訓練的一個系統,該系統在識別和描述一張圖像上的錯誤率僅有 5%——接近了人類的水平。

為了解釋神經網絡的工作方式,Hinton 教授舉了一個翻譯程序的例子。他解釋說,使用神經網絡作為翻譯器涉及到將巨量詞彙和句子片段送入一個計算機網絡。該系統會找出句子的含義,並將其送入另一個神經網絡,然後再以另一種語言輸出該句子,而無需使用編程或語言學規則。它甚至能自己學會主動語態和被動語態。

「沒有告訴它什麼是主動語態和被動語態。就像你的小孩一樣,你不會說:『瞧,Johnny,這是主動語態,這是被動語態……』你不會這麼說,但他們在一段時間後就學會了。」Hinton 教授說,「對於這些神經網絡來說,關鍵就是它們確實學會了。」

在遊歷了美國多所大學後,他於 1987 年來到多倫多大學,並將做出這個決定歸為兩個因素。一個源於加拿大高等研究院資助了他的人工智慧研究。另一個則更帶有政治色彩:「我不想從美國軍方獲得資金。在美國,大多數人工智慧研究資金都來源於軍方。」

Hinton 教授出生於英國的溫布爾登,並在布里斯托長大,他的母親是一個數學老師,父親是一個專注甲殼蟲研究的昆蟲學家。他的高曾祖父是 19 世紀的邏輯學家 George Boole——現代計算科學的基礎布爾代數的發明人。Hinton 教授上的是他稱之為的「二流私立學校(second-tier private school)」(在英國被稱為公立學校):「在學校中我並不很擅長數學。我喜歡物理學,還有足球。」

後來他去劍橋大學學習物理學和化學,但只持續了 1 個月,就退學並轉學建築,在只學了 1 天的建築之後,又重回到物理學和心理學,但是發現物理學中的數學太難了,因此轉學哲學,花 1 年修完了 2 年的課程。

Hinton 教授說:「這一年大有裨益,因為我對哲學產生了強烈的抗體(antibodies),我想要理解人類意識的工作原理。」

為此,他轉向了心理學,僅僅為了確定「心理學家對人類意識也不明所以」。在 1973 年前往愛丁堡大學研究生院學習人工智慧之前,他做了 1 年的木匠。他在愛丁堡大學的導師是 Christopher Longuet-Higgins,其學生包括多倫多大學化學家、諾貝爾獎得主 John Polanyi 和理論物理學家 Peter Higgs。

即使當時 Hinton 已經確信不被看好的神經網絡才是正確之路,但是他的導師卻在那時不久改為支持人工智慧傳統論點。

Hinton 教授說:「我的研究生生涯充滿了暴風驟雨,每周我和導師都會有一次爭吵(shouting match);我一直在做著交易,我會說,好吧,讓我再做 6 個月時間的神經網絡,我會證明其有效性的;當 6 個月結束了,我又說,我幾乎要成功了,再給我 6 個月;自此之後我一直說,再給我 5 年時間,而且其他人也一直說,你做這個都 5 年了,它永遠不會有效的。但終於,神經網絡奏效了。」

他否認自己曾懷疑過神經網絡未來某天會證明自己的優越性:「我從沒懷疑過,因為大腦必然是以某種方式工作的。而大腦絕對不是以某種規則編程的方式工作的。」

當被問到「機器人會接管世界嗎?」這樣的爛大街的問題時,他認同應該限制人工智慧。他最近還籤署了一份請願書《阻止殺人機器人運動(Campaign to Stop Killer Robots)》,請求聯合國禁止人工智慧致命武器。他說:「我認為這是最可怕的地方,而且那不是遙遠的未來……就是現在。」

他預測說,人工智慧也有更好的未來,比如醫生使用神經網絡來診斷疾病或皮膚癌。它們也可以被用於個人助理,不僅可以提醒你午餐約會,而且還能使用「常識(common sense)」來觀察你的行為,在你忘記了午餐約會的時候能根據情況決定是否打斷你正在進行的活動。

大銀行、有線電視公司和其它許多公司都在嘗試使用人工智慧來分析銷售數據等東西,以便更好地與他們的客戶進行交互,Steve Irvine 說。他之前在 Facebook 工作,後來離開 Facebook 來到了多倫多,創立了一家名為 Integrate.ai 的公司來幫助其它公司使用人工智慧。

「我認為對他太多讚美都不為過。」Irvine 這麼評價 Hinton 教授,「因為他經歷過人工智慧的黑暗時代,那時候他看起來就像是一位瘋狂科學家,人們從沒想過這真的會成功……現在,這些已經被談論了 20、30 年的事情終於發生了,我覺得這對他來說是一個很好的獎勵……現在這已經掀起了全世界的狂潮,而他就是教父。這絕對不是一夜之間就能取得的成功。」 

原文連結:https://beta.theglobeandmail.com/news/toronto/u-of-t-professor-geoffrey-hinton-hailed-as-guru-of-new-era-of-computing/article34639148/

本文為機器之心編譯,轉載請聯繫本公眾號獲得授權

✄---

加入機器之心(全職記者/實習生):hr@jiqizhixin.com

投稿或尋求報導:editor@jiqizhixin.com

廣告&商務合作:bd@jiqizhixin.com

相關焦點

  • Geoffrey Hinton:從神經網絡的黑暗時代堅守至今日黎明
    但是在過去的 5 年左右的時間裡,Hinton 的學生取得了一系列的驚人突破,神經網絡變得十分流行,Hinton 也被尊稱為計算新時代的宗師(guru of a new era of computing)。神經網絡已經在手機中為絕大多數語音識別軟體提供支持,其還能識別不同種類的狗的圖片,精確度幾乎可以和人類媲美。
  • Geoffrey Hinton:從黑暗深淵到重現人類智能,神經網絡之父的傳奇人生
    這個論文首次提出了人工神經網絡的概念,隨後,Rosenblatt又提出具有三層網絡特性的的神經網絡結構「感知器」,此概念一經提出便引起了全社會的廣泛關注,促成了連接主義的第一波熱潮。1969年,「人工智慧之父」Minsky和Papert發文指出,神經網絡概念的構成過於簡單,只能用於現行問題的求解,因而從理論上還不能證明將感知器模型擴展到多層網絡是有意義的。
  • 「神經網絡之父」GeoffreyHinton:寒冬之下的孤勇
    然而,Hinton 的求知之路也並不總是一帆風順,學術期刊曾經因為不認可神經網絡這一理念而頻頻拒收論文。在過去五年間,隨著他學生還有無數研究者所做出的一系列貢獻,Hinton 在深度學習所做的研究開始為人所知並接受,也被人們推舉為計算新時代的領頭人。神經網絡現在幾乎涵蓋了所有的人工智慧算法,並藉助科技企業的各類應用傳播開來。
  • 從「神經網絡之父」到「人工智慧教父」|Geoffrey Hinton的傳奇...
    本文主要圍繞「神經網絡之父」Geoffrey Hinton。    Geoffrey Hinton,被稱為「神經網絡之父」、「深度學習鼻祖」,他曾獲得愛丁堡大學人工智慧的博士學位,並且為多倫多大學的特聘教授。在2012年,Hinton還獲得了加拿大基廉獎(Killam Prizes,有「加拿大諾貝爾獎」之稱的國家最高科學獎)。
  • 神經網絡之父Geoffrey Hinton傑弗裡·欣頓 跨過人工智慧寒冬談深度學習
    大腦儲存信息的方式居然與全息圖如此類似,大腦並非將記憶儲存在一個特定的地方,而是在整個神經網絡裡傳播。Hinton為此深深的著迷。對Hinton來說是他人生的關鍵,也是他成功的起點。但Hinton求學、最求他的AI理想之路很不平坦。
  • 「AI教父」Geoffrey Hinton:GPT-3遠不如人類大腦
    30 年前,人們都覺得提出的神經網絡的想法是離經叛道。但辛頓表示,現在幾乎所有人都認同了他的想法。對於人工智慧領域短板的看法,辛頓說:「很多概念性的突破必將接踵而至,但我們同樣也需要進行大規模且有成效的性能提升。」對於神經網絡不足之處的看法,辛頓說:「含有大量突觸的神經網絡非常善於處理數據量較小的任務,但是人類自己在這方面更勝一籌。」
  • Geoffrey Hinton專訪:如何解釋神經網絡的變遷
    而直到現在,神經網絡才開始與其他最好的技術競爭。神經網絡技術最終會贏,但現在才剛剛開始贏。另外,我認為推理——抽象推理,這是我們要學習做的最後一件事,我也認為這將是神經網絡學習做的最後一件事。NT:所以你一直說神經網絡最終會贏得一切。GH:嗯,我們都是神經網絡。他們可以做任何我們能夠做的事情。
  • 機器人先生Geoffrey:AI 大牛的成長之路
    Hinton在1972年獲得博士學位, 並以神經網絡作為他的研究重點。每周, 他的導師都會告訴他, 他是在浪費時間。Hinton無論如何都在堅持向前推進,神經網絡確實取得了一些小成功ーー後來證明它們在發現信用欺詐方面發揮了作用。畢業後, 他在匹茲堡的卡內基梅隆大學找到了一份工作。Hinton是一位驕傲的社會主義者, 對裡根領導下的美國外交政策感到不安, 尤其是對中美洲的幹涉。
  • Geoffrey Hinton,讓加拿大成為AI創新之地的助推者
    但是當他完成本科學位課程的時候,他意識到沒有人了解人類是如何思考的。「我厭倦了學術界,我寧願做個木匠,」他高興地回憶說,站在Google白色咖啡館的高桌上。 那年他22歲,這次職業轉換持續了一年的時間,雖然木工至今仍然是他的愛好。當二戰以後,人工智慧從信息科學的迷霧中融入研究領域時,科學家們首先認為,他們可以通過構建由大量開關組成的神經網絡來模擬突觸,從而模擬大腦的運作。
  • Hinton一作新論文:如何在神經網絡中表示「部分-整體層次結構」?
    https://www.cs.toronto.edu/~hinton/absps/puppet.pdf局部和整體的一致性表示似乎一直是Hinton的研究重點。這個想法能夠把Transformer、神經場(neural fields)、對比表示學習、蒸餾和膠囊等先進觀點整合到一個名為「GLOM 1」的設想系統中。一個具有固定架構的神經網絡如何將一張圖像解析成一個整體的分級體系(其中,每張圖像都有不同的結構)?針對這個問題,GLOM 給出了一個簡單的答案,即使用相同向量的孤島來表示解析樹中的節點。
  • 淺析Geoffrey Hinton最近提出的Capsule計劃
    Geoffrey Hinton 以「深度學習之父」和「神經網絡先驅」聞名於世,其對深度學習及神經網絡的諸多核心算法和結構(包括「深度學習」這個名稱本身,反向傳播算法,受限玻爾茲曼機,深度置信網絡,對比散度算法,ReLU 激活單元,Dropout 防止過擬合,以及深度學習早期在語音方面突破)做出了基礎性的貢獻。儘管已經將大半輩子的時間投入到神經網絡之上,這位老人卻絲毫沒有想退休的意思。
  • 【Geoffrey Hinton傳奇】你我都是機器人
    他相信神經網絡的想法並不是錯誤的,主要問題是算力。當時的計算機無法通過數百萬個連接所需的圖像來尋找意義,樣本量太小了。 Hinton於1972年在愛丁堡大學攻讀博士學位,主攻神經網絡。他的導師每周都會告訴他,他正在浪費時間。無論如何,Hinton總是向前推進。神經網絡確實有一些小的成功,他們後來被證實有助於發現信用欺詐。
  • 兒子轉眼就長大:Hinton、LeCun、Bengio 口述神經網絡簡史
    在這一理念下,就涉及到了機器學習的一個叫做深度學習的子集方法。深度學習的總體思想是打造一個神經網絡,神經網絡中的權重和偏倚可以進行調節,直到網絡給出理想的輸出。深度學習可以讓計算機的問題解決能力迭代進化,這也就是 Geoff Hinton 和其他科學家們在過去幾十年裡真正研究的東西,深度學習也是當前 AI 技術最讓人激動的基礎所在。
  • Geoffrey Hinton、Andrew Moore、吳恩達等人總結 2017 AI 大事件
    因此,當 2017 年即將過去的時候,外媒 Axios 對人工智慧圈內的一些知名人物進行了一次採訪,看看在他們的眼裡,今年最重要的人工智慧大事件都是些什麼吧。雷鋒網(公眾號:雷鋒網) AI 科技評論把他們的呈現介紹如下。Rodney Brooks,Rethink Robotics 公司創始人對我來說,今年最重要的人工智慧時間,其實是我在電視上看到的一個廣告。
  • 訪談| Geoffrey Hinton:人工智慧終將超越人腦,但卻難以理解笑話
    Hinton 是多倫多大學文理學院(Faculty of Arts & Science)計算機科學系的終身榮譽教授,自上世紀 70 年代開始他就在研究人工神經網絡了。他的目標是通過建模人腦的結構來創造能夠思考和學習的機器。那時候,大多數研究者還很排斥神經網絡的人工智慧方法,但是 Hinton 及其團隊堅持了下來,並在後來取得了很大的成功。
  • 專訪深度學習之父Geoffrey Hinton:人工智慧的向量之舞
    也許我們已經在AI時代的尾聲? 在20世紀80年代,就像現在一樣,Hinton是神經網絡專家,那時的大腦神經元和突觸網絡模型還很簡單。然而,當時神經網絡已經被堅定地認為是AI研究的死胡同。 1986年,Hinton的突破性成果,表明了反向傳播可以訓練一個深層次的神經網絡,意味著存在神經網絡能超過兩到三層。但是在提高計算機運算能力之前,又花了整整26年才等到今天來真正利用起這個發現。 Hinton和他的兩位多倫多學生於2012年發表的論文中表明,使用反向傳播訓練的深度學習神經網絡,在圖像識別中擊敗了最先進的系統。
  • Yoshua Bengio, Yann LeCun, Geoffrey Hinton 獲 2018 年圖靈獎
    雷鋒網 AI 科技評論按,今天,ACM 宣布,2018 年圖靈獎獲得者是號稱深度學習三巨頭的 Yoshua Bengio, Yann LeCun 和 Geoffrey Hinton,得獎理由是:他們在概念和工程上取得的巨大突破,使得深度神經網絡成為計算的關鍵元素(For conceptual and engineering breakthroughs that have made
  • 古希臘的黑暗時期——荷馬時代
    公元前1200年左右,希臘最繁榮富庶的邁錫尼王國聯合其他各邦,組成了一支強大的希臘聯軍,對小亞細亞的特洛伊城進行圍攻,並取得了最終的勝利。邁錫尼文明遭到終結,希臘從此進入了一個相對黑暗和落後的時代。這個黑暗時期大約從公元前1100年持續到公元前800年,有將近三百年的時間。之所以將其稱之為黑暗時代,是因為當時多利亞人的文明程度遠低於以邁錫尼王國為首的希臘各邦。多利亞人處於半原始的氏族公社狀態,在毀滅了邁錫尼文明後,自己並沒有能力建立新的王國和新的文明。
  • SIGIR2020|圖靈獎得主Hinton:無監督對比學習將是神經網絡的未來
    【新智元導讀】7月27日上午,第43屆國際信息檢索大會(SIGIR 2020)線上開啟,圖靈獎得主Geoffrey Hinton作了主題演講,今天我們就跟隨Hinton一起走進「神經網絡的新時代」。人工神經網絡一直懸而未決的問題是如何像大腦一樣有效地進行無監督學習。
  • 人生是一段歷經黑暗,走向光明中的覺醒之路
    不光如此,從搜尋引擎時代到AI時代,速度與智能都在預示著一個普通人 - 無論主動地還是被動地 - 在未來會擁有愈來愈多的「 空閒時間」。在我們面前更大的挑戰將不再是如何高效利用時間,而是要用什麼去填滿這漫長的一生。在這個過程中,你可看到「找到內心真正 的寧靜」有多麼重要。