本文系網易智能工作室(公眾號 smartman163)出品。聚焦AI,讀懂下一個大時代!
【網易智能訊3月28日消息】昨日晚間,ACM(國際計算機學會)宣布,有「深度學習三巨頭」之稱的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎,這是圖靈獎1966年建立以來少有的一年頒獎給三位獲獎者。ACM同時宣布,將於2019年6月15日在舊金山舉行年度頒獎晚宴,屆時正式給獲獎者頒獎,獎金100萬美元。
根據ACM官網上的信息顯示,ACM決定將2018年ACM A.M.圖靈獎授予約書亞·本吉奧(Yoshua Bengio)、傑弗裡·辛頓(Geoffrey Hinton)和楊樂昆(Yann LeCun) 三位深度學習之父,以表彰他們給人工智慧帶來的重大突破,這些突破使深度神經網絡成為計算的關鍵組成部分。本吉奧是蒙特婁大學教授,也是魁北克人工智慧研究所Mila的科學主任。辛頓是谷歌副總裁兼工程研究員、Vector研究所首席科學顧問、多倫多大學名譽教授。楊樂昆是紐約大學教授、Facebook副總裁兼人工智慧首席科學家。
本吉奧、辛頓和楊樂昆三人既有各自獨立的研究,又有相互間的合作,他們為人工智慧領域發展了概念基礎,通過實驗發現了許多驚人的成果,並為證明深度神經網絡的實際優勢做出了貢獻。近年來,深度學習方法在計算機視覺、語音識別、自然語言處理和機器人等應用領域取得了驚人的突破。
雖然人工神經網絡作為一種幫助計算機識別模式和模擬人類智能的工具在20世紀80年代被引入,但直到21世紀初,只有楊樂昆、辛頓和本吉奧等一小群人仍然堅持使用這種方法。儘管他們的努力也曾遭到懷疑,但他們的想法最終點燃了人工智慧社區對神經網絡的興趣,帶來了一些最新的重大技術進步。他們的方法現在是該領域的主導範式(dominant paradigm)。
圖靈獎(Turing Award),全稱「A.M. 圖靈獎(A.M Turing Award)」,由美國計算機協會(ACM)於1966年設立,專門獎勵那些對計算機事業作出重要貢獻的個人。它是以英國數學家阿蘭·M·圖靈(Alan M. Turing)的名字命名的,圖靈闡明了計算的數學基礎和極限。目前,圖靈獎由谷歌公司提供財政支持,獎金為100萬美元。
由於圖靈獎對獲獎條件要求極高,評獎程序又是極嚴,一般每年只獎勵一名計算機科學家,只有極少數年度有兩名合作者或在同一方向作出貢獻的科學家共享此獎。因此它是計算機界最負盛名、最崇高的一個獎項,有「計算機界的諾貝爾獎」之稱 。
「人工智慧現在是所有科學領域中增長最快的領域之一,也是社會上談論最多的話題之一,」ACM主席Cherri M.Pancake說,「人工智慧的發展和人們對它的興趣,在很大程度上要歸功於本吉奧、辛頓和樂昆獲得的深度學習最新進展。這些技術正被數十億人使用。任何口袋裡有智慧型手機的人都能實實在在體驗到自然語言處理和計算機視覺方面的進步,而這在10年前是不可能的。除了我們每天使用的產品,深度學習的新進展也為科學家們提供了研究醫學、天文學、材料科學的強大新工具。」
谷歌高級研究員、谷歌人工智慧高級副總裁傑夫·迪恩(Jeff Dean)表示:「深度神經網絡對現代計算機科學的一些重大進步做出了巨大貢獻,幫助科學家在計算機視覺、語音識別和自然語言理解等領域長期存在的問題上取得了實質性進展。」這一進步的核心是30多年前由以上三位深度學習大師開發的基礎技術。通過大幅提高計算機感知世界的能力,深度神經網絡不僅改變了計算領域,而且正在改變科學和人類努力的每一個領域。」
機器學習、神經網絡和深度學習
在傳統計算中,電腦程式用明確的分步指令指導計算機。
而在人工智慧研究的子領域——深度學習中,計算機並沒有被明確地告知如何解決特定的任務,比如對象分類。相反,它使用一種學習算法來提取數據中的模式,這些模式可以將輸入數據(如圖像的像素)與期望的輸出(如標籤「貓」)關聯起來。「研究人員面臨的挑戰是開發有效的學習算法,使之能夠調整人工神經網絡中連接的權重,從而捕捉數據中的相關模式。」
傑弗裡·辛頓自上世紀80年代初以來一直倡導用機器學習方法研究人工智慧。受人腦的啟發,他和其他人提出的「人工神經網絡」成為了機器學習研究的基石。
在計算機科學中,「神經網絡」一詞指的是計算機模擬的、由被稱為「神經元」的計算元素層組成的系統。這些「神經元」僅與人腦中的神經元大致相似,它們通過加權連接相互影響。通過改變連接的權重,可以改變神經網絡的計算。因為人們認識到使用多個層次構建深層網絡的重要性,從而有了「深度學習」這個術語。
由於強大的圖形處理單元(GPU)計算機的普及以及大量數據集的出現,本吉奧, 辛頓和楊樂昆在過去30年裡奠定的概念基礎和工程進展得到了顯著的推進。近年來,這些因素和其他研究共同激發了計算機視覺、語音識別和機器翻譯等技術的跨越式發展。
此前,楊樂昆曾在辛頓的指導下進行博士後工作,從20世紀90年代初開始,楊樂昆和本吉奧就在貝爾實驗室共同工作,即便沒有在一起工作,他們的研究也有著內在的聯繫和相互的影響。可以說,他們三人彼此之間的影響成就了他們的研究。
本吉奧,辛頓和楊樂昆一直堅持探索機器學習、神經科學和認知科學之間的交叉地帶,他們最著名的合作是共同參與了加拿大高等研究院(CIFAR)發起的機器與大腦學習計劃(the Learning in Machines and Brains program)。
今年的圖靈獎得主在人工智慧技術方面取得的重大突破包括但不限於:
傑弗裡辛頓
反向傳播算法:在1986年的一篇論文「Learning Internal Representations by Error Propagation」中,辛頓與David Rumelhart和Ronald Williams證明了反向傳播算法可以幫助神經網絡發現數據的內部表示,使得神經網絡可以用來解決從前無法解決的問題,反向傳播算法是目前大多數神經網絡的標準算法。
玻爾茲曼機(Boltzmann Machines):1983年,辛頓與泰倫斯·謝諾沃斯基(Terrence Sejnowski)一起發明了玻爾茲曼機,這是第一個能夠學習不屬於輸入或輸出的神經元內部表徵的神經網絡。
卷積神經網絡的改進:2012年,辛頓和他的學生Alex Krizhevsky、Ilya Sutskever一起,利用分段線性神經元(rectified linear neurons)和dropout正則化改進了卷積神經網絡。在著名的ImageNet比賽中,辛頓和他的學生們使物體識別的錯誤率幾乎減半,從而重塑了計算機視覺領域。
約書亞·本吉奧
序列概率模型(Probabilistic models of sequences):20世紀90年代,本吉奧將神經網絡與概率模型(如隱馬爾可夫模型)相結合。它被用在AT&T/NCR閱讀手寫支票的系統裡,這被認為是20世紀90年代神經網絡研究的巔峰,現代深度學習語音識別系統正在擴展這些概念。
高維詞嵌入和注意力模型:2000年,本吉奧發表了具有裡程碑意義的論文《神經概率語言模型(A Neural Probabilistic Language Model)》,引入高維詞嵌入作為詞的意義表示,本吉奧的研究對自然語言處理任務產生了巨大而持久的影響,其中包括語言翻譯、問和視覺回答。他的團隊還引入了一種注意力機制,這種注意力機制在機器翻譯方向取得了突破,成為深度學習中順序處理的關鍵組成部分。
生成對抗網絡:自2010年以來,本吉奧關於生成深度學習的論文,特別是與Ian Goodfellow共同開發的生成對抗網絡(GANs),在計算機視覺和計算機圖形學領域引發了一場革命。一個的由此引發的驚人應用中,電腦可以自動生成原創圖像,而這種能力被認為與人類智能類似。
楊樂昆
卷積神經網絡:在20世紀80年代,楊樂昆開發了卷積神經網絡,這是該領域的一個基本原理。能夠提高深度學習的效率是它的眾多優勢之一。上世紀80年代末,楊樂昆還在多倫多大學和貝爾實驗室工作時,他是第一個訓練卷積神經網絡系統處理手寫數字圖像的人。
如今,卷積神經網絡已經成為計算機視覺、語音識別、語音合成、圖像合成和自然語言處理領域的行業標準。它被廣泛應用於各種應用中,包括自動駕駛、醫學圖像分析、聲控助手和信息過濾。
改進反向傳播算法:楊樂昆提出了早期版本的反向傳播算法(backprop),並基於變分原理對其進行了清晰的推導,他的工作加速了反向傳播算法,包括兩種加速學習時間的簡單方法。
拓寬神經網絡: 楊樂昆還為神經網絡開拓了廣闊的空間,將其作為處理廣泛任務的一種計算模型,並在早期的工作中引入了一些現在廣為人知的基本概念。例如,在識別圖像領域,他研究了如何在神經網絡中學習分層特徵表示。如今,這一概念經常被用於許多識別任務。
他和Léon Bottou一起提出了一個被應用於每一個現代深度學習軟體中的理念,即學習系統可以被構建為複雜的模塊網絡,在這個網絡中,反向傳播通過自動分化來執行。他們還提出了能夠控制結構化數據的深度學習體系結構。
據悉,ACM將於6月15日加州舊金山年度頒獎晚宴上進行2018年圖靈獎的頒獎儀式。
(來源:ACM 編譯:網易智能 參與:毅立)
關注網易智能公眾號(smartman163),為你解讀AI領域大公司大事件,新觀點新應用。