AI聖經《深度學習》作者斬獲圖靈獎,實至名歸!

2019 年 3 月 27 日——ACM 宣布，深度學習之父 Yoshua Bengio, Yann LeCun, 以及 Geoffrey Hinton 獲得了 2018 年圖靈獎，以表彰他們以概念和工程的突破，讓深度神經網絡成為計算關鍵部位。其中 Yoshua Bengio 是 AI 聖經《深度學習》作者之一。今天，深度學習已經成為了人工智慧技術領域最重要的技術之一。在最近數年中，計算機視覺、語音識別、自然語言處理和機器人取得的爆炸性進展都離不開深度學習。三人在人工智慧領域的成就數不勝數，但是 ACM 依然列數了三位大咖最值得被記住的成就，讓我們一起來回顧一下。

Yoshua Bengio

《深度學習》作者

序列的概率模型：在 20 世紀 90 年代，Bengio 將神經網絡與序列的概率模型相結合，例如隱馬爾可夫模型。這些想法被納入 AT＆T / NCR 用於閱讀手寫支票中，被認為是 20 世紀 90 年代神經網絡研究的巔峰之作。現代深度學習語音識別系統也是這些概念的擴展。

高維詞彙嵌入和關注：2000 年，Bengio 撰寫了具有裡程碑意義的論文「A Neural Probabilistic Language Model」，它引入了高維詞向量作為詞義的表示。Bengio 的見解對自然語言處理任務產生了巨大而持久的影響，包括語言翻譯、問答和視覺問答。他的團隊還引入了注意力機制，這種機制促使了機器翻譯的突破，並構成了深度學習的序列處理的關鍵組成部分。

生成性對抗網絡：自 2010 年以來，Bengio 關於生成性深度學習的論文，特別是與 Ian Goodfellow 共同開發的生成性對抗網絡（GAN），引發了計算機視覺和計算機圖形學的革命。

Geoffrey Hinton

反向傳播：在 1986 年與 David Rumelhart 和 Ronald Williams 共同撰寫的 「Learning Internal Representations by Error Propagation」 一文中，Hinton 證明了反向傳播算法允許神經網絡發現自己的數據內部表示，這使得使用神經網絡成為可能網絡解決以前被認為超出其範圍的問題。如今，反向傳播算法是大多數神經網絡的標準。

玻爾茲曼機（Boltzmann Machines）：1983 年，Hinton 與 Terrence Sejnowski 一起發明了玻爾茲曼機，這是第一個能夠學習不屬於輸入或輸出的神經元內部表示的神經網絡之一。

卷積神經網絡的改進：2012 年，Hinton 和他的學生 Alex Krizhevsky 以及 Ilya Sutskever 通過 Rectified Linear Neurons 和 Dropout Regularization 改進了卷積神經網絡，並在著名的 ImageNet 評測中將對象識別的錯誤率減半，在計算機視覺領域掀起一場革命。

Yann LeCun

卷積神經網絡：在 20 世紀 80 年代，LeCun 研發了卷積神經網絡，現已成為該領域的基本理論基礎。其讓深度學習更有效。在 20 世紀 80 年代後期，多倫多大學和貝爾實驗室工作期間，LeCun 是第一個在手寫數字圖像上訓練卷積神經網絡系統的人。如今，卷積神經網絡是計算機視覺以及語音識別、語音合成、圖像合成和自然語言處理的行業標準。它們用於各種應用，包括自動駕駛、醫學圖像分析、語音激活助手和信息過濾。

改進反向傳播算法：LeCun 提出了一個早期的反向傳播算法 backprop，並根據變分原理對其進行了簡潔的推導。他的工作讓加快了反向傳播算，包括描述兩種加速學習時間的簡單方法。

拓寬神經網絡的視野：LeCun 還將神經網絡作為可以完成更為廣泛任務的計算模型，其早期工作現已成為 AI 的基礎概念。例如，在圖像識別領域，他研究了如何在神經網絡中學習分層特徵表示，這個理念現在通常用於許多識別任務中。與 LéonBottou 一起，他還提出了學習系統可以構建為複雜的模塊網絡，其中通過自動區分來執行反向傳播，目前在每個現代深度學習軟體中得到使用。他們還提出了可以操作結構化數據的深度學習架構，例如圖形。

深度學習這個術語自 2006 年被正式提出後，在最近 10 年得到了巨大發展。它使人工智慧 (AI) 產生了革命性的突破，讓我們切實地領略到人工智慧給人類生活帶來改變的潛力。2016 年 12 月，MIT 出版社出版了 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 三位學者撰寫的《Deep Learning》一書。三位作者一直耕耘於機器學習領域的前沿，引領了深度學習的發展潮流，是深度學習眾多方法的主要貢獻者。該書正應其時，一經出版就風靡全球。

該書包括 3 個部分，第 1 部分介紹基本的數學工具和機器學習的概念，它們是深度學習的預備知識。第 2 部分系統深入地講解現今已成熟的深度學習方法和技術。第 3 部分討論某些具有前瞻性的方向和想法，它們被公認為是深度學習未來的研究重點。

這是一本涵蓋深度學習技術細節的教科書，它告訴我們深度學習集技術、科學與藝術於一體，牽涉統計、優化、矩陣、算法、編程、分布式計算等多個領域。已被作為北京大學深度學習課程的講授教材。

作者在書中寫到：「人工智慧的真正挑戰在於解決那些對人來說很容易執行、但很難形式化描述的任務，比如識別人們所說的話或圖像中的臉。對於這些問題，我們人類往往可以憑直覺輕易地解決」。為了應對這些挑戰，他們提出讓計算機從經驗中學習，並根據層次化的概念體系來理解世界，而每個概念通過與某些相對簡單的概念之間的關係來定義。由此，作者給出了深度學習的定義：「層次化的概念讓計算機構建較簡單的概念來學習複雜概念。如果繪製出表示這些概念如何建立在彼此之上的一幅圖，我們將得到一張`深'(層次很多) 的圖。由此，我們稱這種方法為 AI 深度學習 (deep learning)」。

《深度學習》中文版從引進版權到正式出版歷經三年，中文版的推出填補了目前國內缺乏深度學習綜合性教科書的空白。但它又不只是一本教科書，任何對深度學習感興趣的讀者，閱讀本書都會受益。除了學習機器學習的大學生，沒有機器學習或統計背景的軟體工程師也可以通過本書快速補充相關知識，並在他們的產品或平臺中使用。

本書最大的一個特點是介紹深度學習算法的本質，脫離具體代碼實現給出算法背後的邏輯，不寫代碼的人也完全可以看。本書的另一個特點是，為了方便讀者閱讀，作者特別繪製了本書的內容組織結構圖，指出了全書 20 章內容之間的相關關係，如圖所示。讀者可以根據自己的背景或需要，隨意挑選閱讀。

《深度學習》中文版內容組織結構圖。從一章到另一章的箭頭表示前一章是理解後一章的必備內容。

《深度學習》中英文版一經推出，就在世界範圍內產生熱烈反響，並橫掃各大技術圖書排行榜榜首。這次，三位深度學習之父獲獎實至名歸，也證明任何一項真正有意義、有生命的理論研究，最終都會對改變世界產生巨大的作用。深度學習在計算機科學領域的作用已不再受到質疑，圖靈獎的肯定更表明了其核心地位。在可預期的未來，深度學習在工業領域的實踐上將大有作為！