本文作者 Leo 是依圖科技 CEO,加州大學洛杉磯分校統計學博士。依圖科技是一家專注研究 Computer Vison(計算機視覺)的創業公司。
2015年底 Nature 雜誌刊登了 Lecun、Bengio、Hinton 的深度學習文章,是對最近深度學習火爆進展的總結,也是對他們三十年專注精神的最佳肯定。
深度學習火到什麼程度呢?據我所知,在工業界,Google、Facebook、微軟、百度、騰訊等,幾乎每家公司都在用深度學習做頂級的智能識別實用精度(語音識別、人像識別等)。個人認為,深度學習的廣泛應用,讓它可以比肩最近人工智慧領域的圖靈獎工作--哈佛教授 Leslie Valiant 的可學習性理論(註:2010年圖靈獎,90年代初在此思想下誕生了著名的 Boosting 算法)、 UCLA 教授 Judea Pearl 的基於概率推斷的人工智慧(註:2011年圖靈獎,90年 代末開始基於此思想的圖模型風靡學術界)。
Harvard 教授 Leslie Valiant
UCLA 教授 Judea Pearl
我時常和業內人士交流 ,包括工程師,風險投資者,美國學術界的教授,還有在創業公司、在學校實驗室做研究的清華、交大學生。大家對深度學習的歷史背景缺乏細膩的了解,甚至有些盲從。所以分享一下自己的了解。
首先,來介紹下 Deep Learning 的主要人物背景:
Geoff Hinton 教授是深度學習學派的祖師爺,老爺子腰椎不好,經常得站著寫代碼到夜裡一點,不能坐飛機,得坐火車從東邊到西邊去開會。(小編註:老爺子的勤奮虐了很多年輕人)
Geoff Hinton教授,deep learning 學派創始人之一
Yann Lecun教授 是 Geoff Hinton教授三十年前的弟子。最近深度學習應用於智能理解特別廣泛的模型是卷積神經網(ConvNet),就是他建立的。在學術上,這和傳統的深度學習其他的模型有顯著性差異 —— 我甚至認為這是思想性的巨大差異。
上圖右為 Yann Lecun教授,卷積神經網的發明者,Geoff Hinton教授的弟子
吳恩達是 Michale Jordan教授(圖模型的泰鬥)的明星弟子,獨立後,在 Stanford,、Google 和 Baidu 做的反而是 deep learning (有點武當弟子學了少林的意味)。後來做了網絡公開課程 Coursera 後名聲大噪,意義大大超越了學術界的範疇。
上圖為吳恩達(Andrew Ng),現為百度首席科學家,在線教育平臺 coursera 的創始人
深度學習突然火了的標誌性事件 ——2012年 底,Geoff Hinton教授門下的博士生 Alex Krizhevsky、Ilya Sutskever(他們研究深度學習時間並不長)在圖片分類的競賽 ImageNet 上,識別結果拿了第一名。其實類似的比賽每年很多,但這次比賽的意義在於,兩個 「小毛孩」擊敗了無比牛逼的Google 團隊,這下工業界沸騰了。
這個 「Google 團隊」 的無比牛逼性體現在,首先這是個受到 Google 戰略級重視的項目,有著世界級的明星團隊成員,包括吳恩達,還有 Google 神人 Jeff Dean(他們在深度學習領域已投入很多,併到處宣講他們的戰果),其次是業界無法企及的硬體和數據資源支持。我想,如果沒有這樣巨大反差,深度學習還不會得到這麼快的傳播和認可。兩個 「小毛孩」 打敗了業界神話。到這裡,Google的表現是讓業界笑話的。
但Google似乎不需要、也不該關心面子。緊接著,在機器學習方面頂級年度會議,Google 競價超過了微軟等其他公司,收購了 Alex Krizhevsky、Ilya Sutskever 和 Geoff Hinton 教授剛剛註冊幾個月的公司,準確說應該是 5000 萬美元買了三個人的時間。現在,Google把擊敗他們的毛頭小夥變成了自己人;Facebook 作為回應,挖了Geoff Hinton 教授三十年前的弟子Yann Lecun教授,讓他在紐約領導成立了 Facebook AI lab;吳恩達則離開 Google去了百度。
後來 Yann Lecun 教授組的學生出來了一半,陸續開了幾家深度學習的創業公司,其中一家早被 Twitter 收購。另外一些,加入了 Facebook 和 Google 。估計深度學習給 Geoff Hinton教授 和 Yann Lecun 的組帶來了近十個千萬富翁。
但更有意思的是(很有啟發性並值得思考),毛頭小夥Alex Krizhevsky 和 Ilya Sutskever 的競賽用的正是師哥 Yann Lecun教授發明的卷積神經網模型,可結果剛出來時(實現細節還沒有公布),Yann Lecun 和他的 NYU實驗室成員卻沒法重複師弟們的結果。自己發明的算法,使用結果不如另外一個組。這下炸了鍋,Yann Lecun 開了組會,反思的主題是 「為什麼過去兩年我們沒有得到這樣的成績?」 。
高手過招,Idea is cheap; The devil is in the details (想法很廉價;魔鬼在細節處)。想法其實很重要,但只能區分高手和普通人。高手們都有想法,但誰能獲勝,有時成敗就在細節?
但多說一句,Yann Lecun教授對研究的專注!真的值得同行學習!Yann Lecun教授上課教授和使用的是他自己寫的語言 Lush,用來替代 matlab(很方便描述矩陣運算、圖像處理等)、python 在科學研究的功能;他的團隊三十年如一日的專注於神經網絡的研究,從不隨波逐流,課題覆蓋卷積神經網的方方面面。有的博士生聰明數學好,非常敏感於卷積神經網模型的深刻理解;有的博士生專注於結構參數的行為分析(多少層啊之類);有的博士生研究在不同數據分布(應用場景下)的表現,比如字母識別、圖像分類、物體檢測、場景分類等。
回復以下關鍵字獲取相關文章:
數據挖掘 | 機器學習 | 數學之美 | 遊戲算法 | 生活數學 | 排名算法|大型網站技術演進 | 數學名人 | 學科概述 | 計算機科學 | 搜尋引擎
據說好多人都不知道長按圖片也能關注,你知道嗎?