深度學習突然火了的標誌性事件

2021-02-23 算法與數學之美

本文作者 Leo 是依圖科技 CEO，加州大學洛杉磯分校統計學博士。依圖科技是一家專注研究 Computer Vison（計算機視覺）的創業公司。

2015年底 Nature 雜誌刊登了 Lecun、Bengio、Hinton 的深度學習文章，是對最近深度學習火爆進展的總結，也是對他們三十年專注精神的最佳肯定。

深度學習火到什麼程度呢？據我所知，在工業界，Google、Facebook、微軟、百度、騰訊等，幾乎每家公司都在用深度學習做頂級的智能識別實用精度（語音識別、人像識別等）。個人認為，深度學習的廣泛應用，讓它可以比肩最近人工智慧領域的圖靈獎工作--哈佛教授 Leslie Valiant 的可學習性理論（註：2010年圖靈獎，90年代初在此思想下誕生了著名的 Boosting 算法)、 UCLA 教授 Judea Pearl 的基於概率推斷的人工智慧（註：2011年圖靈獎，90年 代末開始基於此思想的圖模型風靡學術界）。

Harvard 教授 Leslie Valiant

UCLA 教授 Judea Pearl

我時常和業內人士交流 ，包括工程師，風險投資者，美國學術界的教授，還有在創業公司、在學校實驗室做研究的清華、交大學生。大家對深度學習的歷史背景缺乏細膩的了解，甚至有些盲從。所以分享一下自己的了解。

首先，來介紹下 Deep Learning 的主要人物背景：

Geoff Hinton 教授是深度學習學派的祖師爺，老爺子腰椎不好，經常得站著寫代碼到夜裡一點，不能坐飛機，得坐火車從東邊到西邊去開會。（小編註：老爺子的勤奮虐了很多年輕人）

Geoff Hinton教授，deep learning 學派創始人之一

Yann Lecun教授 是 Geoff Hinton教授三十年前的弟子。最近深度學習應用於智能理解特別廣泛的模型是卷積神經網（ConvNet），就是他建立的。在學術上，這和傳統的深度學習其他的模型有顯著性差異 —— 我甚至認為這是思想性的巨大差異。

上圖右為 Yann Lecun教授，卷積神經網的發明者，Geoff Hinton教授的弟子

吳恩達是 Michale Jordan教授（圖模型的泰鬥）的明星弟子，獨立後，在 Stanford,、Google 和 Baidu 做的反而是 deep learning （有點武當弟子學了少林的意味）。後來做了網絡公開課程 Coursera 後名聲大噪，意義大大超越了學術界的範疇。

上圖為吳恩達（Andrew Ng），現為百度首席科學家，在線教育平臺 coursera 的創始人

深度學習突然火了的標誌性事件 ——2012年 底，Geoff Hinton教授門下的博士生 Alex Krizhevsky、Ilya Sutskever（他們研究深度學習時間並不長）在圖片分類的競賽 ImageNet 上，識別結果拿了第一名。其實類似的比賽每年很多，但這次比賽的意義在於，兩個 「小毛孩」擊敗了無比牛逼的Google 團隊，這下工業界沸騰了。

這個 「Google 團隊」 的無比牛逼性體現在，首先這是個受到 Google 戰略級重視的項目，有著世界級的明星團隊成員，包括吳恩達，還有 Google 神人 Jeff Dean（他們在深度學習領域已投入很多，併到處宣講他們的戰果），其次是業界無法企及的硬體和數據資源支持。我想，如果沒有這樣巨大反差，深度學習還不會得到這麼快的傳播和認可。兩個 「小毛孩」 打敗了業界神話。到這裡，Google的表現是讓業界笑話的。

但Google似乎不需要、也不該關心面子。緊接著，在機器學習方面頂級年度會議，Google 競價超過了微軟等其他公司，收購了 Alex Krizhevsky、Ilya Sutskever 和 Geoff Hinton 教授剛剛註冊幾個月的公司，準確說應該是 5000 萬美元買了三個人的時間。現在，Google把擊敗他們的毛頭小夥變成了自己人；Facebook 作為回應，挖了Geoff Hinton 教授三十年前的弟子Yann Lecun教授，讓他在紐約領導成立了 Facebook AI lab；吳恩達則離開 Google去了百度。

後來 Yann Lecun 教授組的學生出來了一半，陸續開了幾家深度學習的創業公司，其中一家早被 Twitter 收購。另外一些，加入了 Facebook 和 Google 。估計深度學習給 Geoff Hinton教授 和 Yann Lecun 的組帶來了近十個千萬富翁。

但更有意思的是（很有啟發性並值得思考），毛頭小夥Alex Krizhevsky 和 Ilya Sutskever 的競賽用的正是師哥 Yann Lecun教授發明的卷積神經網模型，可結果剛出來時（實現細節還沒有公布），Yann Lecun 和他的 NYU實驗室成員卻沒法重複師弟們的結果。自己發明的算法，使用結果不如另外一個組。這下炸了鍋，Yann Lecun 開了組會，反思的主題是 「為什麼過去兩年我們沒有得到這樣的成績？」 。

高手過招，Idea is cheap; The devil is in the details （想法很廉價；魔鬼在細節處）。想法其實很重要，但只能區分高手和普通人。高手們都有想法，但誰能獲勝，有時成敗就在細節？

但多說一句，Yann Lecun教授對研究的專注！真的值得同行學習！Yann Lecun教授上課教授和使用的是他自己寫的語言 Lush，用來替代 matlab（很方便描述矩陣運算、圖像處理等）、python 在科學研究的功能；他的團隊三十年如一日的專注於神經網絡的研究，從不隨波逐流，課題覆蓋卷積神經網的方方面面。有的博士生聰明數學好，非常敏感於卷積神經網模型的深刻理解；有的博士生專注於結構參數的行為分析（多少層啊之類）；有的博士生研究在不同數據分布（應用場景下）的表現，比如字母識別、圖像分類、物體檢測、場景分類等。

回復以下關鍵字獲取相關文章：

數據挖掘 | 機器學習 | 數學之美 | 遊戲算法 | 生活數學 | 排名算法|大型網站技術演進 | 數學名人 | 學科概述 | 計算機科學 | 搜尋引擎



據說好多人都不知道長按圖片也能關注，你知道嗎？

相關焦點

  • Pokemon為何突然火了,又能火多久?
    以下是其獨立觀點：任天堂、精靈寶可夢、Niantic合作推出的Pokemon Go（《口袋妖怪Go》最近火的一塌糊塗：在澳大利亞和紐西蘭地區上線後，吸引全球無數的玩家走到街頭，拉動任天堂股價暴漲25%；在雪梨，約1500人10日走上雪梨街頭捉精靈，這就是口袋妖怪帶來的魔力。
  • 業界 輕之國度的覆滅 輕小說正版化的標誌性事件
    而一開始進行無版權免費傳播的輕國，它的覆滅早已註定。輕小說正版化之路目前輕國文庫的域名已經無法訪問，而輕之國度論壇依舊正常運營，眾輕小說翻譯帖仍在繼續更新中，此次事件也將會成為我國輕小說正版化道路中的標誌性事件。未來輕小說用戶將會逐漸轉移到國內版權方的正版輕小說網站，而版權方對於二次元IP的控制將會更強。
  • 深度學習簡介
    今天備課的時候，看到Mathworks 關於深度學習的介紹，非常簡明扼要。
  • 抖音最近很火的懸疑偵探劇「火」在哪?
    要說上個月抖音最火的是什麼，那肯定少不了那陣突然颳起的「戰術名偵探」風，要說火到什麼程度呢，其相關話題下已有19.2億的視頻播放量，而這股風潮的源頭就是@梅尼耶創作的一系列輕懸疑「偵探劇」。11月12日，@梅尼耶發布了該系列作品的第一條視頻。女子吃火鍋怎麼還要砍價？
  • AMD突然發布7nm晶片背後的野心
    GPU在數據中心中執行大數據算法的標誌性事件是2012年的深度學習算法AlexNet的訓練。AlexNet是深度學習的標誌性算法，其貢獻第一是證明在數據量足夠的情況下深度神經網絡在圖像分類等任務中的性能遠好於傳統的支持向量機（SVM）等算法，可謂是開啟了這一波深度學習熱潮；除此之外AlexNet還提出了使用GPU去訓練深度學習網絡，相比CPU可以將訓練時間降低兩到三個數量級從而進入合理的範圍（時間從數年下降到了幾天）。
  • 普通程式設計師如何入門深度學習?
    人工智慧到底有多火？我相信大家之所以能來看這篇文章，也間接說明了人工智慧這幾年的火爆。自從基於深度學習技術的算法 2012 年在 ImageNet 比賽中獲得冠軍以來，深度學習先是席捲了整個學術界，後又在工業界傳播開來，一瞬間各大企業如果沒有 AI 部門都不好意思對外宣傳了。
  • 深度學習 Python 入門與實戰
    課程簡介：如今，深度學習發展迅速，其影響力也越來越大，在機器視覺、語音識別、機器翻譯等領域都取得了前所未有的發展
  • 谷歌深度學習又一利器:看圖辨位
    尤其是那些沒有標誌性物品或建築物的照片，而室內拍攝的寵物、食物等圖片更是如此。不過，谷歌最新開發的深度學習程序PlaNet（英語單詞「行星」的變寫）可以做到，僅僅通過照片內容判斷出拍攝地點。 PlaNet由谷歌計算機視覺處理專家託拜斯·韋揚德（Tobias Weyand）及其團隊主導開發。開發過程非常簡單明了。
  • 一文讀懂深度學習與機器學習的差異
    機器學習和深度學習變得越來越火。突然之間，不管是了解的還是不了解的，所有人都在談論機器學習和深度學習。無論你是否主動關注過數據科學，你應該已經聽說過這兩個名詞了。下文詳細解釋了機器學習和深度學習中的術語。並且，我比較了他們兩者的不同，別說明了他們各自的使用場景。什麼是機器學習和深度學習?讓我們從基礎知識開始：什麼是機器學習？和什麼是深度學習？
  • 約單APP為什麼突然火了?
    約單APP為什麼突然火了?Andreessen曾說軟體正在吞噬著世界,現在看來APP正吞噬著軟體。隨著行動裝置的快速崛起,隨之伴隨而來的是APP呈現爆發式增長。近日,移動數據分析公司Flurry給出了一份APP發展趨勢報告,顯示移動APP正對很多行業產生變革,中國成為APP增長最快的國家之一。
  • 科學家預言:今天會發生平流層突然變暖(SSW)事件
    (SSW)事件。SSW事件是一些最極端的大氣現象，在幾天內，極地平流層溫度會突然升高多達50°C。此類事件可能帶來非常寒冷的天氣，經常導致暴風雪。平流層中的擾動可以向下傳播，如果持續傳播到地表，則射流會發生變化，從而導致整個歐洲和北亞出現異常寒冷的天氣。平流層的異動到達地表可能需數周的時間，又或者僅在數天內。
  • 深度學習(DeepLearning)第一課
    近幾年深度學習的概念非常火，我們很幸運趕上並見證了這一波大潮的興起。記得2012年之前提及深度學習，大部分人並不熟悉，而之後一段時間裡，也有些人仍舊持懷疑的態度，覺得這一波浪潮或許與之前sparse coding類似，或許能持續火個兩三年，但終究要被某個新技術新方法所取代，再後來，無論是學術界還是工業界，總有些研究者為自己沒有在第一時間跟進這波浪潮感到後悔莫及。
  • 人工智慧及機器學習與深度學習揭秘
    深度學習、機器學習、人工智慧，這些代表著未來技術的流行語。在本文中，我們將通過一些真實案例討論機器學習和高階的深度學習。在21世紀技術官社區未來的文章中，我們會持續探討垂直行業人工智慧的應用。當然，本文的目的並不是讓你成為數據科學家，而是讓你更好的理解用機器學習都做什麼。
  • 【深度學習】老師木講架構:深度學習平臺技術演進
    報告包括深度學習的計算力問題、硬體基礎、軟體挑戰、傳統大數據架構、深度學習軟體平臺的技術演化等。2017年12月22日，袁進輝（老師木）代表OneFlow團隊在全球網際網路架構大會上海站做了《深度學習平臺技術演進》的報告，小編對報告內容作簡要梳理註解，以饗讀者。
  • 標誌性事件!「城管追打商販被砍傷」:商販系正當防衛,涉事城管被拘!
    佔豪認為，這個事件是一個標誌性事件，這次警方處置得非常清楚。首先，對佔道經營的楊某進行了治安警告處罰，但對城管打人反被攤主刀子砍傷定性為攤主的正當防衛，這是一次非常清晰明了的定性。
  • 人工智慧-Andrew Ng版|神經網絡和深度學習|深度學習概述
    專項課程的第一門課是《Neural Networks and Deep Learning 神經網絡與深度學習》。1.1 Welcome這個視頻主要講了什麼是深度學習，深度學習能做些什麼事情。吳恩達老師的從深度學習改變了傳統網際網路業務開始講述，例舉如網絡搜索和廣告。
  • 深度強化學習(一)----深度學習介紹系列
    昨天大致介紹了機器學習與深度學習的基本概念，本系列的目錄，深度學習的優勢等。說到機器學習最酷的分支，非Deep learning和Reinforcement learning莫屬（以下分別簡稱DL和RL）。這兩者不僅在實際應用中表現的很酷，在機器學習理論中也有不俗的表現。深度強化學習是啥呢？簡單點說就是 深度學習 + 強化學習。深度學習和強化學習都不是啥新鮮事了，但是深度強化學習在Google 的DeepMind團隊的運作下，一下子變得非常紅火了。
  • 論文推薦 | 深度學習應用於交通流預測後的奇妙效應(2020-09-22)
    本文推薦了 3 篇基於深度學習方法預測交通流的論文，不僅梳理和翻譯了論文的題錄信息、摘要，而且提供了必要的拓展學習資源。此外，論文中可利用的數據也單獨列出，以供大家學習使用。1.這種情況激發我們重新思考基於具有交通大數據的深度架構模型的交通流預測問題。本文提出了一種新穎的基於深度學習的交通流預測方法，該方法自身便考慮了時空相關性。堆疊式自動編碼器模型用於學習一般的交通流特徵，並且以逐層貪婪的方式進行訓練。據我們所知，本研究是首次使用堆疊式自動編碼器作為構建塊來應用深層體系結構模型，以表示交通流特徵來進行預測。
  • 摺疊手機為什麼突然又火了?
    那麼摺疊手機為什麼突然又火起來了？除了價格因素以外，還有哪些值得關注的地方，它會不會成為未來手機的主流形態，又存在哪些不確定性和爭議？讓我們一探究竟。摺疊手機為什麼又火了在2021年末，摺疊手機著實又火了一把，像華為的Mate x系列和OPPO Find N都出現了一機難求、至加價求購的現象。那為什麼摺疊屏手機又火了呢？可以從以下的幾個方面去分析。1.市場需求。人們總是熱衷於追求新鮮事物。直屏手機從2008年發展到今天，不管是手機外觀還是交互方式都已經沒有太多的突破，缺乏創新性。
  • 機器學習漫談:深度學習的輝煌
    深度學習是一個非常大的神經網絡，包含多得多的隱藏層（通常為150個），它們可以存儲和處理更多信息。這是深度學習有別於傳統神經網絡的最重要的一點。因此，名稱「深層」用於此類網絡。其次，深度學習不需要手工提取特徵，而直接將圖像作為輸入。這是深度學習有別於傳統神經網絡的另一點。圖1描述了在機器學習和深度學習中識別對象所遵循的過程。第三，深度學習需要高性能的GPU和大量數據。