Facebook Yann LeCun一小時演講: AI 研究的下一站是無監督學習(附...

2021-01-11 雷鋒網

作為 Facebook 人工智慧部門主管, Yann LeCun 是 AI 領域成績斐然的大牛,也是行業內最有影響力的專家之一。

近日,LeCun在卡內基梅隆大學機器人研究所進行了一場 AI 技術核心問題與發展前景的演講。他在演講中提到三點乾貨:

1. 無監督學習代表了 AI 技術的未來。

2. 當前 AI 應用的熱點集中在卷積神經網絡。 

3. 用模擬器提高無監督學習的效率是大勢所趨。

演講完整視頻如下。該視頻長 75 分鐘,並包含大量專業術語,因此雷鋒網節選關鍵內容做了視頻摘要,以供讀者瀏覽。

以下為視頻摘要:

一、無監督學習的重要性

AI 技術的飛速進步很大程度上是由於深度學習和神經網絡領域的突破,還得益於大型資料庫的建立和更快的 GPU。我們現在已有了圖像識別能力可與人類相比的 AI 系統 (例如下文中 Facebook 的識別系統)。這會導致自動化交通,醫療圖像解析在內的多個領域的革命。但這些系統現在用的都是監督學習(supervised learning),輸入的數據被人為加上標籤。

接下來的挑戰在於,怎麼讓機器從未經處理的、無標籤無類別的數據中進行學習,比方說視頻和文字。而這就是無監督學習(unsupervised learning)。

二、神經網絡的規模越大越好

傳統的思想認為,如果你沒有大量的數據,神經網絡應該控制在較小的規模。Yann LeCun 指出這完全是錯誤的。他的團隊在數據不變的情況下擴展了神經網絡,得到了更好的結果。他說,神經網絡越大,效果就越好(當然前提是資料庫大小達到了臨界值)。至於為什麼會這樣,目前仍是一個謎,相關理論研究正在開展。

三、卷積神經網絡在識別領域的廣闊前景

Yann LeCun 特別強調了卷積神經網絡的重要性和應用:」我們很早就認識到,卷積神經網絡可以被用來處理多種任務——不單單是識別單個物體(比如字母數字),還可以識別多個物體,同時進行物體識別、分組和解釋。比方說,可以用卷積神經網絡訓練 AI 系統識別並標註(攝像頭所拍攝)圖像中的每一個像素,以此分析前方路徑是否可通過。在英偉達最近的自動駕駛項目中,他們就使用了卷積神經網絡來訓練自動駕駛系統。系統分析攝像頭提供的圖像,據此模仿人類的轉向角度。「

他還介紹了卷積神經網絡在 Facebook 圖像識別系統中的應用。「有了它之後,Facebook 的系統不僅能識別圖像,還能繪製出圖像的輪廓,並根據輪廓影像對物體進行分類。該系統甚至可以挑出中國菜裡面的西蘭花(如下圖)。」

下面是對同一幅圖像識別前後的對比:

Yann LeCun 表示這是一個巨大的進步,如果你在幾年前問一個 AI 專家:」我們什麼時候才能做到這樣?」,答案會是「不清楚」。

「 想讓 AI 技術繼續進步,我們就必須要讓機器能夠分析、推理、記憶,把現象和文字轉化為運行知識。」

他接著作出預測,下一個將會十分流行的技術是記憶增強神經網絡。它可被理解為用記憶增強的遞歸神經網絡,其中,記憶本身是一個能被區分的迴路,並可以作為學習中的一部分用於訓練。Yann LeCun 接下來對該技術進行了深入探討,這裡不贅述,詳情請見視頻。

四、強化學習、監督學習、無監督學習的數據要求

進行強化學習、監督學習、無監督學習的所需數據規模相差數個數量級。強化學習每次驗證(trial)所需的信息可能只有幾比特,監督學習是十到一萬比特的信息量,而無監督學習則需要數百萬比特。所以,Yann LeCun 做了一個比喻:假設機器學習是一個蛋糕,強化學習是蛋糕上的一粒櫻桃,監督學習是外面的一層糖衣,無監督學習則是蛋糕糕體。無監督學習的重要性不言而喻。為了讓強化學習奏效,也離不開無監督學習的支持。

五、用模擬機制提高強機器學習的效率

當下的主要問題是,AI 系統沒有「常識」。人類和動物通過觀察世界、行動和理解自然規律來獲得常識,機器也需要學會這麼做。包括 Yann LeCun 在內的許多專家,把無監督學習作為賦予機器常識的關鍵,該過程如下:

AI 系統由兩部分組成:代理和目標(agent and objective)。代理做出行動,觀察該行動對現實的影響產生認知,然後再通過該認知來預測現實情況。代理進行這一系列活動的動機來自於實現目標,而最終的目的則是:以最高的效率達到該目標。在強化學習中,對代理行為的獎勵(reward)來自於外部,無監督學習的獎勵則來自內部(對接近該目標的滿意)。

但這個過程存在一個很大的問題:代理進行無監督學習的方法是在現實生活中進行各種嘗試,這存在危險並且效率很低。比如,無人駕駛車不能嘗試所有可能的駕駛方法,會帶來安全隱患。這種嘗試又受到時間的限制,不能像電腦程式那樣每秒運行數千次。所以,Yann LeCun 解釋道,為了提高機器學習的效率,我們需要基於模型的強化學習(model based reinforcement learning )。它由三部分組成:現實模擬器(world simulator),行動器(actor)和反饋裝置(critic)。現實模擬器對現實情況進行模擬,行動器生成行動預案(action proposals),然後反饋裝置對該行動的效果進行預測。這樣,AI 系統就可以對行動反覆推演,進行優化,而不受到現實中時間和成本的限制。

小結: 作為業內大牛,Yann LeCun 的一舉一動都受到關注。他之前就發表過對 AI 前景和無監督學習的若干講話,這一次在卡內基梅隆的研究人員面前再次強調了他的觀點。雖然這不是我們第一次聽到專家強調無監督學習、甚至是卷積神經網絡的重要性;但此次演講中, Yann LeCun 借用許多技術細節和各大公司、研究院正在從事的研究作為示例,為無監督學習將來會怎樣發展作了全面的註解。正因如此,雷鋒網(公眾號:雷鋒網)建議關注 AI 領域未來發展方向的讀者,不妨抽出一個下午仔細聽一下演講,必定會有收穫。

【招聘】雷鋒網堅持在人工智慧、無人駕駛、VR/AR、Fintech、未來醫療等領域第一時間提供海外科技動態與資訊。我們需要若干關注國際新聞、具有一定的科技新聞選題能力,翻譯及寫作能力優良的外翻編輯加入。工作地點深圳。簡歷投遞至 guoyixin@leiphone.com 。兼職及實習均可。

推薦閱讀:

大神 Yann LeCun:我們的使命是終結「填鴨式」 AI

深度學習元老Yann Lecun詳解卷積神經網絡

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 圖靈獎得主Bengio和LeCun:自監督學習可使AI達到人類智力水平
    自監督學習算法不再依賴標註,而是通過揭示數據各部分之間的關係,從數據中生成標籤。自監督學習是一種機器學習的「理想狀態」,重點在於如何自動生成數據標籤,這一步驟被認為對於實現人類水平的智能至關重要。舉一個例子,例如輸入一張圖片,把圖片隨機旋轉一個角度,然後把旋轉後的圖片作為輸入,隨機旋轉的角度作為標籤。
  • Yann LeCun:用預測學習替代無監督學習
    Perez、Yann LeCun編譯:王楠、劉小芹【新智元導讀】日前,Facebook AI 實驗室負責人、紐約大學教授 Yann LeCun 受邀在今年的 NIPS 大會發表主旨演講,暢談深度學習最近技術進展。
  • 研究了個寂寞?Reddit熱議:AI教父Yann LeCun提出的「能量模型...
    相比之下,基於能量的自監督學習好像並沒有特別之處,也沒有相關的成功應用案例。Reddit上,超過95%的網友對這一觀點表示了贊同。另外,還有一位網友透露,最近3-4年很多專家都對它很著迷,他們認為基於能量的模型是深度學習的『未來』。
  • Yann Lecun自監督學習指南(附114頁Slides全文下載)
    2018年11月08日,他來到加州大學聖巴巴拉分校,為在場師生作了一場關於自監督學習的前沿報告,近日他在twitter上公開了報告的全程錄像以及Slides全文,現為大家編譯如下。近年來,深度學習在計算機感知、自然語言處理和控制方面取得了重大進展。但幾乎所有這些成功都在很大程度上依賴於有監督學習,在監督學習中,機器被要求預測人類提供的標籤信息,或通過無模型的強化學習方法,不斷的嘗試各種行為空間的動作,以期達到收益(reward)最大化。這導致了監督學習需要大量的標記樣本,使得它只適用於特定的任務。而強化學習即使在簡單的學習任務中,也需要與環境進行大量的交互。
  • ...Yann LeCun「人工智慧發展的挑戰在於無監督學習」原版演講PPT
    資料 | Yann LeCun「人工智慧發展的挑戰在於無監督學習」原版演講PPT
  • LeCun:賦予機器 「常識」,重新設計神經網絡將是AI 研究重點
    Facebook也在尋找新的神經網絡架構,大力投入於「自我監督」系統,致力於賦予機器「常識」。人工智慧研究的進展將與硬體創新密切相關。今天,在2019國際固態電路研討會(ISSCC)的主旨演講中,Facebook首席AI科學家Yann LeCun闡述了深度學習研究的進展將如何影響未來的硬體架構。
  • Yann LeCun:深度學習已死,可微分編程萬歲!
    【新智元導讀】LeCun又發表驚人言論,繼昨天參與深度學習論戰、噴機器人Sophia後,今天他在Facebook主頁發文,稱「深度學習已死,可微分編程萬歲!」深度學習真的死了?而可微分編程又是什麼呢?LeCun又語出驚人了,這次直指深度學習——好,深度學習作為一個流行詞,現在時效已過。
  • Facebook新AI模型SEER實現自監督學習,LeCun大讚最有前途
    該模型包含10億個參數,可以從網上任何未標記圖像的中學習,並在一系列計算機視覺基準上取得了先進的結果。Facebook的這一突破能否實現計算機視覺的自監督學習革命?無需標籤,自我分析數據!Facebook的新AI模型在革計算機視覺的命?
  • 【損失函數合集】Yann Lecun的Contrastive Loss 和 Google的Triplet Loss
    接下來就一起來看看這兩個損失函數。論文原文均見附錄。問題引入假設我們現在有2張人臉圖片,我們要進行一個簡單的對比任務,就是判斷這兩張人臉圖片是不是對應同一個人,那麼我們一般會如何解決?一種簡單直接的思路就是提取圖片的特徵向量,然後去對比兩個向量的相似度。但這種簡單的做法存在一個明顯的問題,那就是CNN提取的特徵「類間」區分性真的有那麼好嗎?
  • 人類群星閃耀時 | Facebook人工智慧負責人Yann LeCun:讓深度學習...
    他的寫作和演講主要是集中在他的技術領域,當然,當涉及到其他領域,包括當今時事時,他也不會退讓。IEEE Spectrum的Lee Gomes與LeCun在他紐約的Facebook辦公室裡進行了一次深度談話,共有九部分。一、用8個單詞解釋深度學習IEEE Spectrum:這些天我們看到了許多關於深度學習的新聞。
  • 重磅 Yann LeCun撰文解讀:人工智慧未來的機會在哪裡?(附視頻)
    人工智慧不是魔法,但是我們已經看到了它能使科學研究研究領域取得魔法般的進步,它們能識別照片裡的物體、識別語音、駕駛汽車或者將在線文章翻譯成多種語言,每天都給我們帶來一些奇蹟。在 FAIR 實驗室,我們正在研究如何讓機器更好地工作,大部分工作內容就是深度學習,亦即如何通過搭建多個處理層的神經網絡來增強人工智慧。通過使用深度學習,我們可以幫助人工智慧學會提取世界的表徵。
  • Yann LeCun送你的春節大禮:免費學習全部2020春季深度學習課程
    該課程涵蓋了深度學習和表徵學習的最新技術,並重點關注了監督/自監督學習,嵌入方法,度量學習,卷積和遞歸網絡,以及在計算機視覺,自然語言理解和語音識別領域的應用。 如果要學習此門課程,需要有數據科學入門或者機器學習課程的相關知識。 從深度學習的歷史、動機和靈感等主題開始,這門課程一共為期14周。隨後,Lecun會帶領大家深入研究優化技術、 energy-based模型、世界模型、生成式對抗網絡以及模型預測的策略學習等主題。
  • 大神Yann LeCun:我們的使命是終結「填鴨式」 AI
    >導讀:無監督學習才是 AI 的未來,目前的 AI 技術太過於稚嫩!無監督學習是一大難題,Facebook 的 AI 大牛 Yann LeCun 一直在追尋它。他承諾帶領研究人員進入下一代人工智慧,機器將擁有更高的智能,可以感知世界,並採取相應的行動,我們稱之為常識。
  • Facebook全新無監督機器翻譯法,BLUE測試提升超過10分!
    研究人員表示,這種無監督方法不僅適用於機器翻譯,也可以擴展到其他領域,讓智能體在使用無標記數據的情況下,完成只有極少甚至沒有訓練數據的任務。這是機器翻譯以及無監督學習的一項重大突破。而其實現方法本身也十分巧妙,相關論文已被EMNLP 2018接收。自動語言翻譯對於Facebook來說非常重要,因為Facebook用戶高達數十億,可以想見其平臺每天承載和需要轉換的語種數量。
  • Facebook開源多款AI工具,支持遊戲、翻譯
    ,為研究提供靈活和模塊化的支持,同時具備生產部署所需的穩定性和支持。,模塊化和可擴展的深度學習框架,能夠在雲端或行動裝置上部署新模型。GitHub地址:https://facebook.ai/developers/tools/densepose
  • 吳恩達對話Yann LeCun:從相識Hinton到深度學習崛起
    深度學習專項課程 Deeplearning.ai 中,也包含吳恩達和多位深度學習大牛的對話視頻,之前 YouTube 上已經公開了他與 Geoffrey Hinton、Yoshua Bengio、Ian Goodfellow、Andrej Karpathy 等人的對話視頻。
  • 從零開始深度學習第14講:CNN經典論文研讀之Le-Net5及其TensorFlow實現
    從本次筆記開始,筆者在深度學習筆記中會不定期的對 CNN 發展過程中的經典論文進行研讀並推送研讀筆記。今天筆者就和大家一起學習卷積神經網絡和深度學習發展歷史上具有奠基性的經典論文之一的關於 LeNet-5 網絡一文。
  • 10位AI大牛暢想2020:李開復看好醫療教育 LeCun強調自監督學習
    吳恩達DeepLearning.ai旗下的THE BATCH刊物,分享了包括Yann LeCun、李開復、周志華、還有他們的老闆吳恩達在內的10位AI大佬的新年寄語,以及對AI在2020年能有什麼突破的「新年願望」。一起來看看吧~吳恩達:保持學習和好奇心
  • 谷歌新研究:AI可以在6小時內設計出計算機晶片
    儘管這方面的研究已經進行了幾十年,但是人類專家仍然需要花上幾周的時間來迭代,以生成滿足多方面設計標準的解決方案。這個問題的複雜性源自網表圖的大小,這些圖的大小範圍從數百萬到數十億個節點組成數千個集群,通常,評估目標指標需要花費數小時到一天的時間。
  • 深度學習筆記14:CNN經典論文研讀之Le-Net5及其Tensorflow實現
    深度學習筆記6:神經網絡優化算法之從SGD到Adam深度學習筆記7:Tensorflow入門深度學習筆記8:利用Tensorflow搭建神經網絡深度學習筆記9:卷積神經網絡(CNN)入門深度學習筆記10:三維卷積、池化與全連接深度學習筆記11:利用numpy搭建一個卷積神經網絡