Facebook AI 研究院院長 Yann LeCun 清華演講實錄(附獨家演講視頻)

2021-01-09 極客公園

毫無疑問,「Yann LeCun」是人工智慧領域最為顯赫的幾個名字之一,作為人工智慧領域的世界級專家,他在機器學習等技術上都有卓越的貢獻,「卷積神經網絡(convolutional neural networks)」更是他的代表作。

在 2013 年年底,Facebook 公司 CEO 扎克伯格確信 AI 技術——這個被他稱為「我們這個時代最困難的一項工程挑戰」——將會是公司未來的重心,因此,他在這時成立了專注於這個項目的實驗室。為此,他找來了當時還在紐約大學的 Yann LeCun 合作,任命其為 Facebook AI 研究院的院長。

當時,LeCun 拒絕離開紐約。為了解決這個問題,Facebook 為 LeCun 在曼哈頓設立了 Facebook AI 實驗室的總部。由此也可看出 LeCun 在業界的地位和影響力。

3月22日,作為本次系列課程中唯一的一次公開課,由清華大學經濟管理學院發起,清華x-lab與Facebook公司聯合設計並推出的《創新與創業:矽谷洞察》第三次課程在清華大學大禮堂開講。極客公園來到了現場,為大家整理了如下的課堂筆記:


監督學習(Supervised Learning)

首先,LeCun 以監督學習開場,他用非常簡潔的例子為大家介紹了監督學習的原理,「就像你給小孩子打開一本書,然後指著一張圖片,告訴他這就是大象,然後他就記住這是大象了。只不過區別是你要給機器看成千上萬張圖片」

深度學習(Deep Learning)

之後,他又簡單介紹了一下深度學習(deep learning)技術的發展,並對傳統模式識別、主流現代模式識別以及深度學習特徵提取方式進行了比對。「它被稱為 deep learning 的原因就是因為那些系統可以被劃分成許多層(layer),而每一層都是可訓練的。」同時,正是因為大量數據的出現以及 GPU 這樣的硬體被開發出來,這項技術才在這幾年有了突飛猛進的變化。

卷積神經網絡(Convolutional Neural Network)

這是 LeCun 自己的代表作,他從 1980 年代就開始了這方面的研究。他在演講中詳細講述了這部分的原理,大家可以看看下面這張幻燈片。他同時提到自己是受了諾貝爾獎得主大衛·休伯爾(David Hubel)以及託斯坦·威澤爾(Torsten Wiesel)的啟發才有了相應的靈感,這兩位的工作給人們呈現了視覺系統是如何將來自外界的視覺信號傳遞到視皮層,並通過一系列處理過程(包括邊界檢測、運動檢測、立體深度檢測和顏色檢測),最後在大腦中構建出一幅視覺圖像的。

而卷積神經網絡在圖像處理的原理上和人類大腦處理相應的問題有異曲同工之妙。

此外,他還給大家展示了一段錄製於 1993 年的珍貴視頻——年輕的 LeCun 在一臺 486 PC 上編寫的光學字符識別系統。

同時,LeCun 給大家展示了他在 1995 年所見證的兩位機器學習前輩 Jackel 和 Vapnik(當時他們都在貝爾實驗室,Jackel 是 Vapnik 的上司)的兩個有趣賭局:第一個賭局中,Jackel 聲稱在 2000 年 3 月 14 日之前,我們就會有一個關於大的神經網絡為什麼有效的理論解釋,當然隨後的歷史證明他輸了;第二個賭局中,Vapnik 聲稱最遲到 2005 年 3 月 14 日之後,沒有人將會繼續使用 1995 年的這些神經網絡結構,結果 Vapnik 也輸了。

他同時表示:「深度學習的要點在於,不僅僅是去分類(classify),而是要代表(represent)這個世界,包括了我們的感知世界和個體世界。」

深度卷積神經網絡(Deep ConvNet)

之後,他又介紹了更進一步的深度卷積神經網絡(Deep ConvNet),在面部識別、無人駕駛等領域都發揮了很大的作用。

AI 領域進步的最大障礙——怎樣使機器獲得「常識」?

隨後,LeCun 開始討論 AI 的進步最大障礙:怎樣讓機器有常識。他列舉了以下幾點:

機器需要學習/理解世界運行的方式機器需要學習非常大量的背景知識機器需要理解世界的狀態機器學習更新和記憶對世界狀態的估計機器需要推理和規劃

所以,在他看來,智能&常識=感知+預測模型+記憶+推理和規劃。

他同時認為,常識就是有填補空白的能力,由此,機器必須有「預測」的能力,這也就是他所提出的預測學習(predictive learning)的概念,也就是從提供的任何信息預測過去、現在以及未來的任何一部分。或者,你也可以稱其為「無監督學習(unsupervised learning)」。

他同時用了一個例子為我們對比了「強化學習」、「監督學習」以及「無監督學習」之間的區別,我們可以看到他們在需要收集的信息量上有著很大的差距,但同時導致的學習結果也就不太相同。

經典基於模型的最優化控制過程(Classical model-based optimal control)

之後,Yann LeCun 介紹了經典基於模型的最優化控制過程(Classical model-based optimal control)。即利用初始控制序列對世界進行仿真,調整控制序列利用梯度下降法對目標進行最優化,再進行反向傳播。

隨後,他又為我們介紹了人工智慧系統的架構。他給出了一個公式:預測+規劃=推理。他表示,「智能」的本質就是要有預測的能力,我們需要提前計劃,去模擬這個世界,然後採取行動以最小化預測的損失。

最終得出結論:我們需要的是基於模型的強化學習(Model-based Reinforcement Learning)。

機器去學習能夠預測世界的模型

下面這一部分是關於機器如何學習能夠預測世界的模型。

實體神經網絡(RNN)

然後,他也介紹了「根據文本推斷世界的狀態:實體 RNN」

下面這部分談到了對具有記憶模塊的增強神經網絡(Augmenting Neural Nets)的使用

這部分談到了實體循環神經網絡(Entity Recurrent Neural Net)的作用:

維持一個對於當前世界狀態的估計每一個網絡都是一個帶有一個記憶的循環網絡每一個輸入事件都會導致記憶單元獲得一些更新

這裡提到了塑造能量函數(Energy Function)的 7 種策略

對抗訓練(Adversarial Training)

接下來的部分是關於對抗訓練((Adversarial Training)的,Yann LeCun 本人對對抗訓練給予高度肯定,他認為對抗訓練是改進機器預測能力的一種方式。

它的難點在於在不確定條件下進行預測

實踐中,通用型對抗網絡(Generative Adversarial Networks)是一個訓練機器預測能力新方法,它的特性可以轉化為一些更好、更敏銳、質量更高的預測模型。

為了展現這一點,LeCun 和他的團隊用各種圖片數據組訓練了 DCGAN,這些圖片採集了 ImageNet 數據組中一組特定圖像,比如所展示的臥室或者動漫人臉識別。

DCGAN 也能夠識別模式並將某些相似表徵放在一起。比如,在臉部圖像數據集中,生成器不理解什麼是微笑的意義,但是,它能發現人類微笑圖片的相似性,並將它們分為一組。

最後,LeCun 提到了基於語義分割的視頻預測技術及時間預測技術。

總結

總結一下,LeCun 首先為我們介紹了一下人工智慧領域這些年的發展,然後重點提及了無監督學習,他認為無監督學習會成為未來的主流。同時,他也認為機器必須要有預測未來的能力,而擋在這一過程中的最大障礙就是「常識」。後面,他也強調了對抗訓練((Adversarial Training)的價值,認為這項技術之後會發揮越來越大的作用。

而毫無疑問,對於所有對人工智慧感興趣的朋友來說,如果你沒能到場親自聆聽 LeCun 的演講,那我們在這裡也為你獨家準備了他的演講視頻,不要錯過喲。

相關焦點

  • Reddit熱議:AI教父Yann LeCun提出的「能量模型」到底是...
    這位開發者剛剛看完LeCun最新的主題演講,他說,Yann LeCun似乎是在建議訓練一個有條件的潛在變量模型,它可以根據輸入和潛在變量預測輸出(類似於pix2pix GAN或VAE);同時,它也可以處理圖像、視頻或者音頻等不同類型。但有關優化生成模型的方法有很多,比如OpenAI通過iGPT預訓練預測缺失像素,採用「對比預測編碼法」,通過對比損失來進行丟失信息預測。
  • 錢穎一評樓繼偉清華演講:理想必須堅持,關鍵時刻要衝在前面
    文|錢穎一  清華大學經濟管理學院院長  本文為2017年7月2日下午,清華大學經濟管理學院院長錢穎一對全國社會保障基金會理事長、財政部前部長樓繼偉清華經管學院2017畢業典禮演講的評論原文。  感謝樓繼偉學長的精彩演講。
  • 韓國總統樸槿惠在清華大學演講
    圖為清華大學國學研究院院長陳來向樸槿惠總統贈送禮物。胡和平表示,這份禮物表達了清華大學對樸槿惠總統來訪並發表演講的熱烈歡迎與感謝,表達了中韓兩國人民之間深厚的友好情誼,期待總統再次來清華訪問。記者 郭海軍 攝  此外,在得知樸槿惠總統酷愛閱讀中國哲學書籍後,清華校友、馮友蘭之女、著名作家宗璞女士特意委託馮友蘭先生的學生、清華大學國學研究院院長陳來教授轉贈樸槿惠總統一份特別的禮物。
  • 清華本科生陳逸賢在國際公眾演講比賽上獲得佳績
    清華本科生陳逸賢在國際公眾演講比賽上獲得佳績清華新聞網5月21日電 5月17日下午,國際公眾演講比賽在位於倫敦的英國皇家研究院(Royal Institution)落下帷幕,由清華大學外文系教授吳霞指導的物理系2017級本科生陳逸賢躋身世界六強,獲得並列第三名的好成績。
  • 2015極客公園創新大會大佬演講實錄匯總(中)
    2015極客公園創新大會(GeekPark Innovation Festival,GIF)暨2014中國網際網路創新產品評選閉幕了,很多的網際網路大佬參加、發表演講接受訪談,奇點大學創始人校長Ray Kurzweil、美團網創始人&CEO 王興、阿里UC總裁俞永福、小米聯合創始人&總裁林斌、百度李彥宏、京東劉強東、錘子科技羅永浩
  • 美國國家科學院院士毛河光清華演講
    美國國家科學院院士毛河光清華演講  清華新聞網1月12日電  1月9日,美國國家科學院院士、英國皇家科學院、中國科學院外籍院士毛河光做客清華大學海外名師講堂,發表了題為「中國物質科學崛起之捷徑——高壓下的新世界」的主題演講。清華大學校長助理施一公在演講前與毛河光進行了會談。
  • 【演講實錄】陳春花:以未來決定現在(北京大學國家發展研究院)
    在2016年10月15日下午由北京大學國家發展研究院主辦的「朗潤講堂:機遇與挑戰——暨2017年北京大學國家發展研究院EMBA招生說明會」上,北京大學國家發展研究院姚洋教授和陳春花教授帶來了一場精彩紛呈的演講,幫大家梳理和解決以上問題的困惑。
  • 「獨家」圖靈獎得主姚期智出任Pony.ai首席顧問,將打造自動駕駛...
    今年,百度副總裁、AI技術平臺體系總負責人王海峰、微軟全球資深副總裁,微軟亞洲網際網路工程院院長王永東等產業領袖已經確認出席大會並發表演講。谷歌、亞馬遜、BAT、訊飛、京東和華為等企業重量級嘉賓也已確認出席。9月裡北京的陽光並不比加州遜色多少,清華園裡色調溫暖而明快。樹蔭下斑駁的陽光半夢半醒地搖曳著,像是在迎接遠道而來的客人。
  • Yann LeCun:深度學習已死,可微分編程萬歲!
    編譯來源https://www.facebook.com/yann.lecun/posts/10155003011462143https://www.edge.org/response-detail/26794https://medium.com/@karpathy/software-2-0-a64152b37c35
  • 施一公請辭清華副校長 擔任西湖大學院長(附簡歷)
    攝影|張沫  獨家|施一公請辭清華大學副校長,  全職執掌西湖大學  經多方渠道證實,中科院院士、著名結構生物學家施一公已於近日請求辭去清華大學副校長職務。此消息已經得到施一公本人的證實,但他表示,在辭去副校長之後,他將繼續保留在清華的教授職務。
  • 清華學生在「21世紀杯」全國英語演講比賽中取得佳績
    清華學生在「21世紀杯」全國英語演講比賽中取得佳績並作為中國大學生的唯一代表參加國際比賽清華新聞網3月24日電 3月20-22日,在河南大學舉行的第20屆「21世紀杯」全國英語演講比賽中,由外文系吳霞教授指導的清華大學法學院14級傅書寧同學獲得「中國日報社21世紀報最具潛力獎」,並獲得大賽亞軍。
  • 世界電商大會重磅演講:電商進化從「人工智慧+」開始(附演講實錄)
    碼隆科技聯合創始人兼CEO黃鼎隆博士,攜人工智慧技術平臺ProductAI亮相主題演講環節,以《電商進化:從「網際網路+」邁向「人工智慧+」》為主題進行了分享。丨如下為演講紀實丨大家好,我是碼隆科技的黃鼎隆,很榮幸今天有這個機會來跟各位聊一聊人工智慧。大家經常會看到近幾年特別火的一個名詞,叫做「網際網路+」。
  • 河北金力新能源材料科技有限公司榮強演講實錄
    2012全球新能源汽車大會1月10日在海南博鰲隆重開幕,河北金力新能源材料科技有限公司總工榮強就題為《新二代高能量密度隔膜開發,第二代納米磷酸鐵鋰開發》發表了主題演講。以下為其演講全文實錄:今天我給大家匯報的這個題目是高能量密度的隔膜開發和第二代磷酸鐵鋰的開發,匯報的內容主要五個部分,第一部分是我們隔膜的開發是朝高分子兩溼法隔膜和高安全耐熱隔膜的開發,第二個是隔膜應用的測試,第三部分是納米磷酸鐵鋰開發,最後鐵鋰的測試最後簡單介紹一下我們公司的情況,我們看一下隔膜的開發。
  • 新聞資料:清華大學與名人演講
    新華網北京5月11日電(記者 劉江 李江濤)親民黨主席宋楚瑜11日在北京清華大學發表演講。作為與北京大學齊名的中國著名高等學府,清華大學以其悠久的歷史和傑出的學術聲譽,吸引大量國內外政要、商賈和名流前來訪問和演講。
  • 35名演講嘉賓!Facebook Connect大會主題演講安排官宣
    近日,Facebook在官網公開了本屆大會的主題演講安排。 據官網信息顯示,本屆大會共有35名以上的演講嘉賓,15場以上的會議,包括已經離開的John Carmack(約翰·卡馬克)的即興演講、Unity和Unreal展示、將內容移植到Quest的注意事項等。
  • 清華年度演講震撼無數人! 哪有什麼天生學霸, 一切都只是厚積薄發...
    原標題:清華年度演講震撼無數人! 清華學生狄迪用平凡的語言, 講述了一個個年度人物不平凡的故事。 演講完整視頻 他們中有科研大牛,博士四年已發表頂級期刊Science論文6篇、Cell論文2篇。
  • 21世紀英語演講比賽冠軍諸康妮精彩演講(視頻)
    新東方網>英語>英語學習>英語聽力>聽力視頻>演講視頻>正文21世紀英語演講比賽冠軍諸康妮精彩演講(視頻) 2012-05-11 11:28 來源:滬江英語網 作者:
  • 為保護動物權益發聲 新加坡10歲華人女生演講走紅
    為保護動物權益發聲 新加坡10歲華人女生演講走紅     關愛動物研究教育協會義工陳盈竹星期二在區域研討大會上發表主題演講
  • 業界丨北大率先官宣朱松純教授加盟,現身燕園,任職AI研究院院長
    據北大新聞網9月24日消息,朱松純教授受聘北京大學講席教授、人工智慧研究院院長。根據北大新聞網9月24日報導:北京大學人工智慧研究院工作會議在英傑交流中心星光廳召開,北京大學講席教授、人工智慧研究院院長朱松純出席。
  • 清華學霸演講:哪有天生學霸 一切都是厚積薄發
    今天,微博上一位清華學霸的演講火了。這段視頻的演講者狄迪,是清華大學碩士生。他通過幾位學霸同學的事跡,向我們展示出清華人敢於擔當、自信的一面。短短11分鐘視頻,你可以迅速接觸到數位清華學霸!厲害了,學霸!視頻中的學霸,是2017清華大學學生年度人物。