研究了個寂寞?Reddit熱議:AI教父Yann LeCun提出的「能量模型...

2020-12-16 雷鋒網

「能量自監督學習到底是什麼鬼？」不少Reddit網友評論說。

剛剛，深度學習教父Yann LeCu登上了Reddit熱搜。一位不知名的開發者發表了一篇題為「Yann LeCun提出基於能量的自監督學習到底是什麼」的帖子，引發眾多網友討論。

討論的焦點之一是，基於能量的自監督學習模型能做什麼？有什麼優勢或意義？

這位開發者剛剛看完LeCun最新的主題演講，他說，Yann LeCun似乎是在建議訓練一個有條件的潛在變量模型，它可以根據輸入和潛在變量預測輸出（類似於pix2pix GAN或VAE）；同時，它也可以處理圖像、視頻或者音頻等不同類型。

但有關優化生成模型的方法有很多，比如OpenAI通過iGPT預訓練預測缺失像素，採用「對比預測編碼法」，通過對比損失來進行丟失信息預測。這些方法在實際應用中均取得不錯的成果。

相比之下，基於能量的自監督學習好像並沒有特別之處，也沒有相關的成功應用案例。

Reddit上，超過95%的網友對這一觀點表示了贊同。

另外，還有一位網友透露，最近3-4年很多專家都對它很著迷，他們認為基於能量的模型是深度學習的『未來』。

那麼，代表ML未來的『能量模型』到底是什麼？

AI的未來：『能量』SSL模型

Yann LeCun，是2018年圖靈獎得主之一，與Geoffrey Hinton 和 Yoshua Bengio二人被合稱為深度學習三巨頭。同時，他自己也被稱為「CNN之父」。

LeCun在在業界和學術界頗具影響力。目前，他在Facebook公司擔任人工智慧研究院院長一職，同時也在紐約大學、Courant 數學科學研究所、神經科學中心和電氣與計算機工程系等擔任要職。

2019年11月，LeCun代表Facebook參加了《Using Physical Insights for Machine Learning》主題研討會，並發表了名為《基於能量的自監督學習（Energy-Based Self-Supervised Learning）》的主題演講。

在這篇演講中，LeCun詳細介紹了基於能量的學習方法在解決現有挑戰方面的可能性。

近幾年，深度學習在計算機感知、自然語言理解和控制方面取得了重大進展。但這些成功在很大程度上都依賴於監督學習或無模型強化學習。其中，監督學習是從標記的訓練數據來推斷一個功能的機器學習任務。強化學習分為有模型和無模型兩種策略，前者區別與後者的特點是，有模型的方法主要學習前向狀態轉移模型p(st+1|st,at)，而無模型方法則不是。

從現有研究來看，無論是監督學習，還是無模型強化學習都存在明顯的局限性。前者需要人類提供大量數據標籤，後者需要機器學習動作回報最大化。

也就是說，監督學習只適用於特定任務，即使是學習簡單的任務；強化學習也需要與環境進行大量的交互。例如，它在遊戲和仿真工作中十分有效，但在現實世界很難奏效。

但如果存在一款模型能夠像人類或動物那樣，只需要少量觀察和互動就能學習大量與任務無關的知識，那麼這些現實困境就可以被很好的解決。而這款模型必須依靠自監督學習（Self-Supervised Learning，簡稱SSL）方法。

LeCun認為，SSL是深度學習的『未來』，基於能量的SSL可以在迴避概率的同時處理不確定性。以下是基於能量的SSL模型：

標量值能量函數F（x，y）可以被測量，包括：

測量x和y之間的兼容性。低能量：y是x的最佳預測高能量：y是x的最差預測同時，它也有無條件的模型版本。

在訓練方面，首先將能量函數參數化，在獲取訓練數據，最後計算出新Shape。這個過程通常有兩種方法，一是對比法（Contrastive Methods），二是建構法（Architectural Methods）。

其中對比法涉及三種策略：

C1：數據點能量下推，其它位置上推：最大似然（Max likelihood）。

C2：數據點能量下推，選擇位置上推：最大似然和MC/MMC/HMC，對比散度，度量學習，噪聲對比估計，比率匹配，噪聲對比估計，最小概率流，對抗生成器GAN

C3：訓練一個函數，將數據流形上的點映射到數據流形上的點：去噪自動編碼器，屏蔽自動編碼器（如BERT）

建構法涉及三種策略：

A1：建立機器使低能量物質的體積有界：PCA，K-均值，高斯混合模型，平方ICA。

A2：使用正則化項來度量具有低能量的空間體積：稀疏編碼、稀疏自動編碼器、LISTA、變分自動編碼器

A3：F（x，y）=C（y，G（x，y）），使G（x，y）相對於y儘可能「恆定」：收縮自動編碼器，飽和自動編碼器。

A4：最小化梯度，最大化數據點周圍的曲率：分數匹配

在此基礎上，LeCun還演示了關於視頻預測的應用實例。他表示，無監督學習會成為未來的主流，能解決我們的學習系統難以處理的眾多問題，研究無監督和預測性前向模型（predictive forward model）的建立，也會是接下來幾年的挑戰。

（文末獲取LeCun完整PPT內容）

網友評論：『能量』的意義在哪？？

實際上，LeCun的能量SSL理論還處在「ppt階段」。

目前還未有大量的成功應用案例，而他在PPT中也僅演示了自動駕駛預測視頻的結果。一位網友表示，他曾利用能量SSL模型做過一項測試。

如上文所述，在能量函數F（x，y）最小化上，LeCun提供了兩種訓練方法：對比法和和建構法。但在這個過程中，他認為有多個不合理之處。比如：自動編碼器的潛在變量在哪裡？按構造，有沒有事先分配樣本的潛在權利？

如果訓練的每一個SSL模型都可以解釋為基於潛在變量的能量模型，這可能是不正確的。如果拋開潛在變量，認為每個模型都是基於能量的模型，可以勉強接受，但這還有什麼意義呢？

它僅僅能夠作為一種解釋性理論，似乎並不具備應用的價值。

還有一位網友表示，LeCun所作的可能是一項「基礎性研究」，就像Hinton研究膠囊網絡（CapsulesNet）一樣。基礎性研究成功的可能性很低，通常是其他人在此研究之上開創應用。

另一位網友表示，Yann基於能量的學習方法確實啟發了基於深層能量的強化學習（RL）研究，軟演員-評論家（Soft Actor-Critic，SAC）模型已經在多個RL基準上實現了SOTA。

那麼，你同意這位網友的看法嗎？你認為『能量模型』的價值在哪裡？

PPT文件：http://helper.ipam.ucla.edu/publications/mlpws4/mlpws4_15927.pdf

演講視頻：https://www.youtube.com/watch?v=A7AnCvYDQrU&feature=youtu.be&t=2169

https://www.reddit.com/r/MachineLearning/comments/kc8ruw/d_what_exactly_is_yann_lecuns_energy_based/

http://www.ipam.ucla.edu/programs/workshops/workshop-iv-using-physical-insights-for-machine-learning/?tab=schedule

雷鋒網雷鋒網雷鋒網

相關焦點

  • 研究了個寂寞?Reddit熱議:AI教父提出的能量模型到底是個啥?
    「能量自監督學習到底是什麼鬼？」不少Reddit網友評論說。剛剛，深度學習教父Yann LeCu登上了Reddit熱搜。一位不知名的開發者發表了一篇題為「Yann LeCun提出基於能量的自監督學習到底是什麼」的帖子，引發眾多網友討論。
  • 今天的卷積網絡,Yann LeCun在93年就已經玩得很溜了
    手寫數字識別是很多人入門神經網絡時用來練手的一個項目，但就是這麼簡單的一個項目，最近在 reddit 上又火了一把，因為在 MIT 計算機科學和人工智慧實驗室，有人挖到了一個「祖師爺」級別的視頻……這段視頻錄製於 1993 年，主人公是圖靈獎得主 Yann LeCun（楊立昆）。
  • 深度學習先驅Yann LeCun被罵退推特:你們都很懂,從此我不說話了
    但本質上看，PULSE 並不是在消除馬賽克，而是「生成」了看上去真實卻並不存在的人臉。超解析度算法一直是計算機科學的熱門研究領域，以往科學家們提出的還原方法是在低解析度圖片中添加像素點。但 PULSE 使用 GAN 的思路，先利用深度學習算法生成一些高清圖片，再降低它們的解析度，並與模糊的原圖對比，從中找出匹配程度最高、最接近原圖的高清圖像隨後輸出。
  • 吳恩達等 AI 大佬發表新年寄語
    因此提出了國家研究雲，每年將投入 10-100 億美元增強學術界、政府和企業間的夥伴關係。 她還談到，人工智慧是個雙刃劍，確保 AI 安全、公平、尊重民主社會的基本價值觀，保護個人隱私並造福全人類，仍然存在許多挑戰。振興 AI 研究的健康公共生態系統是這項工作的關鍵部分。
  • 新研究提出StarNet,基於點的對象檢測模型|一周AI最火學術
    數據集連結：https://medium.com/ai%C2%B3-theory-practice-business/the-first-and-only-dataset-containing-the-full-autonomous-vehicle-sensor-suite-677e13449c8f更新的數據集現在具有完整的傳感器套件（1個雷射雷達，5個雷達
  • Reddit年度盤點:2019年最佳機器學習項目
    為了幫助篩選 2019 年一些令人難以置信的項目、研究、演示等，下面我們將介紹 17 個在機器學習領域最受歡迎、被討論最多的項目，這些項目由 r/MachineLearning subreddit 策劃。
  • AI戰「疫」:百度開源業界首個口罩人臉檢測及分類模型
    大災面前，這家科技公司可謂用行動回應了民政部司長陳越良的呼籲：「一個有益的公益軟體比捐 10 個億還管用！」業內首度開源口罩人臉檢測及分類模型口罩人臉檢測及分類模型，由兩個功能單元組成，可以分別完成口罩人臉的檢測和口罩人臉的分類。
  • LSTM提出者:我看未必
    「基於能量的學習已經存在了一段時間，最近一段時間裡，因為尋求更少監督的方法，它重新回到了我的視野中。」Yann LeCun 在 2019 年 10 月於普林斯頓大學的演講中說道。Hopfield 網絡是一種 RNN 模型，由 John Hopfield 於 1982 年提出。它結合了存儲系統和二元系統，保證了向局部極小值的收斂，但收斂到錯誤的局部極小值而非全局極小值的情況也可能發生。Hopfield 神經網絡對上世紀 80 年代初神經網絡研究的復興起到了重大作用。
  • 「熱大爆炸宇宙學模型」的創立者最早提出「遺傳密碼模型」
    上個世紀40年代「大爆炸模型」雖然有哈勃等人的觀測證據，有弗裡德曼和勒邁特等人的理論支撐，但是依然有很多人是反對的，為了使「大爆炸模型」被廣泛地接受，有一個問題是不容忽視的，那就是——為什麼有些元素比其他元素更常見！
  • 李飛飛團隊最新研究:「四步」AI方案助老人抵抗新冠肺炎
    李飛飛在接受採訪時表示，「我們將使用聯合學習，以無監督的方式對每個邊緣設備上的模型進行更新，以適應新環境並提高魯棒性。通過使用聯合學習，我們希望通過將攻擊面僅限於設備，而不是設備和雲來降低個人隱私和安全風險。」此外，李飛飛還分享了包括感染檢測、移動性分析、睡眠模式分析和飲食模式分析等四個不同場景的應用模式，以解釋人工智慧傳感器如何協助醫療護理人員和家人，幫助和保護老年人。
  • Yann LeCun宣布告別推特,成首個被罵退的圖靈獎得主
    這項研究在CVPR 2020上發表，論文標題為《PULSE：Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models》。效果大概是這樣的：這本來是一項挺不錯的技術，但是一次試驗卻引發了爭議。
  • NLP和其他ML項目的10個最佳 Reddit 數據集
    Reddit 版主嚴格審查和管理子目錄，即子reddit。然而，匿名允許人們以他們想要的方式來表達他們想要的東西。因此， Reddit 評論和帖子完美適用於測試和訓練自然語言處理（ NLP ）模型。警告：下面的一些數據集是專門為訓練內容管理模型而編制的。因此，數據可能包括顯式內容。
  • 「黑人女性的論文不被重視?」LeCun被罵退推後,輪到Jeff Dean了
    主要研究方向是概率圖形建模和深度學習結合，為結構化的高維數據（如文本）設計模型。從2017年起，Adji連續幾年在ICLR、NeurIPS等頂會參與組織workshop，主要方向是深度生成模型和結構化數據。2018年，Adji在Facebook AI 的LeCun小組中做實習生。
  • 1個AI 模型=5 輛汽車終身碳排量,AI 為何如此耗能?
    但你是否知道， 訓練 一個 AI 模型需要經歷什麼，它的能量消耗又有多少？該模型使用了來自維基百科和其他文章的 33 億個單詞，而且在整個訓練期間，BERT 讀取了該數據集 40 次。相比之下，一個 5 歲的孩子學說話只需要聽到 4500 萬個單詞，比 BERT 少3000倍。
  • AIOpen 預訓練語言模型專刊徵稿
    2018 年 ELMo、BERT 和 GPT 的成功發布，表明了預訓練語言模型（PLM）的成功，隨後又在自然語言理解和生成方面取得了重大突破。目前，在探索更有效的預訓練架構方面，已經做了很多卓有成效的工作，比如使用跨模態數據、跨語言數據和結構化知識等方法改進預訓練語言模型，或將 PLM 創新地應用於各種與 NLP 相關的任務。
  • 中國提出的AI方法影響越來越大,天大等從大量文獻中挖掘AI發展規律
    2 數據在我們文獻挖掘的研究過程中，需要用到大量的文獻數據，因此，本節首先介紹了我們收集的文獻數據。此外，在研究過程中，我們需要用到兩個機器學習模型。因此，本節對這兩個模型的訓練數據也分別進行了介紹。3.2.3 評估結果利用原始樣本與其對應的小寫化後的樣本對模型進行訓練。在測試時，我們分別對測試樣本（1040 個句子）及其對應的 1040 個小寫化後的樣本進行測試。AI 標記抽取模型的評估結果如表 3 所示。
  • Google AI:如何破解AI學術研究的贏者詛咒?
    下面是過去一年中幾個研究組的一些發現：[2] 註：消融研究，通常是指去除模型或算法的某些「特徵」，並查看這會如何影響性能。例如你提出了某個結構，若想確定這個結構是否有利於最終的效果，就要將去掉該結構的網絡與加上該結構的網絡所得到的結果進行對比。Lucic et al.(2017) 對 GAN 的近期創新工作進行了大規模實證比較。
  • 谷歌AI團隊新發布的BERT模型,BERT的創新點在哪裡?
    最近谷歌研究人員通過新的BERT模型在11項NLP任務中奪得STOA結果，這在自然語言處理學界以及工業界都引起了不小的熱議。 作者通過在33億文本的語料上訓練語言模型，再分別在不同的下遊任務上微調，這樣的模型在不同的任務均得到了目前為止最好的結果，並且有一些結果相比此前的最佳成績得到了幅度不小的提升。
  • 10位AI大牛暢想2020:李開復看好醫療教育 LeCun強調自監督學習
    吳恩達DeepLearning.ai旗下的THE BATCH刊物，分享了包括Yann LeCun、李開復、周志華、還有他們的老闆吳恩達在內的10位AI大佬的新年寄語，以及對AI在2020年能有什麼突破的「新年願望」。