圖靈獎得主辛頓談無監督學習問題根源：忽略數據間關聯捕捉

2020-07-29 澎湃新聞

澎湃新聞記者 張唯

7月27日上午，近來鮮少露面的圖靈獎獲得者、多倫多大學計算機科學系名譽教授傑弗裡·辛頓（Geoffrey Hinton）在第43屆國際信息檢索大會（SIGIR 2020）上作為首位主題演講者，進行了題為「神經網絡的新時代（The Next Generation of Neural Networks）」的主題報告。

他在報告中回顧了無監督神經網絡的發展歷史，結合表達學習模型的進化歷程，指出當前無監督學習方法所面臨問題的根源在於：過度關注數據的重構損失（Reconstructive Loss），忽略了對數據間關聯關係的捕捉。

基於此，他提出了下一代神經網絡模型的構想，提出利用對比損失函數（Contrastive Loss）建模樣本間的局部關係、增強數據間表達的一致性的解決思路。

圖靈獎得主辛頓談無監督學習問題根源：忽略數據間關聯捕捉

傑弗裡·辛頓演講視頻截圖

傑弗裡·辛頓被稱為「神經網絡之父」，出生於1947年12月6日，是加拿大認知心理學家和計算機科學家。辛頓1970年畢業於劍橋國王學院，隨後在英國愛丁堡大學獲得人工智慧博士學位。2019年3月，因對人工智慧的繁榮發展奠基，傑弗裡·辛頓、約書亞·本吉奧（Yoshua Bengio）和楊立昆（Yann LeCun）三人被授予2018年的圖靈獎。

值得一提的是，傑弗裡·辛頓近來很少在公開演講中出現。2020年6月18日，他在個人推特上表示，因為發現之前對感知學習想法的「致命錯誤」，推掉了一段時間內接受的所有報告。

傑弗裡·辛頓在7月27日的報告中回顧了三種不同類似的學習模式，即監督學習（學習在給定輸入向量時預測輸出）、強化學習（學習找出一個能夠使收益最大化的選擇）和無監督學習（在不提供監督信息的條件下進行學習）。

辛頓在報告中解釋為什麼需要無監督學習。他指出，人類大腦有10^14個神經元連接，而生命的長度只有10^9秒，因此人類是無法完全依賴有監督學習的方法完成所有神經元訓練，而需要更多來自於無監督學習的幫助，受此啟發，構建智能的機器模型也應綜合考慮監督與無監督方法進行協同訓練。

報告最後，他還展示了上述構想的一種具體實現方案SimCLR，應用該方案能夠顯著提升下遊圖像分類任務的效果。

責任編輯：李躍群

校對：丁曉

相關焦點

  • SIGIR2020|圖靈獎得主Hinton：無監督對比學習將是神經網絡的未來
    【新智元導讀】7月27日上午，第43屆國際信息檢索大會（SIGIR 2020）線上開啟，圖靈獎得主Geoffrey Hinton作了主題演講，今天我們就跟隨Hinton一起走進「神經網絡的新時代」。人工神經網絡一直懸而未決的問題是如何像大腦一樣有效地進行無監督學習。
  • ACM宣布深度學習三巨頭共同獲得圖靈獎
    【網易智能訊3月28日消息】昨日晚間，ACM（國際計算機學會）宣布，有「深度學習三巨頭」之稱的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎，這是圖靈獎1966年建立以來少有的一年頒獎給三位獲獎者。
  • 圖靈獎得主稱自監督學習可使AI達到人類智力水平
    圖靈獎得主Yoshua Bengio和Yann LeCun在本屆2020 ICLR大會上發表觀點稱，自監督學習有望使AI產生類人的推理能力。Bengio相信機器最終將習得關於這個世界的各種知識，不需要機器去親身體驗，而是通過習得語言化的知識來實現。
  • 2018年圖靈獎發布 三位人工智慧先驅獲獎
    3月27日，ACM（美國計算機協會）宣布，有「深度學習三巨頭」之稱Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎，這是圖靈獎1966年建立以來少有的一年頒獎給三位獲獎者。ACM同時宣布，將於6月15日在舊金山舉行年度頒獎晚宴，屆時正式給獲獎者頒獎，獎金100萬美元。
  • 這7位圖靈獎得主
    這7位圖靈獎得主，竟然今日才入選ACM Fellow，他們可是程式設計師「祖師爺」7位圖靈獎得主計算機科學許多基礎研究的關鍵是ACM研究員。要知道，ACM—美國計算機協會是世界著名的重要計算機組織，會員是其重要榮譽之一。計算機領域的諾貝爾獎由ACM頒發。今天（2021年1月14日），當ACM新選出的研究員名單公布時，七位靈魂獎得主的名單令人驚訝。
  • 2018圖靈獎授予三位「AI教父」,十年三次榮獲計算機界諾獎
    這是十年來圖靈獎第三次被授予機器學習領域傑出貢獻者：2011年圖靈獎獲得者朱迪亞?珀爾通過發展概率論和因果推理微積分為人工智慧的發展做出了巨大貢獻。Leslie Gabriel Valiant於2010年獲得圖靈獎。他為計算理論的發展做出了革命性的貢獻，包括PAC學習理論、並行和分布式計算理論。
  • 全球首位圖靈獎女性得主去世，曾呼籲更多女性學習計算機
    唯一女性圖靈獎得主去世，圖靈獎是什麼？近日，地球上唯一的一位女性圖靈獎得主艾倫去世，享年88歲，不少國外的媒體評論，這是計算界的一次重大損失，那麼艾倫曾經都為計算機行業做出過哪些貢獻呢？所謂的圖靈獎又是嘉獎了什麼？
  • 世界首位女性圖靈獎得主去世，她有哪些驚人成就？
    法蘭艾倫這一生創造了兩個「女性第一」，她既是 IBM 首位女性院士，也在2007年成為首位女性圖靈獎得主。她於1966年發表的論文「程序優化」為系統分析和轉換電腦程式奠定了概念基礎；她在1970年發表的論文「控制流分析」和「程序優化的基礎」確定了「間隔」作為高效數據流分析和優化的背景；她在1973年和1974年發表的有關過程間數據流分析的論文將分析擴展到整個程序；她1976發表的論文描述了當今用於優化編譯器的兩種主要分析策略之一；Allen在IBM STRETCH-HARVEST和Advanced Computing
  • 特邀報告丨圖靈獎得主John E. Hopcroft教授
    10月16日，由中國人工智慧學會、重慶市人工智慧學會主辦，重慶郵電大學、科大訊飛股份有限公司承辦的「2020大數據智能化發展暨人工智慧創新發展高峰論壇之信息科技前沿論壇」在重慶郵電大學成功召開。圖靈獎得主、美國科學院/美國工程院/美國藝術與科學院院士、中國科學院外籍院士、美國康奈爾大學John E.
  • 圖靈獎得主姚期智:深度學習、神經網絡、密碼學……人工智慧絕對是...
    本次大會共邀請到海內外近600位重磅嘉賓，涵蓋產學研用多個領域，包括7位圖靈獎得主、1位諾貝爾獎得主、39位院士在內的200多位專家學者以及國內外頂尖人工智慧企業領袖。在為期3天的活動中，他們將分享關於行業發展和人類未來的最新思考。
  • 19位諾貝爾獎、圖靈獎及菲爾茲獎得主
    19位諾貝爾獎、圖靈獎、菲爾茲獎得主，以及7位中國科學院、中國工程院、國際歐亞科學院院士匯聚山城，展開一場精彩的智慧碰撞。 　　此次峰會是2019智博會重要活動之一，由重慶市人民政府主辦，重慶市科學技術局、重慶兩江新區管理委員會承辦，上海交通大學科學技術發展研究院協辦。
  • 姚期智:圖靈獎得主
    圖靈獎創立以來首位獲獎的華裔學者。清華大學教授。　　圖靈獎得主姚期智印象　　文/劉冬梅 圖/高海濤2000年，美國計算機學會把該年度的圖靈獎（公認為計算機領域諾貝爾獎）授予他，使他成為自圖靈獎創立以來首位獲獎的華裔學者。　　2004年9月，姚期智正式加盟清華大學，任高等研究中心全職教授。他說，之所以要成為清華大學的全職教授，是因為他對清華有信心，也希望清華人看到他的信心。對自己的清華學生，姚期智只有一個要求：做世界一流的工作！
  • 你知道圖靈獎獲獎者都有誰嗎?
    你知道圖靈獎獲獎者都有誰嗎？圖靈獎,由美國計算機協會（ACM）於1966年設立，它是計算機界最負盛名、最崇高的一個獎項，有「計算機界的諾貝爾獎」之稱。那麼第四十一屆到第五十屆圖靈獎獲獎者究竟有誰呢？小編帶你來了解一下他們。
  • 給圖靈獎得主當「皮條客」的億萬富翁,與他操縱的科學網絡
    愛潑斯坦的「科學朋友圈」令人震驚，他與史蒂芬·霍金、喬治·丘奇、史蒂芬·平克等聲名顯赫的科學家在不同場合談笑風生，也向麻省理工學院、哈佛大學捐款資助科研；已故的人工智慧先驅、圖靈獎得主馬文·明斯基，則直接被指控經由愛潑斯坦組織，性侵未成年少女……通過金錢與性交易，愛潑斯坦編織起複雜的人際關係網，並試圖在科學這個特定的圈層中施加自己的影響力。
  • NeurIPS 2019讓圖靈獎得主做你的導師
    NeurIPS 2019讓圖靈獎得主做你的導師 滾動企業創業科技品牌商業創新信息商訊行動商業合作：17733203660投稿NeurIPS無門路？
  • 直擊諾獎 | 歷年諾獎得主帶你親歷最強大腦的頂級書單
    在本書中，作者引入了一種被稱為「背包問題」的研究方法，並探討了他在設計激勵性拍賣設計中遇到的問題以及的理論思考。本書將拍賣理論與實踐相結合，為經濟學家解決日益複雜的資源配置問題提供了重要性的新視角和新工具。2019諾貝爾經濟學獎得主：班納吉；迪弗洛
  • 7位圖靈獎得主當選,新晉多位華人,2020 ACM Fellow公布
    在 95 名入選者中，包括多位華人，如杜克大學教授陳怡然、浙大教授任奎等，更有多名圖靈獎得主當選，可謂星光熠熠。此外，他尤其熱衷於研究資料庫、機器學習和理論計算機科學三者交叉產生的問題。他分別於 2013 年和 2015 年獲得了 SIGMOD 最佳論文獎，2016 年當選為 ACM 傑出科學家，2018 年獲得 PODS 最佳論文獎和 SIGMOD 突出研究獎。
  • 這7位圖靈獎得主才入選ACM Fellow,他們可是程式設計師「祖師爺」
    所以就在今天（2021年1月14日），當ACM的新入選Fellow名單公布，7位圖靈獎得主在列的事實，令人意外。而量子位進一步獲悉，原來這還是今年ACM專門新增了「特殊通道」，才讓這7位圖靈獎得主集體入選Fellow。他們當中有Unix作業系統、Go語言發明者，也有快速排序算法的提出者，堪稱程式設計師們的「祖師爺」陣容。
  • 圖靈獎得主姚期智:人工智慧算法的有限性有哪些
    巔峰贅婿原標題：圖靈獎得主姚期智：人工智慧算法的有限性有哪些「人工智慧（AI）對我們人類的生活帶來的巨大影響，已經非常顯而易見，但實際上AI還有一些目前無能為力的領域。我們需要思考的是，現在AI算法的限制是什麼，它的有限性在哪裡？接下來在機器學習以及AI的發展之中，還有哪些需要實現突破的地方？」