最新視頻!Geoffrey Hinton SIGIR 2020開幕演講:神經網絡新時代

2020-08-27 智源研究院

7月27日上午,在智源社區全程直播的第43屆國際信息檢索大會(SIGIR 2020)開幕式上,圖靈獎獲得者Geoffrey Hinton教授作為首位主題演講者進行了題為「神經網絡的新時代(The Next Generation of Neural Networks)」的主題報告。


報告中,Hinton教授指出:人類大腦有10^14個神經元連接,而生命的長度只有10^9秒,因此人類是無法完全依賴有監督學習的方法完成所有神經元訓練,而需要更多來自於無監督學習的幫助,受此啟發,構建智能的機器模型也應綜合考慮監督與無監督方法進行協同訓練。



他首先回顧了無監督神經網絡的發展歷史,結合從LLE、LRE到t-SNE等表達學習模型的進化歷程,指出當前無監督學習方法所面臨問題的根源在於過度關注數據的重構損失(Reconstructive Loss),而忽略了對數據間關聯關係的捕捉。基於此,他提出了下一代神經網絡模型的構想,提出利用對比損失函數(Contrastive Loss)建模樣本間的局部關係、增強數據間表達的一致性的解決思路。


最後,他還展示了上述構想的一種具體實現方案SimCLR,應用此方案能夠顯著提升下遊圖像分類任務的效果(如下圖所示)。



作為 CCF 推薦的 A 類國際學術會議,SIGIR 歷來都是網際網路業內關注的焦點,會議覆蓋了信息檢索領域相關的各類前沿成果,包括基礎理論、算法應用以及評估分析。接下來,本次會議還將安排包括中科院院士徐宗本教授、ACM Fellow Ellen M. Voorhees博士、Salton Award獲得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亞科學院院士陶大程教授在內的五位專家學者進行相關主題報告。


本次SIGIR線上會議系統由智源(社區)技術團隊提供全程技術支持:

  • 智源社區自研活動平臺投入
  • 基於主辦方需求提供定製化服務
  • 直播服務覆蓋線上全周期,支持用戶下載本地日程提醒,免登錄在線觀看直播和回放,同時支持付費用戶線上參與討論及進入直播間與講者連麥互動
  • 提供穩定性保障,支持萬人量級觀眾同時觀看



SIGIR會議直播地址:

https://sigir-schedule.baai.ac.cn


SIGIR會議直播系統由智源(社區)技術團隊提供全程技術支持。會議期間支持用戶下載本地日程提醒,在線觀看直播和回放,同時支持付費用戶線上參與討論及進入直播間與講者連麥互動。


點擊閱讀原文,進入智源社區參與更多討論。


相關焦點

  • SIGIR2020|圖靈獎得主Hinton:無監督對比學習將是神經網絡的未來
    【新智元導讀】7月27日上午,第43屆國際信息檢索大會(SIGIR 2020)線上開啟,圖靈獎得主Geoffrey Hinton作了主題演講,今天我們就跟隨Hinton一起走進「神經網絡的新時代」。人工神經網絡一直懸而未決的問題是如何像大腦一樣有效地進行無監督學習。
  • 從「神經網絡之父」到「人工智慧教父」|Geoffrey Hinton的傳奇...
    本文主要圍繞「神經網絡之父」Geoffrey Hinton。    Geoffrey Hinton,被稱為「神經網絡之父」、「深度學習鼻祖」,他曾獲得愛丁堡大學人工智慧的博士學位,並且為多倫多大學的特聘教授。在2012年,Hinton還獲得了加拿大基廉獎(Killam Prizes,有「加拿大諾貝爾獎」之稱的國家最高科學獎)。
  • 今晚AAAI線上分享加州大學伯克利分校:Hessian矩陣下的神經網絡
    最新一期機器之心 AAAI 2020 線上分享,我們邀請到了加州大學伯克利分校 Zhewei Yao 博士為我們介紹將二階方法用於訓練深度神經網絡的最新成果。這是一期硬核的線上分享。今年春節後不久,人工智慧學術頂會 AAAI 2020 就將於美國紐約開幕。為向讀者們介紹更多 AAAI 2020 優質論文,機器之心組織策劃了 AAAI 2020 線上論文分享。
  • Hinton AAAI2020現場演講:這次終於把膠囊網絡做對了
    :2020 年 2 月 9 日,AAAI 2020 的主會議廳講臺上迎來了三位重量級嘉賓,這三位也是我們熟悉、擁戴的深度學習時代的開拓者:Geoffrey Hinton,Yann LeCun,Yoshua Bengio。
  • 73歲Hinton老爺子構思下一代神經網絡:屬於無監督對比學習
    受人腦的啟發,他和其他研究者提出了「人工神經網絡」(artificial neural network),為機器學習研究奠定了基石。那麼,30 多年過去,神經網絡的未來發展方向在哪裡呢?Hinton 在此次報告中回顧了神經網絡的發展歷程,並表示下一代神經網絡將屬於無監督對比學習。
  • SIGIR 2020開幕在即,一文詳解過去五年引用量TOP論文
    信息檢索領域的頂級學術會議 ACM SIGIR 2020,將於今年 7 月 25-30 日全程在線舉行。作為 CCF 推薦的 A 類國際學術會議,SIGIR 歷來都是網際網路業內關注的焦點。AMiner 上線了 SIGIR 2020 最新專題,收錄了今年錄用的所有論文,並對過去歷年來 SIGIR 的錄用論文數據進行了分析,後期還將陸續推出論文數據分析與論文精讀等內容,為大家詳解 SIGIR 2020 最新動態。
  • 2019中國企業領袖年會開幕主旨演講
    12月8日,2019(第十八屆)中國企業領袖年會開幕
  • 圖神經網絡快速爆發,最新進展都在這裡了
    近年來,圖神經網絡(GNNs)發展迅速,最近的會議上發表了大量相關的研究論文。本文作者正在整理一個GNN的簡短介紹和最新研究報告的摘要。希望這對任何準備進入該領域或試圖趕上最新技術進展的人有所幫助。什麼是圖神經網絡?圖是一種包含節點(頂點)的數據類型,這些節點(頂點)通過邊相互連接,邊可以是有向的,也可以是無向的。
  • DeepMind最新發現!神經網絡的性能竟然優於神經符號模型
    ——根據研究人員的最新發現,神經網絡對數據的要求,居然比神經符號模型還要低!不僅如此,實驗結果證實,神經網絡的在關鍵任務上的效果還要更好。不需要預先訓練,完全無監督,居然這麼神奇?按照之前的常識,結合了算法和符號推理技術的神經符號模型(Neurosymbolic Models),會比神經網絡更適合於預測和解釋任務,此外,神經符號模型在反事實方面表現更好。
  • 斯坦福教授ICLR演講:圖網絡最新進展GraphRNN和GCPN(附PPT下載)
    >【新智元導讀】圖網絡領域的大牛、史丹福大學Jure Leskovec教授在ICLR 2019就圖深度生成模型做了演講,闡述了圖生成模型的方法和應用,並詳細介紹了他的最新成果史丹福大學教授Jure Leskovec 是圖網絡領域的專家,圖表示學習方法 node2vec 和 GraphSAGE 作者之一。
  • CVPR2020|深度學習不要乘法?北大,華為Oral論文提出加法神經網絡
    CVPR 2020 原定於 6 月 16 日至 20 日在華盛頓州西雅圖的華盛頓州會議中心舉行,但是當前全球疫情勢態嚴峻,越來越多的 AI 頂會開始轉向線上,CVPR 也不例外。雖然無法去現場交流,但這無法阻擋我們學習的熱情。為向讀者們分享更多 CVPR 優質內容,在 CVPR 2020 開幕之前,機器之心將策劃多期線上分享。
  • 深度學習鼻祖Geoffrey Hinton幫你入門帶你飛
    然而,直到計算機的性能達到深度學習的要求,辛頓才開始在學術界以外得到自己應得的廣泛認可,本文是他對於深度學習介紹的演講PPT。接下來會發生什麼當預訓練深層神經網絡的性能優於在MSR演講組一致推崇的高斯混合模型,IBM與Google對這類深層神經網絡實行進一步發展。直至2012年,安卓系統的聲音搜索功能便是運用一個基於深層神經網絡的聲學模型。
  • 2020中關村論壇開幕 海外嘉賓通過全息投影參會
    9月17日上午,北京中關村國家自主創新示範區展示中心會議中心,2020中關村論壇開幕。中國工程院院士、中國醫學科學院北京協和醫學院校長王辰發表以《醫學衛生健康事業及健康產業》為題的演講。據了解,2020中關村論壇以「合作創新·共迎挑戰」為主題,推出「會議+展覽+交易+發布」四大板塊,共計50餘場活動。論壇將持續至9月20日。中青報·中青網記者 李崢苨/攝9月17日上午,北京中關村國家自主創新示範區展示中心會議中心,2020中關村論壇開幕。中國工程院院士、中國醫學科學院北京協和醫學院校長王辰發表演講。
  • 深度學習之父Geoffrey Hinton:AI實為反向傳播,計算機與生物結合可...
    那本突破性的著作出版於20世紀80年代中期,闡述了建立多層次神經網絡的方法,為之後十年AI的發展奠定了基礎。站在我身邊的Jordan Jacobs是我們所處的Vector 人工智慧研究院的創建人,這間研究院今年秋天剛剛開幕,旨在成為全球人工智慧的技術中心。
  • Imagination 的神經網絡加速器在邊緣計算領域的應用
    今天,2019 SiFive Tech workshop在深圳舉行,IC晶片領域的兩百多位設計人員到場參會交流目前最熱門的RISC-V處理器開發,作為SiFive的DesignShare生態系統合夥夥伴,Imagination Technologies不僅在現場演示了最新新神經網絡加速演示,公司高級技術專家李安也發表《神經網絡加速賦能端側智能》介紹了Imagination
  • Hinton等人新研究:如何更好地測量神經網絡表示相似性
    近期很多研究試圖通過對比神經網絡表示來理解神經網絡的行為。谷歌大腦 Simon Kornblith、Geoffrey Hinton 等人的一項新研究引入了 centered kernel alignment (CKA) 作為相似性指數,並分析 CKA、線性回歸、典型相關分析(CCA)等相關方法之間的關係,證明 CKA 優於其他相似性指數。
  • NeurIPS 2018 今日開幕,7 場大會演講搶先看!
    (不完全統計)大會演講今年的 NeurIPS 一共安排了 7 場 Talk,內容涵蓋數據科學、機器學習、生物神經、強化學習、計算機系統設計等領域,雷鋒網(公眾號:雷鋒網) AI 科技評論將詳細的演講詳情整理如下:嘉賓將在演講中為我們闡述分析數據在多樣性上的缺失如何導致偏見算法的產生
  • Facebook AI 研究院院長 Yann LeCun 清華演講實錄(附獨家演講視頻)
    3 月 14 日之後,沒有人將會繼續使用 1995 年的這些神經網絡結構,結果 Vapnik 也輸了。深度卷積神經網絡(Deep ConvNet)之後,他又介紹了更進一步的深度卷積神經網絡(Deep ConvNet),在面部識別、無人駕駛等領域都發揮了很大的作用。
  • 用Hinton的膠囊神經網絡來識別空間關係 Part1: CNNs及其缺點
    這篇文章是膠囊神經網絡系列教程的一部分。作為第一篇文章,將介紹常規(卷積)神經網絡以及它的一些問題。神經網絡可能是當下機器學習領域最熱的部分。 近幾年,神經網絡得到眾多開發者不斷的改善,也更方便使用。但是,這些改進通常都是一些簡單的修改, 例如增加一些層,或者簡單的改進激活函數,但是並沒有引進全新的架構或思路。
  • 構建5G時代新基建 CDCE2020國際數據中心及雲計算展隆重開幕!
    2020年打亂了很多行業發展的節奏,卻給新基建跟數據中心行業領域帶來爆發式機遇。數據中心行業的產品與技術創新的腳步從未停下。12月3日由數據中心節能技術委員會、香港雅式展覽服務有限公司聯合主辦「CDCE2020國際數據中心及雲計算產業展覽會」在上海新國際博覽中心(SNIEC)與EP上海國際電力電工展同期隆重開幕!