7月27日上午,在智源社區全程直播的第43屆國際信息檢索大會(SIGIR 2020)開幕式上,圖靈獎獲得者Geoffrey Hinton教授作為首位主題演講者進行了題為「神經網絡的新時代(The Next Generation of Neural Networks)」的主題報告。
報告中,Hinton教授指出:人類大腦有10^14個神經元連接,而生命的長度只有10^9秒,因此人類是無法完全依賴有監督學習的方法完成所有神經元訓練,而需要更多來自於無監督學習的幫助,受此啟發,構建智能的機器模型也應綜合考慮監督與無監督方法進行協同訓練。
他首先回顧了無監督神經網絡的發展歷史,結合從LLE、LRE到t-SNE等表達學習模型的進化歷程,指出當前無監督學習方法所面臨問題的根源在於過度關注數據的重構損失(Reconstructive Loss),而忽略了對數據間關聯關係的捕捉。基於此,他提出了下一代神經網絡模型的構想,提出利用對比損失函數(Contrastive Loss)建模樣本間的局部關係、增強數據間表達的一致性的解決思路。
最後,他還展示了上述構想的一種具體實現方案SimCLR,應用此方案能夠顯著提升下遊圖像分類任務的效果(如下圖所示)。
作為 CCF 推薦的 A 類國際學術會議,SIGIR 歷來都是網際網路業內關注的焦點,會議覆蓋了信息檢索領域相關的各類前沿成果,包括基礎理論、算法應用以及評估分析。接下來,本次會議還將安排包括中科院院士徐宗本教授、ACM Fellow Ellen M. Voorhees博士、Salton Award獲得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亞科學院院士陶大程教授在內的五位專家學者進行相關主題報告。
本次SIGIR線上會議系統由智源(社區)技術團隊提供全程技術支持:
SIGIR會議直播地址:
https://sigir-schedule.baai.ac.cn
SIGIR會議直播系統由智源(社區)技術團隊提供全程技術支持。會議期間支持用戶下載本地日程提醒,在線觀看直播和回放,同時支持付費用戶線上參與討論及進入直播間與講者連麥互動。
點擊閱讀原文,進入智源社區參與更多討論。