雷鋒網 AI 科技評論按:時間過得好快,Yann LeCun 仿佛剛剛在 Twitter 上感慨 ICLR 2018 的參會人數比 2017 年再次翻倍,而現在 ICLR 2018 已經於加拿大當地時間 5 月 3 日結束了。
谷歌、DeepMind、Facebook、OpenAI、微軟,這 5 個雷鋒網 AI 科技評論重點關注的科技公司在今年 ICLR 中共貢獻了 9 篇 oral(口頭報告)論文和 107 篇 poster(海報展示)論文,在會議接受論文總數的 23 篇 oral、314 篇 poster 中已經佔據了接近半壁江山。(谷歌、FB、微軟重點在於其中的人工智慧研究機構:谷歌大腦/谷歌 AI,Facebook 人工智慧研究院,微軟研究院)
每家機構的數量方面,DeepMind 22 篇、谷歌 47 篇、Facebook 25 篇、OpenAI 7 篇、微軟 15 篇。谷歌和 DeepMind 加起來就佔了會議總接收論文的 20%,可以說是具有絕對的影響力了。
我們翻閱了這 5 家機構的共 116 篇 ICLR 2018 接受論文,嘗試梳理其中體現出的整個領域近期的研究內容和研究風格要點。需要說明的是,接受論文的結果是研究機構的論文作者們和會議審稿人們共同決定的;另一方面我們翻閱的論文也只是全部 ICLR 2018 接受論文的一部分,所以依據這些論文做出的評判不一定全面。
我們發現:
強化學習是今年一大研究熱點
必不可少的是對各種現有方法的深度探究並做出改進
除了針對深度學習領域本身的已有問題做深入發掘之外,有越來越多論文以深度學習為工具,研究和驗證人類學習、人類語言演進等方面的假說。
DeepMind 這篇 oral 論文《Emergence of linguistic communication from referential games with symbolic and pixel input》(https://openreview.net/pdf?id=HJGv1Z-AW ),在像素構成的環境中訓練強化學習智能體,用語言進化學的思路,以緊急狀況溝通任務為環境,研究算法交流模式的進化和學習。
同樣來自 DeepMind 的《Compositional obverter communication learning from raw visual input》(https://openreview.net/forum?id=Hk6WhagRW )和《Emergent communication through negotiation》(https://openreview.net/forum?id=Hk6WhagRW )兩篇也是類似地以深度學習方法研究人類語言的演進。
Facebook 也以另一種思路探究了智能體學習語言的方式,在《Mastering the Dungeon: Grounded Language Learning by Mechanical Turker Descent》(https://arxiv.org/abs/1711.07950),他們提出了有趣的 Mechanical Turker Descent 的交互式學習方法,讓眾包參與實驗的人類在競爭和合作中訓練智能體處理文字探險遊戲中的自然語言內容,交互式的學習也給智能體提供了動態變化的、符合它們當前水平的訓練數據。
另一篇來自 Facebook 的《Emergent Translation in Multi-Agent Communication》(https://arxiv.org/abs/1710.06922)研究的是當下熱門的無平行語料的翻譯問題,他們的環境設置是讓兩個說不同語言的智能體玩挑圖遊戲,在遊戲過程中學習翻譯對方的語言。這種設置不僅和直接學習一個無監督的翻譯器不同,而且還更像是在研究許多人都困惑已久的「兩個語言不通的人如何溝通」、「最早學習某種外語的人是如何學習的」這種問題。
邏輯、抽象概念學習也出現越來越多的成果
優化方法仍在討論和快速進步
嘗試開拓深度學習的新領域
有不少研究安全的論文,但方向較為集中
各位讀者如果有認為出彩的、值得注意的論文,也歡迎在評論區留言補充討論。今年 ICLR 2018 的會議投遞情況和最佳論文介紹還可以參見這裡和這裡。明年 ICLR 2019 我們不見不散。
谷歌論文列表:https://research.googleblog.com/2018/04/google-at-iclr-2018.html
DeepMind 論文列表:https://deepmind.com/blog/deepmind-papers-iclr-2018/
Facebook 論文列表:https://research.fb.com/facebook-research-at-iclr-2018/
OpenAI:https://twitter.com/OpenAI/status/989978665113993216
微軟論文檢索:https://www.microsoft.com/en-us/research/search/?q&content-type=publications&research_area=13556
雷鋒網 AI 科技評論報導
雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。