ICLR2018 | 深度學習頂會見聞,乾貨資源都在這裡(附源碼、論文連結)

2021-02-23 數據派THU

雖然僅僅舉辦過六屆,ICLR已經是深度學習領域的頂級會議,得到了業界的廣泛認可。第六屆ICLR於2018.4.30~2018.5.03在溫哥華會展中心召開,筆者署名的一篇文章有幸被workshop接收且受邀參會,下面聊一聊個人在ICLR2018上的見聞。

ICLR2018會議大觀


ICLR 2018共計收到1003篇論文投稿,最終2.3%的Oral論文、31.4%的Poster論文、9%被接收為Workshop track,51%的論文被拒收、6.2%的撤回率。在論文提交時間上,有一個有趣的現象,1003篇論文中,有近800篇論文是截止時間前24小時提交的,其中最後半小時提交了200多篇,驗證了DDL是第一生產力是全球通行的,哈哈哈,不過也說明大家精益求精吧。

來源:DeepMind的Oriol Vinyals的推特

在各單位論文接收數量上(等效數量,例如一篇文章3位作者,3人屬於單位A則算A一篇,若是只有1人屬於單位A則算1/3篇),谷歌獨佔鰲頭,隨後是CMU,斯坦福,伯克利等北美名校。

來源:http://webia.lip6.fr/~pajot/dataviz.html

關於會議的一些基本的數據統計分析情況,已經有人做出了非常漂亮且詳細的圖表,在此不贅述,感興趣的可查看上網站,有python源碼:

http://webia.lip6.fr/~pajot/dataviz.html

會議共四天,每天都分為上下午兩場,上下午形式一致,首先是一篇邀請報告,再次是三篇oral論文的匯報,最後是Poster環節。筆者走馬觀花的聽了一下匯報、掃了一下海報,直觀感受(主觀感受)有:

文章以及涉及的方向實在太多,只能走馬觀花的掃一下,有根據論文評審得分,給論文排了序,大家可根據自己感興趣的挑選和閱讀:

https://chillee.github.io/OpenReviewExplorer/

參會感悟


會議的報告以及海報涉及到深度學習的方方面面,口頭報告也只留有一個大概的印象,數量眾多的海報更只是走馬觀花的掃了一遍,對當前的研究方向熱點有個整體的感受了。此次參會有兩點感受頗深:

1. 好好做事,做好事。做一件事情,覺得真的有用,能解決一些實際問題的時候,好好做下去,結果總不會太差;對於做研究來說,做成了,頂會/刊文章也就來了。


2. 出去走走看看,有很多同齡人在踏踏實實的把一件事情做好。

後記


筆者由清華大學研究生院與數據科學研究院共同開設的大數據能力提升項目與大數據、機器學習結緣,在項目中所學與自身專業(電子)結合,也在此次會議的workshop中發文。此文的內容,屬於神經網絡的硬體加速方向,通過設計一種新的數據壓縮格式和數據計算流程,在據此設計的計算架構上計算效率有較為顯著的提升。相關研究得到了數據科學研究院的大力支持。

關於數據科學研究院、清華大學大數據能力提升項目:


http://www.ids.tsinghua.edu.cn/

對筆者的工作感興趣的可以查看以下論文(筆者近期也會在數據派分享詳細的論文思路和內容):

https://arxiv.org/abs/1803.10548

https://arxiv.org/abs/1801.07459

會議乾貨資源


ICLR2018論文統計:


http://webia.lip6.fr/~pajot/dataviz.html

ICLR2018論文評分排序:


https://chillee.github.io/OpenReviewExplorer/

ICLR2018邀請匯報和口頭匯報(oral論文)的視頻(需科學上網):


https://www.facebook.com/pg/iclr.cc/videos/

三篇Best Paper:


劉念宏,清華微電子碩士三年級,《大數據能力提升項目》學生,前清華大學學生大數據研究協會會長。


相關焦點

  • 重磅 | 2018 年深度學習十大學術頂會總結!
    年度學術會議配合年度研究進展服用效果更佳:2018 頂會概覽頂會論文提交與接收情況頂會中的華人力量在綜合性頂會和深度學習頂會中,今年獲獎的華人很多。而 ACL 2018 獨有的關鍵詞包括嵌入(embedding)、情感(sentiment)、建模(modeling)、圖(graph)等。從頂會大事件中看趨勢大家都關心也都「吐槽」的評審制度1.
  • 【ICLR 2018】Google 研究盤點,76篇論文搶先看
    本周,素有深度學習屆頂會「無冕之王」之稱的ICLR 2018第6屆在加拿大溫哥華舉辦,會議的重點是如何學習有意義的有用的機器學習數據表示。
  • 深度學習頂會「無冕之王」 ICLR 2017錄用結果出爐,精選13篇乾貨亮點
    來源:知乎  作者授權轉載作者:魏秀參【新智元導讀】素有深度學習屆頂會「無冕之王」之稱的 ICLR 2017公布了會議錄用結果。作者從所有錄用論文中精選了十三篇乾貨以饗讀者。今年 ICLR 中涉及 GAN 和 Reinforcement learning 的工作巨多,間接反映了無監督學習和強化學習今後一段時間內在DL領域內的勢頭。
  • 【一文打盡 ICLR 2018】9大演講,DeepMind、谷歌最新乾貨搶鮮看
    主要介紹了ICLR2018相關亮點。歡迎大家點擊上方藍字關注我們的公眾號:磐創AI。ICLR 2018即將開幕,谷歌、DeepMind等大廠這幾天陸續公布了今年的論文,全是乾貨。連同3篇最佳論文和9個邀請演講一起,接下來將帶來本屆ICLR亮點的最全整理。
  • ICLR 2017即將開幕,機器之心帶你概覽論文全貌(附最佳論文與直播地址)
    直播地址:https://www.facebook.com/iclr.ccICLR 全稱為「International Conference on Learning Representations(國際學習表徵會議)」。2013 年,深度學習巨頭 Yoshua Bengio、Yann LeCun 主持舉辦了第一屆 ICLR 大會。
  • ICLR 2017 | 專訪ICLR 2017主席 Hervé Glotin:蓬勃發展的表徵學習
    表徵學習,這是機器學習的根本。所以會同時有NIPS和ICML這兩個會議,它們都關注的是統計和優化。我們這個會議討論的主要是表徵學習。所以我們這個會議比較新,但也發展壯大的很快,今年有1000人參會了,明年可能會有2000。所以表徵學習是機器學習的一個重要因素。只有這一個亮點嗎?這個會議上表徵學習之外還有別的亮點嗎?
  • Google Brain ICLR Talk:元學習的前沿與挑戰
    做了元學習相關的分享:Meta-Learning: Challenges and Frontiers,系統的闡述了,元學習的前世今生,以及其技術前沿和挑戰,小編收集到了她的PPT,分享給大家,希望能幫助到對元學習的同學。
  • 推薦系統頂會RecSys 2017深度學習論文及代碼集錦
    forSession-Based RecommendationDietmar Jannach, Malte LudewigTU Dortmundhttp://ls13-www.cs.tu-dortmund.de/homepage/publications/jannach/Conference_RecSys_2017.pdf深度學習已經在
  • 頂會分享丨ICML 2018 :機器學習領域的最新熱點
    來自神經網絡結構和強化學習兩個子領域的投稿數量最多,強化學習領域的接受率更高,其它熱門方向還有深度學習、在線學習、統計學習、隱私安全等等。論文連結:https://arxiv.org/pdf/1802.00420.pdfDelayed Impact of Fair Machine Learning這篇文章分析了不同的公平標準對人的延遲影響。研究發現常見的公平標準一般不能對人群產生正面影響,甚至有時候會產生負面的影響。
  • 2017深度學習優秀論文盤點 | 資源
    本文是倫敦帝國學院博士生Pierre Richemond所寫的年度深度學習論文盤點,他屬於該大學的BICV計算機視覺團隊。
  • ICLR2020最佳論文:ADAM作者-雙層神經網絡的泛化性能漸進分析
    「史上第一次在非洲舉行的 AI 頂會」ICLR 2020 將於明年 4 月 26 日於衣索比亞首都阿迪斯阿貝巴舉行。
  • ICLR 引用量最高的10篇論文!Adam霸榜!引用量破5萬
    ,第一時間送達前言三大CV頂會引用量最高的10篇論文均已整理完畢,詳見:接下來,Amusi 將繼續整理其他頂會,像NeurIPS、ICLR、ICML上也有很多優質的CV論文,而且有更多深度學習、機器學習基礎性研究工作。
  • ICLR 2020關鍵亮點與發展趨勢總結(附python實戰分析PyTorch vs Tensorflow使用情況)|文末送書
    我還將分享一個基於數據的調查(我個人承擔的),來發現研究社區中首選的工具,特別是用於尖端深度學習研究的工具,即PyTorch和TensorFlow。ICLR 2020的主要內容首先,這是ICLR 2020網站的連結,以及組織者共享的關鍵數字摘要:https://iclr.cc/Conferences/2020
  • 【報導】人工智慧頂會 ICLR 2019 中優化與AI領域新動向概覽
    用貪婪算法作為baseline比傳統增強學習的值函數能夠更加有效。本文所提方法能夠對節點數目在100以下的TSP(旅行商問題)問題有著較好的效果,同時本文還在相同超參數的情況下驗證了該算法在兩類VRP(車輛路徑規劃問題)問題上的求解效果。本文給如何用AI求解組合優化問題提供了新思路。
  • 【乾貨】2017年深度學習必讀31篇論文(附論文下載地址)
    ,包括架構/模型、生成模型、強化學習、SGD & 優化及理論等各個方面,有些論文名揚四海,有些論文則非常低調。一如既往,首先,標準免責聲明適用,因為今年僅與GAN有關的論文就超過1660篇。我肯定會有疏漏,試圖縮減到每兩周一篇論文,包含了Imperial Deep Learning Reading Group上的大量素材。無論如何,我們開始吧。今年的Convnet網絡架構已經少得多,一切都穩定了。 有些論文肯定是在推動這項研究。
  • 深度學習的中文資源,教程推薦!
    機器學習系列 | 莫煩Python,再次推薦莫凡教程,這裡有很多教程,推薦其中的numpy,pytorch教程。優點:簡單,易懂,推薦pytorch好好學,比tensorflow靈活,個人感覺。缺點:有些過於簡單。吳恩達的deeplearning.ai,這個在網易雲課堂有中文字幕版的--連結。這個入門深度學習可以有。
  • NIPS2018深度學習(18)|亮點: 貝葉斯深度學習;圖卷積(論文及代碼)
    Polytechnique Fédérale de Lausanne,RIKEN Center for AI Projecthttps://papers.nips.cc/paper/7862-slang-fast-structured-covariance-approximations-for-bayesian-deep-learning-with-natural-gradient.pdf在深度學習模型中
  • 【乾貨薈萃】機器學習&深度學習知識資料大全集(二)(論文/教程/代碼/書籍/數據/課程等)
    【導讀】轉載來自ty4z2008(GItHub)整理的機器學習&深度學習知識資料大全薈萃,包含各種論文、代碼、視頻、書籍、文章、數據等等。是學習機器學習和深度學習的必備品!昨天介紹了第一篇:【乾貨薈萃】機器學習&深度學習知識資料大全集(一)(論文/教程/代碼/書籍/數據/課程等)今天第二篇:   介紹:使用卷積神經網絡的圖像縮放
  • 【乾貨薈萃】機器學習&深度學習知識資料大全集(一)(論文/教程/代碼/書籍/數據/課程等)
    很多人在平時的工作中都或多或少會用到機器學習的算法。本文為您總結一下常見的機器學習算法,以供您在工作和學習中參考.介紹: 很多乾貨,而且作者還總結了好幾個系列。另外還作者還了一個文章導航.非常的感謝作者總結。
  • ICLR 2020 被曝 47% 的審稿人沒發過相關論文
    ,第一時間送達乾明 魚羊 發自 凹非寺量子位 報導 | 公眾號 QbitAI決定你論文是否中選頂會的人,可能自己都沒有發過相關論文。出現這種情況的,正是深度學習領域的頂級會議ICLR 2020。和AI領域的其他頂級會議一樣,這個會議的投稿數量也在不斷創下新高:然後就出現了開頭的一幕,擴招的審稿人,有47%沒有發表過相關論文。在ICLR 2020的7583位審稿人,有1078人不太了解這個領域;2484人讀過很多論文,2604人發過1-2篇論文,然後是1417人多年來一直有論文發布。