GNN、RL強勢崛起,CNN初現疲態?這是ICLR 2021最全論文主題分析

2021-02-14 機器之心
ICLR 2021 會議的 Rebuttal 環節已經結束，最終接收結果也將在下月正式公布。日前，有開發者從 ICLR 2021 OpenReview 網頁抓取了論文數據，並做了論文高頻詞、論文得分分布情況等信息的可視化呈現。

ICLR，全稱為 International Conference on Learning Representations，國際學習表徵會議。自 2013 年開始每年舉辦一次，2021 年將舉辦第九屆會議。該會議被認為是深度學習領域的頂級會議之一，它與 CVPR、ACL、NeurIPS 等學術會議一樣，被 CCF 評選為一類會議。ICLR 的創始人包括深度學習三大巨頭之二的 Yoshua Bengio 和 Yann LeCun。與其他頂會一樣，該會議旨在為深度學習提供一個專業化的交流平臺。數據的應用表徵對機器學習的性能有著重要的影響，表徵學習對於計算機視覺、語音處理、自然語言處理等多個領域都起著至關重要的作用，ICLR 旨在打造這一領域交流研究的平臺。ICLR 2021 將於 2021 年 5 月 4 日至 6 月 8 日以線上形式舉辦。初審結果已於 11 月 11 日公布，此次會議共收到論文投稿 3013 篇，其中有 856 篇是 NeurIPS 2020 Rejection 之後再提交的。目前，ICLR 2021 的論文 rebuttal 階段也已經結束。有開發者從 ICLR 2021 OpenReview 網頁抓取了本次大會的論文數據，並做了可視化呈現。該項目統計了論文高頻詞、論文得分分布情況等信息。項目地址：https://github.com/evanzd/ICLR2021-OpenReviewData下圖列舉了提交論文中出現頻率排名前 50 的關鍵詞，與往年一樣，深度學習、強化學習、表徵學習、圖神經網絡都是非常熱門的話題。但與去年的統計數據相比，卷積神經網絡（convolutional neural network）的熱度驟降，「元學習」、「表徵學習」、「圖神經網絡」的熱度均有上升。

由提交論文關鍵詞組成的詞雲更加直觀地展示了不同研究方向的熱門程度：

今年 ICLR 的論文評審得分集中在 5 分左右，平均值為 5.169。

項目作者還對論文平均得分和關鍵詞頻率進行了統計。結果顯示，如果論文作者希望儘可能地獲得高評分，或許 ta 應該使用「深度生成模型」（deep generative models）、「歸一化流」（normalizing flows）、「神經正切核」（neural tangent kernel）、「梯度下降法」（gradient descent）等關鍵詞。

有趣的是，在名為「國際學習表徵會議」的 ICLR 大會中，「表徵學習」這一關鍵詞的頻率僅位於第三位，前兩名的位置被「深度學習」和「強化學習」牢牢佔據。看完統計結果以後，史丹福大學教授 Christopher Manning 表示：「強化學習驚人地崛起了！但卷積神經網絡已現疲態。」

觀察近年來的統計結果，「圖神經網絡（GNN）」的熱度正在逐年攀升。DeepMind 高級研究科學家 PetarVeličković直言：「不可否認的是，圖神經網絡已經位於深度學習工具箱中的第一階梯。」

在 Rebuttal 環節之後，Criteo AI Lab 研究科學家 Sergey Ivanov 在自己的推特上展示了論文評分變化的統計結果：

ICLR 2021 Rebuttal 環節後論文得分變化情況。從目前 OpenReview 的結果來看，這一屆的 ICLR 沒有滿分論文，8 分以上的論文總共有 12 篇：

ICLR 2021 的最終接收結果預計在下月公布，但你可以在上述評審得分統計文檔中查看自己感興趣的論文。論文查看地址：https://docs.google.com/spreadsheets/d/1fsXrKwKtoghQTPhgnCveRfn9GTsSVvoVRvEOaK9Eqp8/edit#gid=1229227255

12月6日北京，機器之心將舉辦2020 NeurIPS MeetUp。活動設置4個Keynote、 12篇論文報告與30個Poster，邀請頂級專家、論文作者與現場參會觀眾共同交流。

點擊閱讀原文，立即報名。


© THE END 

轉載請聯繫本公眾號獲得授權

投稿或尋求報導：content@jiqizhixin.com

相關焦點

  • GNN、RL強勢崛起,CNN初現疲態?ICLR 2021最全論文主題分析
    機器之心報導作者：蛋醬、小舟ICLR 2021 會議的 Rebuttal 環節已經結束，最終接收結果也將在下月正式公布。日前，有開發者從 ICLR 2021 OpenReview 網頁抓取了論文數據，並做了論文高頻詞、論文得分分布情況等信息的可視化呈現。
  • 【重磅】深度學習頂會ICLR2018評審結果出爐,一文快速了解評審分析簡報和評分最高的十篇論文
    Open Review 則非常不同，根據規定，所有提交的論文都會公開姓名等信息，並且接受所有同行的評價及提問（open peer review），任何學者都可或匿名或實名地評價論文。而在公開評審結束後，論文作者也能夠對論文進行調整和修改。這幾天ICLR 2018的審稿結果陸續出來了，讓我們來看一下。
  • ICLR 2017即將開幕,機器之心帶你概覽論文全貌
    在這篇文章中，機器之心梳理了 ICLR 2017 提交論文的特點、本屆會議的最佳論文。此外，去不了大會現場的讀者也不必感到遺憾，因為有以下大會 Oral Session 的直播。提交論文的可視化在大會開始之前，我們覺得有必要了解下此屆 ICLR 大會所提交的論文的特點。不久之前，Carlos E. Perez 使用 OpenReview 上的公開數據，對 ICRL 2017 上提交的論文進行了可視化分析，這能幫助我們了解此次大會的一些概況，比如哪些論文文獻得到的評價好、作者以及引用量的分布。
  • ICLR 2017即將開幕,機器之心帶你概覽論文全貌(附最佳論文與直播地址)
    在這篇文章中，機器之心梳理了 ICLR 2017 提交論文的特點、本屆會議的最佳論文以及機器之心過去一段時間報導過的有關 ICLR 2017 的文章。此外，去不了大會現場的讀者也不必感到遺憾，因為有以下大會 Oral Session 的直播。
  • 歷史最全深度學習與NLP核心概念、模型、策略及最新論文整理分享
    本資源整理了與自然語言處理（NLP）相關的深度學習技術核心概念，以及2019年概念相關最新的論文，涉及算法優化（Adam，Adagrad、AMS、Mini-batch SGD等），參數初始化（Glorot initialization、 He initialization），模型約束（Dropout、 Word Dropout、Patience、Weight Decay等），
  • ICLR 2018論文評審結果出爐:一文概覽論文 TOP 5
    論文評分前一百名結果：http://search.iclr2018.smerity.com/根據 Andrej Karpathy 的介紹，在今年 4 月的 ICLR 2017 大會上，提交論文的數量為 491 篇，而被接受的情況為：15 篇 oral（3%），183 篇 poster
  • ICLR 2020華人雄起!華人參與度近60%,清華、南大均斬獲滿分論文
    通過神經科學技術分析生物大腦活動，就能夠了解神經網絡是如何控制老鼠運動的論文地址：https://openreview.net/forum?而上面這篇論文，正如所有被接受的ICLR論文一樣，通過發視頻來展示論文的成果。2020年4月26日，ICLR準時拉開序幕，眾多業界大咖紛紛齊聚線上，開啟「雲參會」。圖靈獎得主Yann LeCun、Yoshua Bengio，以及Facebook 人工智慧研究院(FAIR)首席科學家 Devi Parikh 通過網絡，遠程帶來主題演講！
  • 集合三大類無模型強化學習算法,BAIR開源RL代碼庫rlpyt
    近日，BAIR 發布了 rlpyt 代碼庫，利用三類算法之間的共性，在共享的優化基礎架構上構建了這三類算法的實現。值得注意的是，rlpyt 基於論文《Recurrent Experience Replay in Distributed Reinforcement Learning》（R2D2）復現了 Atari 遊戲領域中的近期最佳結果，不過它沒有使用分布式計算基礎架構來收集訓練所需的數十億遊戲視頻幀。
  • ICLR 6-6-6!自注意力可以替代CNN,能表達任何卷積濾波層
    相對於感受野(receptive field)是K x K領域網格的卷積層，自注意力的感受野始終是全圖像。這就帶來了一些「縮放」方面的挑戰。自注意力層由一個大小為Dk的鍵/查詢，大小為Dh的頭，一組頭Nh，以及一個維度為Dout的輸出組成。
  • 一文盡覽 ICLR 2019 Facebook & Google 入選論文
    雷鋒網 AI 科技評論整理了今年 ICLR 2019中，Facebook 和 Google 入選論文的全名單。在這項工作中，我們計劃訓練一個策略，同時明確懲罰這兩個分布之間在固定時間範圍內的不匹配。我們通過使用一個已學習的環境動力學模型來實現這一點，該模型展開了多個時間步驟，並訓練了一個策略網絡，以最大限度地降低在這個展開的軌跡上的可區分成本。這一成本包含兩種形式：代表策略尋求優化目標的策略成本，以及代表其與受訓狀態的差異的不確定性成本。
  • 【源頭活水】Sparse R-CNN:簡化版fast rcnn
    )引入了類似cascade rcnn的級聯refine思想，提高整體性能對上述做法的思想不了解的，不用著急，後面會一一詳述，在閱讀本文前最好先閱讀下relation network和detr論文。統一大小的特徵框經過全連接層得到固定大小的特徵向量，分別進行softmax分類和bbox回歸可以看出其是採用selective search啟發式算法提前把roi提取出來了。
  • ICLR 2019八大趨勢:RNN正在失去光芒,強化學習仍最受歡迎
    然後將學習到的表示用於諸如情感分析、名字分類識別和機器翻譯等任務。去年發表的一些最令人興奮的論文是關於自然語言處理中的無監督學習的，首先是ApacheElmo(Peters等人)、DB2ULMFiT(Howard等人)、ApacheOpenAI的GPT(Radford等人)、IBMBert(Devlin等人)，當然還有，比較激進的202GPT-2(Radford等人)。
  • 「這個亞洲巨人從新冠肺炎疫情中強勢崛起」
    「中國消費明顯回暖」「中國經濟復甦速度快於預期」「中國這個亞洲巨人從新冠肺炎疫情中強勢崛起」......亞洲開發銀行預測，2021年中國經濟將增長7.7%。報告分析，由於中國的經濟復甦速度快於預期，東亞地區2020年的經濟增長率預計將達1.6%，2021年的經濟增長率將維持在7.0%。亞洲開發銀行首席經濟學家澤田康幸表示，亞洲發展中經濟體的增長前景也正在好轉。
  • ICLR 2021公開評審,這些信息點和高贊論文不可錯過!
    id=ICLR.cc/2021/Conference本文整理了來自ICLR 2021投稿概覽以及一些高贊論文，其中有一篇將Transformer應用於圖像識別的論文引起了NLP/CV模型跨界融合的熱議。
  • 【資源】Python實現多種模型(Naive Bayes, SVM, CNN, LSTM, etc)用於推文情感分析
    ，主要是基於Python實現多種模型(Naive Bayes, SVM, CNN, LSTM, etc)用於推文情感分析，已於Github開源。推文情感分析（Sentiment Analysis on Tweets）我們使用不同的方法進行Tweets情感分析（作為二分類問題），並對這些方法的性能進行比較。
  • 環球聚集點丨「這個亞洲巨人從新冠肺炎疫情中強勢崛起」
    來源：環球資訊+「中國消費明顯回暖」「中國經濟復甦速度快於預期」「中國這個亞洲巨人從新冠肺炎疫情中強勢崛起」......亞洲開發銀行預測，2021年中國經濟將增長7.7%。報告分析，由於中國的經濟復甦速度快於預期，東亞地區2020年的經濟增長率預計將達1.6%，2021年的經濟增長率將維持在7.0%。亞洲開發銀行首席經濟學家澤田康幸表示，亞洲發展中經濟體的增長前景也正在好轉。
  • ICLR公布論文接收結果,Oral論文華人一作佔三分之一
    和以往一樣，所有被接收的論文都將以海報形式進行展示，其中，23%被接收的論文會以口頭形式演講，108篇有4分鐘演講時間，48篇有10分鐘。ICLR論文歷年接收數量除了今年的兩項調整，其餘的審核過程和之前基本保持不變。這兩項調整包括，不允許討論期間進行公開評論，保證作者和審核人員對討論重點有清晰的獨立的認知；留有一周時間進行替換和緊急審核。
  • ICLR 2019評審結果出爐!一文看全平均8分論文
    Rebuttal和討論的期間是11月5日到11月21日，這期間作者可以回複評審人的評論，並對論文進行修改。有人做了一個網站：https://chillee.github.io，列舉了得分前200的論文和它們的得分。
  • 2021畢業論文寫作最全攻略.docx
    一年又一年，不知不覺間，寫畢業論文的人從師兄師姐變成了自己，但是不要慌，學長為我們準備了一份畢業論文大禮包，有了它，畢業論文已經完成一半了好叭！趕緊領回去寫論文！寫作攻略中包括有不同專業的選題參考、開題報告、寫作邏輯、寫作小技巧與雷區以及答辯經驗包五大板塊，從選題到論文到查重到答辯，全程都有指導！
  • CNN:我不是你想的那樣
    本文是cvpr2020 oral論文，核心是從數據高低頻分布上探討CNN泛化能力，其注意到CNN具備捕獲人類無法感知的高頻成分能力，而這個現象可以用於解釋多種人類無法理解的假設，例如泛化能力、對抗樣本魯棒性等。    本文其實沒有提出一個具體的解決辦法，主要是通過CNN能夠捕獲人類無法感知的高頻成分這一現象而對所提假設進行分析。