GNN、RL強勢崛起,CNN初現疲態?這是ICLR 2021最全論文主題分析

2020-12-22 澎湃新聞

機器之心報導

作者：蛋醬、小舟

ICLR 2021 會議的 Rebuttal 環節已經結束，最終接收結果也將在下月正式公布。日前，有開發者從 ICLR 2021 OpenReview 網頁抓取了論文數據，並做了論文高頻詞、論文得分分布情況等信息的可視化呈現。

ICLR，全稱為 International Conference on Learning Representations，國際學習表徵會議。自 2013 年開始每年舉辦一次，2021 年將舉辦第九屆會議。該會議被認為是深度學習領域的頂級會議之一，它與 CVPR、ACL、NeurIPS 等學術會議一樣，被 CCF 評選為一類會議。

ICLR 的創始人包括深度學習三大巨頭之二的 Yoshua Bengio 和 Yann LeCun。與其他頂會一樣，該會議旨在為深度學習提供一個專業化的交流平臺。數據的應用表徵對機器學習的性能有著重要的影響，表徵學習對於計算機視覺、語音處理、自然語言處理等多個領域都起著至關重要的作用，ICLR 旨在打造這一領域交流研究的平臺。

ICLR 2021 將於 2021 年 5 月 4 日至 6 月 8 日以線上形式舉辦。初審結果已於 11 月 11 日公布，此次會議共收到論文投稿 3013 篇，其中有 856 篇是 NeurIPS 2020 Rejection 之後再提交的。

目前，ICLR 2021 的論文 rebuttal 階段也已經結束。有開發者從 ICLR 2021 OpenReview 網頁抓取了本次大會的論文數據，並做了可視化呈現。該項目統計了論文高頻詞、論文得分分布情況等信息。

項目地址：https://github.com/evanzd/ICLR2021-OpenReviewData

關鍵詞頻率

下圖列舉了提交論文中出現頻率排名前 50 的關鍵詞，與往年一樣，深度學習、強化學習、表徵學習、圖神經網絡都是非常熱門的話題。但與相比，卷積神經網絡（convolutional neural network）的熱度驟降，「元學習」、「表徵學習」、「圖神經網絡」的熱度均有上升。

由提交論文關鍵詞組成的詞雲更加直觀地展示了不同研究方向的熱門程度：

論文得分分布情況

今年 ICLR 的論文評審得分集中在 5 分左右，平均值為 5.169。

關鍵詞 vs 得分

項目作者還對論文平均得分和關鍵詞頻率進行了統計。結果顯示，如果論文作者希望儘可能地獲得高評分，或許 ta 應該使用「深度生成模型」（deep generative models）、「歸一化流」（normalizing flows）、「神經正切核」（neural tangent kernel）、「梯度下降法」（gradient descent）等關鍵詞。

有趣的是，在名為「國際學習表徵會議」的 ICLR 大會中，「表徵學習」這一關鍵詞的頻率僅位於第三位，前兩名的位置被「深度學習」和「強化學習」牢牢佔據。

看完統計結果以後，史丹福大學教授 Christopher Manning 表示：「強化學習驚人地崛起了！但卷積神經網絡已現疲態。」

觀察近年來的統計結果，「圖神經網絡（GNN）」的熱度正在逐年攀升。DeepMind 高級研究科學家 PetarVeličković直言：「不可否認的是，圖神經網絡已經位於深度學習工具箱中的第一階梯。」

在 Rebuttal 環節之後，Criteo AI Lab 研究科學家 Sergey Ivanov 在自己的推特上展示了論文評分變化的統計結果：

306 篇論文撤回了提交，現剩餘 2670 篇；

論文的平均得分提高了 0.25；

總共有 10305 條評審意見，有 1797 條評分發生了變化；

在 Rebuttal 環節中，有 16 篇論文得到了額外的評審意見。

ICLR 2021 Rebuttal 環節後論文得分變化情況。

從目前 OpenReview 的結果來看，這一屆的 ICLR 沒有滿分論文，8 分以上的論文總共有 12 篇：

ICLR 2021 的最終接收結果預計在下月公布，但你可以在上述評審得分統計文檔中查看自己感興趣的論文。

論文查看地址：https://docs.google.com/spreadsheets/d/1fsXrKwKtoghQTPhgnCveRfn9GTsSVvoVRvEOaK9Eqp8/edit#gid=1229227255

2020 NeurIPS MeetUp

12月6日北京，機器之心將舉辦2020 NeurIPS MeetUp。活動設置4個Keynote、 12篇論文報告與30個Poster，邀請頂級專家、論文作者與現場參會觀眾共同交流。

原標題：《GNN、RL強勢崛起，CNN初現疲態？這是ICLR 2021最全論文主題分析》

閱讀原文

相關焦點

  • GNN、RL強勢崛起,CNN初現疲態?ICLR 2021最全論文主題分析
    數據的應用表徵對機器學習的性能有著重要的影響，表徵學習對於計算機視覺、語音處理、自然語言處理等多個領域都起著至關重要的作用，ICLR 旨在打造這一領域交流研究的平臺。ICLR 2021 將於 2021 年 5 月 4 日至 6 月 8 日以線上形式舉辦。
  • ICLR首次雲會議開啟:可視化交互論文,視頻直聊作者,不用翻牆
    ICLR的網站是會議的主場，它提供交流、討論、展位、海報和社交活動；　　作者通過預先錄製好的視頻進行演講；　　活動要麼是由主題演講者主持的現場視頻問答會議，要麼是由2個小時組成的虛擬海報會議，作者可以通過視頻電話討論自己的研究工作　　會務組非常用心的製作了大會的可交互論文查詢和審閱網站　　所有的論文代碼都可以在github找到：
  • ICLR 2020 匿名評審九篇滿分論文,最佳論文或許就在其中
    在這篇文章中，我們將簡介其中的9篇滿分（全8分）論文，它們最終都被接收為Talk 論文，屆時論文作者會在大會上做長達十多分鐘的演講報告。三位評審者都非常欣賞這篇論文，儘管他們注意到性能收益會隨著模型複雜度的提升而變小。不管怎麼樣，該基線結果是非常有競爭力的，也許在這些數據集上的提升以後並不會特別大了。總體而言，我發現這篇論文非常優秀，並且強烈建議接收這篇論文，也許它可以作為口頭報告論文。
  • 2020廣東省考申論策論文寫作實用結構-申論主題分析
    2020廣東省考申論策論文寫作實用結構-申論主題分析由廣東公務員考試網申論欄目由提供，更多關於廣東省考,省考申論,廣東公務員申論的內容，請關注廣東公務員考試頻道/廣東公務員考試網！
  • ICLR 2018最佳論文出爐,無華人獲獎
    大會開幕在即，主辦方於近日公布了三篇最佳論文，這三篇論文關注的分別是 Adam 的收斂性、球面 CNN、以及元學習方法。它們在  OpenReview  上的評分都比較高，均排在前十五名。上一屆 ICLR 大會，MIT 博士張馳原的成果「Understanding Deep Learning Requires Rethinking Generalization」獲得了最佳論文獎，但可惜的是，今年的三篇獲獎論文中並未出現華人的身影
  • 論文主題和論文題目是一樣的嗎?論文題目可以和別人的一樣嗎?
    論文主題和論文題目是一樣的嗎? 論文題目可以和別人的一樣嗎？　　不一樣。文章的主題是該文所表達主要內容的抽象化、簡練化的題目(從分析文章的題目、主要內容可歸納);而論文題目是要求簡明、具體、確切，能概括論文的特定內容，有助於選定關鍵詞，符合編制題錄、索引和檢索的有關原則。
  • 研究生如何確定論文主題?
    原題為：將學術融入生活———談研究生如何確定論文主題作者：劉老師談到研究生應該如何寫論文，我個人其實不太贊同研究生剛入校就興致勃勃地去寫論文，因為論文是我們研究的最終成果而並非研究的起點，在此之前我們需要做大量的準備工作，不能浮躁。
  • 重要排名出來了,大勢初現,誰將贏得未來?
    炒房者失去了槓桿，使得購房門檻大幅提升，由原來幾百萬首付提升至 2000 萬全款。如此巨大的資金壓力，也成了炒房者的噩夢。深圳是中國最成功的經濟特區，也是各方面政策最自由、最放鬆的城市。縱觀最近幾輪房地產調控，深圳幾乎都是最先放鬆，也是最後收緊的城市。
  • 怎麼構思論文主題和大綱?這篇文章用案例給你講明白!
    寫作大綱則是一篇文章的骨幹，有了明確的大綱，不但能使寫作省時省力，更能使文章結構嚴謹、條理分明，因此如何構思論點及寫作大綱，是論文寫作時最基本、最重要的工作。什麼是「主題」？就是一篇文章的「論點」，所謂「論點」(Theme)就是作者需要證明的觀點和意見。
  • AAAI 2021最佳論文獎出爐,北航成最大贏家,還有這樣一批華人學術新星!
    在剛剛舉行的開幕式上，組委會頒發了今年的最佳論文獎和提名獎，分別有三篇論文獲獎。其中來自北航的學者以一作身份分別獲得了一篇最佳論文獎和一篇提名獎。此外，會議還宣布了「學術新星獎」，共有多名華人獲得獎項。作為全球人工智慧頂會之一，雖然受到疫情限制，但 AAAI 2021 的熱度仍然不減，本屆 9034 篇提交論文的數量又創下了歷史新高（去年為 8800 篇）。
  • 環球聚集點丨「這個亞洲巨人從新冠肺炎疫情中強勢崛起」
    來源：環球資訊+「中國消費明顯回暖」「中國經濟復甦速度快於預期」「中國這個亞洲巨人從新冠肺炎疫情中強勢崛起」......亞洲開發銀行預測，2021年中國經濟將增長7.7%。報告分析，由於中國的經濟復甦速度快於預期，東亞地區2020年的經濟增長率預計將達1.6%，2021年的經濟增長率將維持在7.0%。亞洲開發銀行首席經濟學家澤田康幸表示，亞洲發展中經濟體的增長前景也正在好轉。
  • 探討科技論文寫作主題的選擇與確定
    主題通常是指作者通過文章內容所要表達的主要意圖或中心思想，選題就是選擇確定主題。賽恩斯編譯指出，科技論文寫作的成敗在很大程度上決定於選題的優劣。主題是文章的靈魂、核心和總綱，是作者寫作目的的集中體現。主題對文章內容起著統領作用，對材料的取捨起著調控作用，對謀篇布局、表現方法乃至遣詞造句都起著制約作用。論文質量的高低，首先要看它的主題是否鮮明、正確、深刻。有了主題，就抓住了主要矛盾，就能從豐富多彩的材料中找到有用的東西。沒有主題，七拼八湊地堆砌材料，不僅無法構成文章，更起不到表情達意、交流思想的目的。
  • 生物醫學工程科SCI論文大數據分析「2021」
    導言：今天和同仁們分析生物醫學工程科SCI論文的大數據分析。對於我們來說，這是一個陌生的領域，但是卻收穫了我們最大的快樂。因為發現，中國的生工竟然這麼厲害。1，生工科論文概況生工科領域已經發表了139,561篇Medline收錄文獻；其中2020年發表了20,825篇。
  • 醫學類論文主題怎麼選,標題怎麼寫?
    醫學論文的主題應該是和文章的內容相結合。你在寫論文的時候，一是為了傳播醫學類方面的經驗，二是為了增加需求，因此，論文的質量與題名密切相關。一般標題最吸引讀者的眼球，閱讀論文的時候，肯定是先看標題，然後決定是否閱讀全文。
  • 論文主題來自何方?
    寫論文的過程中，最辛苦的是哪一部分？是寫文獻綜述、研究方法，還是寫研究結果？都不是，最辛苦的時候當然是你沒得寫的時候。
  • 《演員請就位2》收官：胡杏兒「奪魁」，流量為王的時代初顯疲態
    胡杏兒的「奪魁」以及此次過半數的90後演員在舞臺上展現的表演才能與學習精神，足以說明僅僅憑藉流量上位，即便是流量紅利的受惠者，也已感到「心虛」，流量為王的時代或已初顯疲態。在這期間，可以發現胡杏兒那張原本表情單一的面孔，變得越來越生動立體。這何嘗不是《演員請就位2》中大多數年輕演員職業經歷的寫照。在收官夜的頒獎環節，演員秦昊說，作為演員，運氣是不可或缺的一環。
  • 2020中國海洋大學海洋高等研究院分析測試中心工程技術人員招聘7人...
    、擇優錄用的原則，中國海洋大學海洋高等研究院分析測試中心擬公開招聘工程技術人員7名。現將有關事宜公告如下：一、招聘條件1.思想政治素質高，積極樂觀，具有較強的團隊協作精神與服務意識，責任心強，能吃苦耐勞，熱愛崗位工作;2.具有碩士研究生學歷，獲得化學(含海洋化學)、化工、環境、海洋地質、物理等相關專業碩士學位;3.具有良好的語言表達能力;4.身體健康，心理素質良好;5.滿足招聘崗位其他要求。
  • 論文引用失範的七大表現,你的論文存在嗎?
    投稿論文分為公司戰略組、個體行為組、商務分析組、綜合經濟管理組、教學與案例研究組等五個領域，此外也歡迎其它領域的論文，具體題目不限，歡迎各位學者踴躍投稿。投稿郵箱分別是：論文領域投稿郵箱負責老師1. 商務分析組（營銷模型、計量模型、經濟分析等） msi2021hn3@163.com鄭培4.
  • 沙坪垻:現代服務業強勢崛起!成為拉動經濟增長新動力源
    沙坪垻：現代服務業強勢崛起！圍繞沙坪垻區大通道和口岸優勢而來的一大批分撥、結算、金融等相關產業匯集，沙坪垻，文商旅深度融合，成為世界級旅遊目的地，也成為國內外企業投資興業的首選地，現代服務業正在沙坪垻大地上強勢崛起。
  • 「GNN,簡直太爛了」,一位Reddit網友的深度分析火了
    例如：過去5年中，大多數GNN論文提供的結果，對從業者沒有太多幫助。我太煩Node2Vec了，引用量不應該達到7500這個數量。就玩那些沒用的、小數據，效率提不上來，很難取得進步。添加一些新的圖層/超參數，編一個可愛的數學故事來解釋它為什麼重要。當前的圖形數據結構，簡直糟糕透了。全局方法，是個死胡同。……點評、分析之犀利，瞬間引來了眾多網友的圍觀。