雷鋒網AI科技評論按：ICLR2017將於4月24-26日在法國土倫舉行，屆時雷鋒網AI科技評論的編輯們也將前往法國帶來一線報導。在這個深度學習會議舉辦之前，雷鋒網也將圍繞會議議程及論文介紹展開一系列的覆蓋和專題報導，敬請期待。
認為，把每篇論文在ICLR2017（InternationalConferenceonLearningRepresentations，一個廣受歡迎的深度學習會議）的（分為4種：口頭報告(oral)，海報展示(poster)，進一步研討(workshop)，被拒(reject)），和該論文被添加到網站的library的次數進行交叉比較，是一件很有趣的事情。某篇論文是否能入選ICLR2017，是由幾個相應領域的領頭人和審稿人，經過幾個月時間的審閱後才能決定的。而在arxiv-sanity上參與決定的人，只有每月為此投入總共2個小時的原作者，當然還有應對投稿洪流的若干網站工作人員。現在讓我們來看看這場自上而下、自下而上的戰役會發生什麼。AndrejKarpathy入選情況arxiv-sanity
投稿論文在ICLR2017的入選情況可以參看OpenReview.net的情況，投稿論文共計491篇，其中15篇（3％）論文將在會上做口頭報告，183篇（37.3％）論文將被製成海報在會上展覽，48篇（9.8％）論文被建議進一步研討，245篇（49.9％）論文被拒絕。ICLR2017將於4月24日至27日在土倫舉辦，屆時入選的論文將在會議上進行展示。期待一睹土倫這個美麗的城市：
法國土倫
扯遠了，讓我們言歸正傳回到文章主題上。
另一方面，作者一方的arxiv-sanity網站具有library功能。換言之，任何註冊用戶都可以在該網站上他們的library裡添加論文，然後基於所有收藏論文全文的二元tf-idf特徵，arxiv-sanity將為每位用戶訓練出個性化的支持向量機(SupportVectorMachine)，提供基於內容的論文推薦。例如在網站裡的library收藏一些關於加強學習(ReinforcementLearning)、生成模型(GnerativeModels)、計算機視覺(ComputerVision)的論文，無論網站何時出現關於這些主題的新論文，它們都將出現在「推薦」標籤中的最上方。現在arxiv-sanity網站上的審查池(reviewpool)總共有3195個用戶——他們是library裡收藏至少一篇論文的用戶，這些用戶迄今共收錄了55671篇論文，平均每人17.4篇。
arxiv-sanity網站一個很重要的特徵是，用戶贊同(upvote)一篇論文後，會產生相應的影響。因為用戶收錄論文的動機暗示著此論文對用戶來說非常重要，所以當用戶收錄一篇論文時，該論文會增加該文章方向上的推薦權衡，進而影響推薦給用戶的論文。
實驗
長話短說，Andrej對ICLR中的所有論文進行了循環，然後在arxiv-sanity網站上，通過嘗試對收錄的論文的標題進行全字符匹配，把相同的論文找出來。論文沒法匹配的原因可能是，有些ICLR論文沒有被網站收錄，有些論文因為作者重命名後與原題目不匹配，或者因為題目中包含不能匹配的奇特字符等。
例如，對ICLR2017進行口頭報告的論文進行匹配，作者得到的結果是：
15篇進行口頭報告的論文，在arxiv-sanity網站上找到了以下10篇，附帶網站裡的library收藏數：
這裡看到，在ICLR做口頭報告的15篇論文，arxiv-sanity收錄了10篇，題目左邊的數字是網站裡將這篇論文添加到library的用戶數，例如，"ReinforcementLearningwithUnsupervisedAuxiliaryTasks"被64個arxiv-sanity用戶添加到了library。
183篇製成海報展覽的論文，在arxiv-sanity網站上找到了以下113篇，附帶網站裡的library收藏數：
某些論文得到了很多人的青睞，最多達到149人！然而收藏某些論文的人一個也沒有。
建議進一步研討的論文，結果如下：
48篇建議進一步研討的論文，在arxiv-sanity網站上找到了以下23篇，附帶網站裡的library收藏數：
作者不打算列出總計200篇被拒絕的論文，Arxiv-sanity用戶真的非常喜歡其中一些論文，但是ICLR會議涉及領域的領頭人和審稿人一點也不喜歡：
245篇被拒絕的論文，在arxiv-sanity網站上找到了以下58篇，附帶網站裡的library收藏數：
以上所列論文的前幾篇，投稿遭到拒絕這一結局對它們來說可能不太公平。
現在另一個問題是——ICLR2017的投稿論文如果只由arxiv-sanity用戶投票評選（可以在arxiv上找到的論文），結果會是怎麼樣子的呢？這是投票結果的一個摘錄：
做頭口報告的論文：
製成海報展覽的論文：
由arxiv-sanity用戶投票評選的。請注意，基於arxiv-sanity用戶的投票評選結果，一些被拒絕的ICLR2017投稿論文，幾乎優秀到可以進行口頭報告，特別是以下這幾篇：完整列表可以看這裡
"ThePredictron:End-To-EndLearningandPlanning"
"RL^2:FastReinforcementLearningviaSlowReinforcementLearning"
"Understandingintermediatelayersusinglinearclassifierprobes"
"HierarchicalMemoryNetworks"
相反地，arxiv-sanity用戶對一些入選的論文並不太喜歡，以下是完整的混亂矩陣：
這是，每一欄還附帶了論文的標題。這矩陣看起來不太糟糕，只是雙方在評選進行口頭報告的論文上面分歧很大；同意製成海報展覽的論文，雙方分歧相對少很多；最重要的是，進行口頭報告與被拒絕的論文之間的分歧非常小，同時製成海報展覽的論文與被拒絕的論文之間的分歧也非常少。此外，祝賀Max等，因為""是唯一一篇雙方都同意應該進行口頭報告的優秀論文:)文本形式的混亂矩陣ReinforcementLearningwithUnsupervisedAuxiliaryTasks
最後，幾天前作者在媒體上看到以下這篇由卡洛斯·佩雷斯(CarlosE.Perez）撰寫的文章：""，似乎arxiv-sanity用戶的看法與這篇文章的意見不謀而合。包括LipNet，在這篇文章裡列出的所有論文（同樣可以在arxiv-sanity上找到）應該成為入選論文，和arxiv-sanity用戶的看法出奇一致。TenDeservingDeepLearningPapersthatwereRejectedatICLR2017
討論
注意：這裡存在幾個使結果有所偏斜的因素。例如，arxiv-sanity用戶群的大小隨著時間的推移而增大，所以這些結果可能稍微偏向於後期收錄在arxiv-sanity的論文，因為越往後收錄進網站的新論文越容易引起更多用戶的關注。除此之外，論文被看到的頻率並不相同。例如，如果論文被有名人士轉發，看到論文的人會更多，將論文添加到他們library的人也會更多。最後，另一個更好地說明傾斜存在的理由是，在arxiv-sanity，好論文的曝光率會更多，因為收錄在arxiv-sanity的論文不是匿名的，好論文當然會得到更多的關注，在ICLR同樣存在這種特殊情況，所以在這一點上雙方沒有區別。
終上所述，AndrejKarpathy從這個實驗得出的結論是：哪些投稿論文可以入選ICLR的徵兆很多。而且結果是從網際網路這個自下而上的評選過程中「免費」獲得的，而不用幾百人用幾個月時間才能得出結果。作者想對被拖延幾個星期或者幾個月，長時間處於巨大壓力下，忍受來回辯駁痛苦的提交方或者審查方說：也許你們不需要這麼痛苦。或者至少，改進的空間很大。
更多資訊請關注雷鋒網。
via,雷鋒網編譯，頭圖viaJuliaManzerova@flickrmedium