雷鋒網 AI 科技評論按：隨著 2017 年結束、2018 年開始，各個媒體和研究者都撰寫了各自的年度總結和新年祝願。在過去一年的論文動態裡，除了研究者們在總結文裡根據自己的研究興趣選出論文回顧之外，我們也想看看論文在社交網絡上的傳播情況，看看廣大「群眾」都對哪些論文感興趣。
Twitter 上有個帳號 StatMLPapers 會每天摘錄20篇左右機器學習相關論文分別發推，2017年一年共發送了五千多條論文推特。我們找出了其中點讚最多的10條論文推特，給大家看看是哪10篇論文在twitter上得到了最多的關注。
Top 1. Don't Decay the Learning Rate, Increase the Batch Size
論文地址：https://arxiv.org/abs/1711.00489
內容簡介：當學習曲線不理想的時候，大家通常的選擇是選用更小的學習率。然而在這篇論文中作者提出此時應該換用更大的 batch size，這對 SGD、帶有動量的 SGD、動量 Nesterov、Adam 都有效。更大的 batch size 在同樣的訓練 epoch 之後可以達到同等的測試精度，而所需的參數更新操作更少，這讓更高的並行度和更短的訓練時間都成為可能。作者們還討論了幾個訓練參數之間如何協調。作者們最終用高達 65536 的 batch size 在 ImageNet 上訓練了 Inception-ResNet-V2，只經過 2500 次參數更新就達到了 77% 的驗證準確率。
神經網絡訓練和參數選擇對研究人員們來說往往是玄學般的存在，這篇論文確實幫大家解答了一些疑惑、給出了新的觀點和方法，同時也引發了研究者們之間的更多討論，是一篇有價值的論文。
Top 2. Stopping GAN Violence: Generative Unadversarial Networks
論文地址：https://arxiv.org/abs/1703.02528
內容簡介：這是一篇非常嚴肅的論文（誤）。根據作者們所述，隨著生成性對抗式網絡 GANs 在研究界的流行，其中的「對抗性」也越來越多地激發了人性中的暴力。所以在這篇論文中，作者們對 GANs 引發的財經、社會、信仰、文化、語言以及皮膚問題進行了量化討論，並據此提出了生成式不對抗性網絡（Generative Unadversarial Networks，GUNs），以便為和平做出貢獻。網絡中的生成器 G 會盡力捕捉自己喜歡的數據分布，而鼓勵器 M 則會幫助 G 達到自己的目標。兩個模型間的衝突是絕對禁止的，而且它們能學會尊重它們之間的差別從而變得更好。這是一場共贏的比賽，雙方選手需要肩並肩嘗試達到最高的分數。實驗表明，在和睦的協作中，所提的模型得以同時佔據道德和對數似然的高地。論文的工作基於積蓄已久的、經過反覆詳細討論的匿名 YouTube 評論中的觀點立場，而這也表明了解決網絡和網絡之間的暴力問題需要 GUNs（guns）。
這篇論文正文中還有非常多的笑料，歡迎閱讀雷鋒網(公眾號：雷鋒網) AI 科技評論詳細報導文章「用充滿愛與和平的GUNs挑戰GANs？我可能看了篇假論文」
Top 3. Deep Probabilistic Programming
論文地址：https://arxiv.org/abs/1701.03757
內容簡介：這篇論文中，作者們提出了一種圖靈完備的概率程式語言「Edward」。論文中展示出，概率編程的靈活性和計算高效性就和傳統的深度學習一樣好。Edward 也可以集成在 TensorFlow 中，相比其它現有的概率系統取得了明顯的性能提升。這篇論文也被 ICLR 2017 接收。
4. Generalization in Deep Learning
論文地址：https://arxiv.org/abs/1710.05468
內容簡介：如題，這篇論文圍繞深度學習領域最令人迷惑的開放性問題之一進行了討論，對深度學習模型雖然有很大的容量、可能的算法不穩定、不魯棒、尖銳極點等問題，但還是具有優秀的泛化性的性質給出了自己的解答。基於作者們的理論見解，這篇論文還提出了一組新的正則化方法，其中最簡單的方法也可以幫助基準模型在 MNIST 和 CIFAR-10 中取得有競爭力的表現。此外，這篇論文還提出了依靠數據和不依靠數據的泛化保證，並帶有更高的收斂速度。
5. Deep Learning: A Bayesian Perspective
論文地址：https://arxiv.org/abs/1706.00473
內容簡介：這篇論文中，作者們把貝葉斯概率方法引入深度學習中，為深度學習找到更高效的優化算法和超參數調節方法。傳統的數據降維方法，PCA、PLS、RRR、PPR 等，在基於深度學習的降維方法面前都顯得效果一般。另一方面，貝葉斯正則化方法也可以在尋找網絡的權重和連接中起到重要作用，在預測偏差和穩定性之間取得更好的平衡。
6. GPflowOpt: A Bayesian Optimization Library using TensorFlow
論文地址：https://arxiv.org/abs/1711.03845
內容簡介：又一篇貝葉斯相關的論文，這確實是今年的熱點話題之一。這篇論文介紹了用於貝葉斯優化的新 Python 框架 GPflowOpt。代碼庫基於熱門的高斯過程庫 GPflow，同時也利用到了自動微分、並行化和 GPU 加速等等 TensorFlow 提供的功能。框架已經經過了徹底的測試，文檔也編寫精美，同時提供了一定的拓展性。論文發表時的 GPflowOpt 發行版提供了標準的單一目標獲取函數、最先進的最大熵搜索以及貝葉斯多目標等方法。GPflowOpt 也提供了易用的自定義建模策略。
7. Dance Dance Convolution
論文地址：https://arxiv.org/abs/1703.06891
內容簡介：2017 年 3 月的時候遊戲 AI 還沒有現在這麼火熱，所以這篇用循環神經網絡和卷積神經網絡合力玩遊戲的論文在當時馬上引發了關注。這款遊戲名為 Dance Dance Revolution（勁舞革命），玩家需要跟著音樂的節奏，按遊戲的提示按下上下左右鍵，而這款 AI 的要做的就是為歌曲生成新的動作單（滿足玩家的新鮮感）。AI 模型也就很自然地分為了兩個部分，一部分決定何時布置下一個動作，另一部分選擇一個方向。作者們用 RNN+CNN 從低階音頻特徵中提取節奏特徵用來預測布置動作的時間；而方向選擇的生成式 LSTM 也比傳統的 n 元、固定窗口方法有更好的表現。
雷鋒網 AI 科技評論詳細報導請見 「人工智慧也能玩音樂遊戲，自動學習編曲變身勁舞大師」
8. How Well Can Generative Adversarial Networks (GAN) Learn Densities: A Nonparametric View
論文地址：https://arxiv.org/abs/1712.08244
內容簡介：這篇論文討論了生成性對抗式網絡 GANs 學習數據密度時的收斂速度，同時加入了一些非參數化統計中的思想。作者們提出了一種改進的 GAN 估計器，通過利用目標密度和評價指標的一定光滑性，達到了更高的收斂速度，同時也理論上可以緩解其它文獻中提到的模式崩潰問題。作者們構建了一個極大極小下界，顯示出當維度很高是，這個新的 GAN 中的收斂速度的指數已經逼近了最優值。對於讀者來說，可以把這篇文章看作是對於「在層次化的評估指標下，GAN 學習各種各樣的、帶有不同的光滑性的密度的能力有多好」的回答。
9. A Closer Look at Memorization in Deep Networks
論文地址：https://arxiv.org/abs/1706.05394
內容簡介：這篇論文研究了深度學習的記憶能力，嘗試在網絡容量、泛化能力和對抗性樣本的魯棒性之間建立聯繫。雖然深度神經網絡有能力記憶數據噪聲，不過作者們的研究結果表明，網絡還是傾向於先學習簡單的模式的。作者們通過實驗揭示了基於梯度優化的深度神經網絡在學習噪聲和真實數據之間的量化區別。同時，作者們也表明，對於適當選擇的顯式正則化方法（比如 dropout），用噪聲數據訓練網絡時可以降低網絡的表現，同時並不影響網絡在真實數據上的泛化性水平。作者們的分析還指出，獨立於數據集的「有效容量」這一概念並不能解釋用梯度方法訓練的深度神經網絡的泛化性表現，因為訓練數據自身就能夠對網絡的記憶水平產生影響。
10. On Unifying Deep Generative Models
論文地址：https://arxiv.org/abs/1706.00550
內容簡介：生成式對抗性網絡 GANs 和變分自動解碼器 VAEs 都是強有力的深度生成學習範式，人們也往往把它們看作兩種迥異的方法，分別進行深入研究。這篇論文通過一種新的 GANs+VAEs 方程在這兩種方法之間建立了正式的聯繫。作者們表明，GANs 和 VAEs 根本上都是在縮小各自的後驗概率和推理分布的 KL 距離，只不過是在不同的方向上，從而分別產生了這兩種分時激活的算法。這篇論文中提出的統一視角為分析現有的各種模型變種提供了一個有力的工具，並且可以幫助前沿研究人員們以正式的方法交流觀點。量化實驗結果也表明了不同方法之間互相借用的拓展方法的通用性和有效性。
這十篇論文中毫不意外地包含了工程技術討論和新開發框架介紹的論文，而獨樹一幟的 GUNs （搞笑）論文也讓我們期待起2018年會不會有更多一本正經地搞笑、甚至就是完全開腦洞的論文呢？論文作者們自黑起來畢竟毫不客氣啊。希望2018年大家都能在做出成果、推動學術進步的同時，也在學術研究和社會生活中獲得更多的樂趣。
雷鋒網 AI 科技評論整理編譯
相關文章：
告別高潮迭起的 2017，2018 年人工智慧將走向何方？
回望2017，基於深度學習的NLP研究大盤點
2017年度人工智慧熱門事件大盤點，哪些令你印象最深刻？
迎來 PyTorch，告別 Theano，2017 深度學習框架發展大盤點
2018 年最值得期待的學術進展——致人工智慧研究者們的年終總結
雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。