譯者：Icarus、、Maker、這麼辣雞嗎、Clara
來源：AI研習社
以下所有的論文都是免費的，涵蓋了從超梯度到CNN的產量響應建模等一系列主題。每位專家還附上了論文被選中的原因以及簡短的個人簡歷。
Jeff CluneOpenAI的研究團隊負責人我們在一月份的時候就和Jeff談過，當時他不能只選一篇論文作為必讀，所以我們讓他選了兩篇。下面列出這兩篇論文。本文解讀了兩個關鍵的討論點，即稀疏訓練數據的局限性，以及循環網絡是否能在完全監督的情況下支持元學習。這些要點在七個概念驗證實驗中得到了解決，每個實驗都研究了深度元RL的一個關鍵方面。我們考慮了擴展和擴大該方法的前景，同時也指出了一些對神經科學的潛在重要影響。點擊這裡閱讀更多內容。
Jeff推薦的第二篇論文通過在整個訓練過程中倒鏈導數，計算出所有超參數的交叉驗證性能的精確梯度。這些梯度允許對數千個超參數進行優化，包括步長和動量計劃、權重初始化分布、豐富的參數化正則化方案和神經網絡架構。
Shalini Ghosh三星研究美國公司智能電視部門首席科學家（全球）和機器學習研究團隊負責人
這篇1997年的開創性論文的思想是超前於那個時代的。直到最近（即過去6年左右），硬體加速器才有能力運行LSTM的訓練/服務操作，從而使得LSTM成功用於許多應用（如語言建模，手勢預測，用戶建模）。LSTM基於記憶的序列建模架構非常有影響力——它啟發了許多最新的改進方法，例如Transformers。這篇論文對我的工作影響很大。本文討論了近期流行的對象檢測模型RetinaNet的創新變體，並介紹了增量學習的範例，該範例的此應用和其他對於多模式學習應用是很有效的。本文中使用的關鍵思想和增量學習公式對從事CV工作的任何人都有用，並且可以為對行動裝置有效的高效增量算法鋪平未來創新的道路。
Kenneth StanleyCharles Millican教授（UCF）和Uber高級研究經理Ken之所以選擇這篇論文，是因為它給出了一個獨特的例子，說明了新興行為，並暗示了開放性的開始。論文本身找到了明確的證據，證明在我們的環境中，代理策略有六個湧現階段，每一個階段都會給對方團隊帶來新的壓力，讓他們去適應；例如，代理學會了使用可移動的盒子來建造多物體掩體，這又導致代理發現他們可以使用坡道來克服障礙。我們允許Ken也加入了他自己和他的同事們的一篇論文，他的建議是 "關於開放式挑戰的非技術性介紹"。這篇論文在描述中解釋了這個挑戰到底是什麼，如何解決了它的驚人意義。
Andriy推薦了2017年的這篇論文，因為用他自己的話說，"它將NLP與BERT等預訓練的Transformer模型帶到了一個全新的高度"。論文提出了一種新的簡單網絡架構--Transformer，完全基於注意力機制，完全免除了遞歸和卷積。在兩個機器翻譯任務上的實驗表明，這些模型在質量上更勝一籌，同時更可並行化，所需的訓練時間也大大減少。
Andrew NGLanding AI創始人兼執行長；deeplearning.ai 創始人當我們聯繫Andrew時，腦海中並沒有具體的論文，然而，我們被引導到他最近的一篇帖子，其中突出了他認為可能感興趣的兩篇論文。下面引用了這兩篇論文。在這項工作中，Andre等人提出了一種卷積神經網絡(CNN)來捕捉不同屬性的相關空間結構，並將它們結合起來建模產量對養分和種子率管理的響應。利用九個農場實驗構建了一個合適的數據集，對CNN模型進行訓練和檢驗。評估了四種組合了網絡中不同階段的輸入屬性的體系結構，並將其與最常用的預測模型進行了比較,在這裡閱讀更多關於文章的內容。本文評估了深度學習算法與醫療保健專業人員在使用醫學成像對疾病進行分類時的診斷準確性。進行樣本外外部驗證的研究包括在meta-analysis中，使用統一的分層模型。
Gregory Piatetsky-ShapiroData Scientist,KDnuggets President當我們聯繫到Gregory時，他建議他的論文選擇是基於試圖理解AI和ML的大趨勢，最近的兩篇論文對他來說非常突出。「我最近讀了兩篇重要的論文，下面是Gary & Francois的文章。我還推薦看Yoshua Bengio和Gary Marcus在Montrea進行的辯論。」本文介紹了人工智慧和機器學習的最新研究，這些研究在很大程度上強調了通用學習和越來越大的訓練集和越來越多的計算。與此形成對比的是，加裡提出了一種混合的、知識驅動的、基於推理的方法，以認知模型為中心，可以為比目前可能的更豐富、更健壯的人工智慧提供基礎。Gregory的第二個建議是François Cholle的「關於智力的衡量」。本文總結和批判性地評價了智力測量的定義和評價方法，明確了隱含指導它們的兩個歷史智力概念。然後，弗朗索瓦在算法資訊理論的基礎上提出了一個新的智力正式定義，將智力描述為技能獲得效率，並強調了範圍、推廣難度、先驗和經驗等概念。
Myriam Cote顧問Myriam的建議包括機器學習及其對環境的影響。氣候變化是人類面臨的最大挑戰之一，機器學習專家想知道如何提供幫助。在本文中，作者描述了機器學習如何成為減少溫室氣體排放和幫助社會適應氣候變化的有力工具。從智能電網到災難管理，他們通過與其他領域合作來發現目前影響較大的問題，這些問題可以通過機器學習的方法來進行解決。
Kirk Borne首席數據科學家和數據科學研究員， 博思艾倫諮詢公司執行顧問 「這篇論文已有一定年份，且不是技術性文章，但是它涵蓋了許多你需要思考的基本問題，業務決策點，算法特徵，度量和數據特徵，測試和驗證在操作環境中部署AI算法。我之所以喜歡這篇文章，也是因為推薦引擎很受歡迎且在不同的行業中使用，得到了所有人（甚至是非專家）的認可。因此，本文可以迅速為學生（包括其他人）獲得對算法的深入理解和樂趣。因公眾號限制無法發布外鏈，可在公眾號後臺回復「
13篇論文」獲得每篇論文下載連結。
AI研習社是AI學術青年和開發者社區，為大家提供一個頂會資訊、論文解讀、數據競賽、求職內推等的技術交流陣地，歡迎登陸www.yanxishe.com加入我們吧～
投稿、轉載、媒介合作聯繫微信號 | bajiaojiao-sz
商務合作聯繫微信號 | LJ18825253481