新智元報導
來源：Medium
編輯：智能禪師
【新智元導讀】本文總結了2018年下半年，最火的開源框架、模型，以及社區。同時還提到一個有趣的現象，每20分鐘就有一篇AI論文現世。最後作者為新智元讀者推薦3本經典深度學習教程。
禪師從來沒有感受過像2018這麼冷的寒冬。所有的行業，仿佛都像中了冰凍減速一樣，又慢，又冷。
可就在這一片冷清中，有一個領域卻成了這個冬天裡，為數不多的火爐：深度學習（Deep Learning）。
距離聖誕節還有2周；離元旦還有3周。眼看今年的餘額就要用完了，可各大論文網站卻依然沒有任何，要盤點這半年來深度學習技術發展的跡象。
於是兩個人坐不住了。他們是Ross Taylor和Robert Stojnic，兩人想辦法搞到了Papers With Code的數據。
Papers With Code是一個社區，致力於將DL研究論文和代碼實現相結合。
本文由原作者Ross Taylor授權新智元發布。Ross Taylor來自倫敦，畢業於劍橋大學。Atlas ML公司聯合創始人，CTO。
兩個小夥子，就這麼對著這些天真無邪的數據，下手了！花了兩個星期，總結出2018下半年，深度學習最關鍵性的技術發展。
大廠發布的最受歡迎開源模型
第一名必須是Google AI發布的BERT
業界有種說法，NLP是人工智慧最後的皇冠，顯然BERT是目前這個皇冠上最璀璨的明珠。
BERT模型全稱Bidirectional Encoder Representations from Transformers，是一種新型的語言模型，通過聯合調節所有層中的雙向Transformer來訓練預訓練深度雙向表示。
只需要一個額外的輸出層，對預訓練BERT進行微調，就可以滿足各種任務，根本沒有必要針對特定任務對模型進行修改。這就是為什麼BERT模型能做在11項 NLP 任務上取得突破進展的原因。
Google AI的BERT論文，在10月份一經發布就獲得廣泛關注。隨後Google AI開源了BERT，在Github上已經獲得超過8000星。
第二名是NVIDIA（英偉達）的vid2vid (Video-to-Video Synthesis)
這個模型最厲害的地方在於，可以根據已有視頻，渲染出非常逼真的新視頻。比如，禪師跳舞非常沒有天賦，但是禪師又很希望能跳的跟抖音啊、B站啊、快手上的網紅一樣好。
於是禪師就可以找一段網紅跳舞的視頻，同時把自己的形象作為輸入，交給vid2vid。最終，vid2vid可以渲染出一段禪師跳舞的視頻，跳的跟網紅一樣好。
圖中右邊的男生是論文合作作者，他最後對著鏡頭說「這是機器生成的，不是我跳的」。
第三名是Google DeepMind的graph_nets
圖形網絡可以概括和擴展各種類型的神經網絡，以在圖形上執行計算。 它可以實現關係歸納偏差，這是一種用於推理對象間關係的技術。
圖形網絡框架基於圖形到圖形模型，每個圖的功能都有三個特徵：
節點
邊緣：節點之間的關係
全局屬性：系統級屬性
圖形網絡將圖形作為輸入，從邊緣，節點和全局屬性執行所需的操作和計算，然後返回新圖形作為輸出。
Graph_nets探索如何在深度學習架構中使用關係歸納偏差來促進對實體，關係和組成它們的規則的學習。
最火的開源框架和最活躍的領域
框架方面。兩級分化嚴重，市場基本被兩個巨頭壟斷了。
首先感謝Gogole的用力推廣，TensorFlow毫無疑問的成為最受歡迎的DL框架。
另一個巨頭PyTorch並沒差太多，同樣擁有可觀的用戶量。
而最活躍的領域是NLP和GAN們。
最火的DL社區
第一名是DeOldify項目
創建者Jason Antic實現了生成建模領域的多篇論文中的技術，包括Ian Goodfellow領頭提出的自注意力機制GAN、Progressive Growing GANs、two time-scale update rule。在GitHub上有超過4,000星。
第二名是BERT implementation for PyTorch
社區由Junseong Kim創建。雖說BERT用TensorFlow是順理成章的事情，但PyTorch也有不少簇擁，所以也獲得了不少關注。
第三名是使用Keras/TensorFlow實現Mask R-CNN的社區
項目創建者是Waleed Abdulla。該項目使用FPN和ResNet101 backbone，並且該庫可用於許多應用場景，例如3D建築物重建、自動駕駛汽車的物體檢測、檢測地圖中的建築物類型等。
番外
除了這幾個最火的東西外，還有一些比較有趣的數據，值得回味。
平均每隔20分鐘就會誕生一篇機器學習相關論文
按照這個速度，再過25天，我們就能看到機器學習的論文要突破30000篇了。什麼概念同志們？比4萬少一萬，比2萬多一萬吶！
按照成年人平均閱讀速度300單詞/分鐘來算，20分鐘基本上也讀不完一篇論文。禪師掐指一算，恐怕人工智慧論文審核人員，是唯一不僅不擔心被人工智慧搶走飯碗，反而急切盼望人工智慧來輔助工作的人了。
只有12%的論文包含代碼
經過爬取超過近5年來6萬篇機器學習論文，發現只有12%左右的論文包還有代碼。哪些沒有代碼的論文，意思是讓讀者自己腦補代碼嗎？恐怕不是這樣吧，那麼具體什麼原因呢？恐怕大家心裡也有數。
不過這種情況正在好轉。今年下半年，包含代碼的論文佔有所提升，漲到了15%。
前景展望
可復用性代碼造福更多開發者
社區在可復用性代碼方面雖然取得了不小的進展，但事實上我們只有1/7的覆蓋率，意味著我們還有更多的工作要做。
因此我們認為，在未來，更多的社區將在可復用的開源ML代碼方面，發揮重要作用，從而可以服務更廣大開發者，而不用像過去那樣，只能依賴特定的研究人員。
獨立機器學習社區蓬勃發展
「機器學習獨立社區」，就是那些獨立於在Google或Facebook等大廠之外、由用戶、愛好者自發創建的社區。
獨立社區的發展，將有助於推動代碼的研究發展，以及驗證論文結果是否成功。
BONUS
作者向新智元的讀者推薦了3本對他幫助最大的機器學習、深度學習書籍，分別是：
《深度學習》（又稱「花書」）作者Ian GoodFellow。本書的權威性不用多說，甚至很多知識付費社區會請一個AI相關專業的人作為老師，帶領學員共同學習這本書。有點高考補習班的感覺
《機器學習基於概率論觀點》作者Bishop。注意不是Murphy版本！相比而言，B的教材對數學的要求高，更偏重概率論；M版本話題更寬泛，章節之間獨立性相對較強
《信息理論、推理和學習算法》作者Sir David MacKay。Ross認為本書部分內容與當代科技有所脫節，但整體而言仍然非常經典，值得一讀
希望對有志於投身機器學習的開發者、學者有所幫助。
https://medium.com/atlas-ml/state-of-deep-learning-h2-2018-review-cc3e490f1679
【加入社群】
新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號：aiera2015_2入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。