2020年深度學習發展大盤點及對2021年深度學習的未來展望|極客雲算

深度學習框架作為AI底層工具，對個人而言是進入深度學習世界的一把鑰匙，掌握深度學習框架並不等於理解了深度學習，要在AI開發中有所作為，關鍵還是要真正理解框架背後的技術、實踐和生態。隨著近年來的人工智慧發展，2020年深度學習依然是發展最快的領域之一，直奔未來工作。其發展是多方面的，而且是多方位的。以下是對2020年發展中一些突出亮點的梳理與盤點及2021年對深度學習的未來展望。

2020年深度學習發展大盤點：

2020年1月

OpenAI宣布將PyTorch作為其標準的深度學習框架

AI研究組織OpenAI宣布PyTorch為其新的標準深度學習框架。PyTorch將提高其在GPU上的大規模研究生產率。在PyTorch的支持下，OpenAI將其生成式建模迭代時間從幾周縮短到幾天。

PyTorch的易用性是毋庸置疑的「王牌」。越來越多的人因為這一點開始學習PyTorch，不過其在工業界的部署問題也不容迴避。顯然，當你充分了解到這些利弊時，就應該明白這些深度學習框架都是工具，學的越多，可選擇的餘地越大。

2020年3月

(1)Megvii開源深度學習AI框架

中國的初創公司MegviiTechnology表示，將把其深度學習框架開源。MegEngine是Megvii專有AI平臺Brain++的一部分。它可以在廣泛的範圍內訓練計算機視覺，並幫助世界各地的開發人員構建商業和工業用途的AI解決方案。

當前，人工智慧技術發展和應用落地速度較快，但對於大多數公司而言人工智慧技術發展所需要的人才、資金、時間成本仍然是瓶頸所在。深度學習框架是人工智慧基礎設施中的基礎工具，是AI產業商業化的重要根基。如果沒有框架，傳統的研發異常艱苦，需要複雜的算法工程、漫長的研發周期、巨大的人力成本。

(2)Keras2.4.0發布

新版本清除了關於tf.keras和獨立的Keras包之間的不兼容和差異的困惑。現在，一個單一的Keras模型--tf.keras--已經投入使用。

Keras已經催生了新的創業公司、提高了研究者的成果率、簡化了大公司的工程流程圖、並為數以千計沒有機器學習經驗的人打開一扇通向深度學習的大門。

(3)華為技術有限公司開源"Mindspore

華為技術公司開源了MindSpore，這是一個面向移動、邊緣和雲場景的深度學習訓練框架。該框架是輕量級的，正在給TensorFlow和PyTorch帶來激烈的競爭。

它可以跨設備擴展，並且在自然語言處理(NLP)等功能上使用的代碼減少了20%。它還支持並行訓練，節省不同硬體的訓練時間，並維護和保存敏感數據。

作為一款「全場景AI框架」，MindSpore是華為人工智慧解決方案的重要組成部分，與TensorFlow、PyTorch、PaddlePaddle等流行深度學習框架對標，旨在大幅度降低AI應用開發門檻，讓人工智慧無處不在。

MindSpore本身並不處理任何數據，而是只攝取預處理後的模型和梯度信息，保持模型的魯棒性。

2020年4月

IBM公司的CogMol加速了COVID-19的治療開發

IBM的深度學習框架CogMol將幫助研究人員加速治癒COVID-19等傳染病。新框架將解決當前"生成式人工智慧模型以創建新型肽、蛋白質、候選藥物和材料"中的挑戰。

2020年6月

(1)ABBYY開源NeoML，深度學習和算法的框架

ABBYY，宣布推出NeoML。它是一個用於構建、訓練和部署ML模型的開源庫。NeoML是一個跨平臺的框架。它針對在雲端、桌面和行動裝置上運行的應用進行了優化，並支持深度學習和機器學習算法。

ABBYY的工程師使用它來完成計算機視覺和NLP任務。這些任務包括圖像預處理、分類、OCR、文檔布局分析以及從文檔中提取數據，這些文檔可以是結構化的，也可以是非結構化的。

與流行的開源庫相比"NeoML為運行在任何設備上的預訓練圖像處理模型提供了15-20%的性能。"該庫被設計為處理和分析多格式數據(視頻、圖像等)的綜合工具。較高的推理速度與平臺獨立性的結合使該庫成為需要無縫客戶體驗和設備上數據處理的移動解決方案的理想選擇。

(2)FINDER發布

網絡科學家多年來一直在努力解決一個重要問題。他們一直在試圖確定最影響網絡功能的關鍵角色或一組最佳節點。

今年6月，中國國防科技大學、加州大學洛杉磯分校(UCLA)和哈佛醫學院(HMS)的研究人員發表了一個名為FINDER(FindingkeyplayersinNetworksthroughDeepReinforcementlearning)的深度強化學習(DRL)框架。它在一小套合成網絡上進行訓練，然後應用於真實世界的場景。該框架可以識別複雜網絡中的關鍵角色。它發表在《自然機器智能》的一篇論文中。

2020年8月

(1)scikit-learn發布了0.23版本

新版本包括一些新的主要功能，並修復了上一個版本中的bug。其主要功能包括：廣義線性模型，以及梯度提升的泊松損失;豐富的估計器的可視化表示;對KMeans的可擴展性和穩定性的改進;對基於直方圖的梯度提升估計器的改進;對Lasso和ElasticNet的樣本權重支持。

2020年9月

亞馬遜出版《深度學習分析》《DiveintoDeepLearning》一書

亞馬遜團隊在書中加入了關鍵的編程框架。這本書--DiveintoDeepLearning--是通過Jupyter筆記本起草的，整合了數學、文本和可運行代碼。它是一個完全開源的實時文檔，可觸發更新為HTML、PDF和筆記本版本。

雖然這本書最初是為MXNeT編寫的，但其作者也將PyTorch和TensorFlow加入其中。

對於對深度學習感興趣的學生、開發者和科學家來說，亞馬遜的這本書是一個很好的開源資源。

2020年10月

(1)《自然機器智能》雜誌發表了一個突破性的模型

今年10月，來自維也納理工大學(TUWien)、奧地利IST和美國麻省理工學院(MIT)的一個國際研究團隊公布了一個新的人工智慧系統。這個新時代的人工智慧系統建立在線蟲等微小動物的大腦上，只需幾個人工神經元就能控制車輛。

與以往的深度學習模型相比，該方案具有顯著的優勢。遠離了臭名昭著的"黑盒子"，它可以處理嘈雜的輸入，並且簡單易懂。該模型發表在《自然機器智能》上。

(2)MIScnn發布

MIScnn是一個開源的Python框架，用於卷積神經網絡和深度學習的醫學圖像分割。

它擁有直觀的API，只需幾行代碼就能快速設置醫學圖像分割管道。MIScnn還具有數據I/O、預處理;貼片式分析;數據增強;度量;具有最先進的深度學習模型和模型利用的庫;以及自動評估。

(3)TensorFlow2.3發布

tf.data解決了輸入管道瓶頸，提高了資源利用率。對於高級用戶來說，它的訓練速度有所提高。tf.data允許用戶在不同的訓練運行中重複使用輸出，從而釋放出額外的CPU時間。

TFProfiler增加了一個內存剖析器來可視化模型的內存使用情況，以及一個Python追蹤器來追蹤模型中的Python函數調用。它還提供了對新的Keras預處理層API的實驗性支持。

開發人員可以利用這個新功能，創建物體偵測模型，模型本身就能包含調整大小、縮放和正規化層，也就是說，該模型的輸入可以接受任何尺寸的圖像，並自動正規化像素值。

(4)PyTorch1.7.0發布

它包括許多新的API，包括"支持NumPy兼容的FFT操作、剖析工具，以及對分布式數據並行(DDP)和基於遠程過程調用(RPC)的分布式訓練的重大更新。"

2021年深度學習未來展望：

隨著邁入2021年，我們期待在深度學習領域有更多令人印象深刻的新進展出現。馬克-庫班曾說說。"人工智慧、深度學習、機器學習--不管你在做什麼，如果你不懂的話，就學趕緊學起來吧。因為否則你的知識將在3年內成為老古董。"

馬克.庫班的這個觀點可能聽起來很極端——但是它所傳達的信息是完全正確的！我們正處於一場革命的旋渦之中——一場由大數據和計算能力引起的革命。

隨著對這些技術的需求和興趣的激增，在這一領域出現各種新的模式，簡單地說，如果具有技術能力或在某種程度上與創新有關。

如：

1）超自動化的機器學習

2）業務預測與分析

3）自動化

4）機器學習與物聯網的交集

5）更快的計算能力

6）強化學習