2015 年結束了，是時候看看 2016 年的技術趨勢，尤其是關於深度學習方面。新智元在 2015 年底發過一篇文章《深度學習會讓機器學習工程師失業嗎？》，引起很大的反響。的確，過去一年的時間裡，深度學習正在改變越來越多的人工智慧領域。Google DeepMind 工程師 Jack Rae 預測說，過去被視為對於中型到大型數據集來說最佳的預測算法的那些模型（比如說提升決策樹（Boosted Decision Trees）和隨機森林）將會變得無人問津。
深度學習，或者更寬泛地說——使用聯結主義架構的機器學習算法，可能會讓機器學習算法變成過去時，因為深度學習算法還遠遠不是飽和狀態。在未來的幾年裡，很有可能會出現一些訓練深度神經網絡的方法，讓它們能夠顯著提升性能。在優化方法、激活功能、聯結結構以及初始化步驟之間，還有一些突破出現的空間。
這很可能讓很多機器學習算法接近出局的邊緣。
那麼，2016 年是否能看作深度學習正式統治人工智慧的一年？如果是這樣，我們又能為此做好什麼準備？新智元整理了業內人士關於 2016 年的深度學習技術展望，以及 2015 年深度學習最流行的 10 大框架。
IIya Sutskever：OpenAI 的研究部負責人
我們期待看到更深度的模型（Deeper Models），相比今天的模型，它們可以從更少的數據中學習，尤其是在非監督學習方面，會有顯著的進步。我們還可以期待，在語音識別和圖像識別領域，我們能看到更加精準而且有用的結果。
Sven Behnke：波恩大學全職教授，智能系統小組主任
我期待深度學習技術，會在那些日益增多的多結構數據問題中得到應用。這會給深度學習帶來新的應用領域，包括機器人，數據挖掘和知識發現。
Christian Szegedy：Google 高級工程師
現在的深度學習算法和神經網絡，距離理論上可能的表現還很遠。相比一年以前，我們現在的視覺神經網絡模型，它的價格便宜了 5 到 10 倍，處理的參數少了 15 倍，但表現的還更好。這背後是更好的網絡結構和更好的訓練方法。我相信這僅僅是開始，深度學習算法會如此便宜，它能運行在便宜的手機設備中，而且不用更多的硬體設備支撐，也不需要額外的存儲器。
Andrej Karpathy：史丹福大學計算機科學博士，OpenAI 的研究工程師
我看到了一個趨勢，結構會趨於更大，更複雜。我們會建造一個超大型的神經網絡，能夠交換神經網絡組件，提前訓練部分網絡，增加新的模塊，連帶調整所有組件。例如，卷積神經網絡曾經是最大的深度神經網絡，但是今天它們被分離出來，作為新的大型神經網絡一部分。相似的，現在的這些神經網絡，也會是新一年更大型神經網絡的一部分。我們在學習樂高玩具的拼法，學會如何把它們高效拼接在一起。
Pieter Abbeel：UC 伯克利大學助理教授，Gradescope 聯合創始人
依賴於監督技術的深度學習垂直領域，需要用新的方法（NLP）超過現有的技術表現。我們會看到深度學習在非監督學習和增強學習方面的突出表現。
Eli David：Deep Instinct CTO
在過去兩年，我們看到了深度學習在各個領域獲得很大突破。但即便如此，5 年之內並不會達到人類水平的聖杯（但我認為，終其一生這會出現）。我們在各大領域看到極大的突破。特別的，我認為最具有希望的領域，來自於非監督學習，這個世界的大部分數據是沒有標籤的，而且我們大腦本身，也是非常好的非監督學習盒子。
當 Deep Instinct 成為第一個在安全領域使用深度學習的公司時，可以預計有更多的公司也會使用深度學習來部署。但是深度學習的門檻還是非常高，尤其對於網際網路安全公司來說，他們其實並不使用人工智慧工具（只有很少的解決方案使用了傳統的機器學習技術）。所以深度學習要在安全領域得到大規模應用，還會經過很多年的時間。
Daniel McDuff：Affectiva 研究主管
在計算機視覺、語音分析以及其他領域，深度學習已成為機器學習中的支配形式。我希望使用 1 到 2 個 GPUs 就能部署的準確識別系統，能夠讓開發者們把新的軟體部署到真實世界。我希望更多的焦點會放在非監督訓練，或者半監督訓練的算法上。
Jörg Bornschein：Google 學者，在加拿大前沿技術研究院（CIFAR）
預測未來總是很難的。當我們在大規模系統裡考慮機器學習，在機器人控制的系統領域，或者在大規模系統裡的大腦系統，非監督、半監督和強化學習會扮演愈發重要的角色。很明顯的是，單純的監督學習方法在理論上受到太多限制，很難解決實際問題。
Ian Goodfellow：Google 高級研究工程師
我預測在未來5年的時間裡，我們的神經網絡可以概括視頻裡發生了什麼，而且有能力生成短視頻。神經網絡已經成為視覺任務的標準解決方案。我預測神經網絡會成為 NLP 和機器人任務的標準解決方案。我還預測神經網絡會在其他科學領域扮演重要工具，例如在基因行為預測，藥物，蛋白質，新的醫療方案等。
Koray Kavukcuoglu & Alex Graves：Google DeepMind 研究工程師
很多事情會在未來 5 年發生。我們預測非監督學習和增強學習越發重要。我們也預測多方式學習（Multimodal Learning）的興起，而且會超越個體數據集進行學習。
1.Keras
Keras 是非常極簡、高度模塊化的神經網絡庫，用 Python 寫成，而且能運行在 TensorFlow 和 Thenao 的頂層。它的設計初衷是實現更快的實驗，讓從想法到結果的時間儘可能少，這是做好研究的關鍵所在。
2.MXNet
輕量、便攜、靈活性強的分布式/移動深度學習系統，並能對動態的、突變的數據流進行調度。MXNet 能支持 Python、R、Julia、Go、Javascript 等程式語言，是出於效率和靈活性設計的深度學習框架。它能夠給深度學習程序增加一些小佐料，而且能最大化產品效率。
3.Chainer
深度學習的神經網絡靈活框架。Chainer 支持各種網絡架構，包括 Feed-forward Nets、Convnets、Recurrent Nets 和 Recursive Nets。它也支持 per-batch 的架構。Chainer 支持 CUDA 計算，它在驅動 GPU 時只需要幾行代碼。它也能通過一些努力，運行在多 GPUs 的架構中。
4.Sickit-Neuralnetwork
深度神經網絡的實施，而且沒有學習崖（Learning Cliff）。這個庫能夠執行多層感知器，自動編碼器和遞歸神經網絡，它運行在穩定的 Future Proof 交互界面，並能和對用戶更加友好的 Scikit-Learn 以及 Python 交互界面兼容。
5.Theano-Lights
Theano-Lights 是基於 Theano 的研究架構，提供最近一些深度學習模型的實現，以及便於訓練和測試功能。這些模型不是隱藏起來的，而是在研究和學習的過程中，有很大的透明性和靈活性。
6.Deeppy
基於 Theano 高度擴展性的深度學習框架。
7.Idlf
Intel 的深度學習框架。
Intel Deep Learning Framework（IDLF）是一個 SDK 庫，為深度神經網絡提供訓練和執行。
它包括一些 API，能夠把構建神經網絡拓撲作為計算工作流程，進行函數圖形優化並執行到硬體。我們最初的重點是驅動部署在 CPU（Xeon）和 GPU（Gen）上神經網絡的物體識別（ImageNet 拓撲）。
這個 API 的設計，使我們未來能很容易支持更多的設備。我們的關鍵原則是在每個 Intel 支持的平臺上實現最大性能。
8.Reinforcejs
Reinforcejs 是一個增強學習庫，能夠執行常見的增強學習算法，而且可以做 Web 端的 Demos。這個庫現在包括：
動態規劃方法（Dynamic Programming Methods）
時間差分學習（Temporal Difference Learning）（SARSA/Q-Learning）
Deep Q-Learning
Stochastic/Deterministic Policy Gradients 和 Actor Critic 架構
9.OpenDeep
OpenDeep 是服務於 Python 的一個深度學習框架，建立在 Theano 的基礎上，專注在靈活性和易用性，為行業的數據科學家和前沿研究者服務。OpenDeep 是一個模塊化、易擴展的架構，能夠用來構建幾乎所有的神經網絡框架，以解決你的問題。
10.MXNetJS
MXNetJS 是一個 DMLC/MXnet 的 Javasript 包。MXNetJS 能給瀏覽器帶來最新水平的深度學習預測 API。它通過 Emscripten 和 Amalgamation 運行。MXNetJS 允許你在各種計算圖像中，運行最新水平的深度學習預測，並給客戶端帶來深度學習的樂趣。
Via：新智元