深度學習三巨頭Yann LeCun、Yoshua Bengio和Geoffrey Hinton於2015年5月底發表於《Nature》雜誌的綜述文章「Deep Learning」表明，深度學習算法已經成為解決各種行業問題、賦予應用智能的關鍵技術之一，即便從整個自然科學界來看，深度學習對人類未來的發展也是影響深遠。
當然，Yoshua Bengio也在最近的博文中表示，AI光靠幾個媒體明星是遠遠不夠的，需要成千上萬科學家和工程師的工作，才能達成更大的進步並實現更多的應用。在深度學習領域，我們平日關注的更多是在算法層面，但其實行業巨頭一直默默在做的，還包括了底層計算系統的設計和優化。
深度學習的潛力
CNN（Convolutional Neural Network）在視覺識別、物體檢測、音頻處理領域的進展已是眾所周知，Google、微軟、Facebook、百度在這方面發布了無數成果，他們在ImageNet挑戰上你追我趕破記錄的速度也讓媒體目不暇接，而Face++、格靈深瞳、圖普科技這樣的創業團隊也都在通過使用CNN提升視覺識別精度作為核心競爭力。
在語音識別領域，RNN處理序列數據的優勢也不難理解。不管是百度，還是科大訊飛，都已經通過LSTM模型降低語音識別的錯誤率，百度最新公布的普通話識別率是96%，訊飛則實現了12種方言的成功識別。
視覺、語音的成果讓機器能夠看懂、聽懂人類的世界，改變人機互動的模式，所以國內外的科技公司紛紛組建深度學習實驗室，從學術界或者其他公司聘請來各路大神領導研究。再不濟的，也要和研究實力較強的高校開展合作。不過，Yann LeCun、Yoshua Bengio還對未來深度學習帶來的NLP革命表示期待。LeCun已經選擇了問答和自然語言對話系統作為下一個重點。
其實，京東已經用深度學習做一些NLP相關的工作。藉助京東DNN實驗室開發的基於DNN的自動應答系統，京東上線了JIMI智能客服機器人來代替部分人工服務。其中，DNN的主要作用是命名實體識別和用戶意圖識別，通過SGD和word2vec的結合來訓練模型，NER相比傳統的CRF方法有6個百分點的提升。目前，京東在探索用RNN來提升效果。當然，微軟、百度的機器翻譯，也屬於深度學習在NLP領域的最新進展。
借鑑神經科學的深度學習，也反哺了生物科學領域。在兩個多月之前，原華大基因CEO王俊宣布辭職，轉攻人工智慧和基因測序的結合。他曾經介紹華大基因的小米種植技術，基於對基因的了解，對大數據的收集和對深度學習模型的訓練，預測小米的成長情況，準確性可以達到90%。
醫學圖像分析和藥物研發也是深度學習大神們的興趣點。此外，氣象、城市交通、空氣品質的預測，都有很多機構在進行採用深度學習技術的探索。
深度學習的硬體難題
我們知道，人工神經網絡理論其實在上個世紀80年代就已經出現，但因為實現難度一直被未成主流。深度神經網絡之所以能在近年回歸，得益於當前的數據量和計算能力能夠支撐起足夠大的網絡，實現很好的效果。藉助於pre-train和BP算法，深度學習可以讓那些擁有多個處理層的計算模型來學習具有多層次抽象的數據的表示，各層的特徵都不需人工設計，而是使用一種通用的學習過程從數據中學到，並且良好的特徵也不需要大量的工程技術和專業領域知識，所以可用計算能力和數據量的增加很容易帶來精度的提升。
換個角度來說，深度學習可能的一個瓶頸，也就是計算力。在談到深度學習是否會取代傳統機器學習時，京東DNN實驗室首席科學家李成華曾表示，深度學習門檻較高，硬體要求也高。TalkingData CTO肖文峰甚至表示，深度學習為提高精度付出的成本太高，有時候甚至會有數量級的成本增加，這其中也包括了硬體的因素。
回頭來看，Google研究員賈揚清在讀博期間，如果不是獲得NVIDIA捐贈的一塊顯卡，他是否能開發後來廣泛影響學術界和工業界的深度學習開源框架Caffe，也還未可知。
HPC為彌補這個瓶頸帶來了希望，當前的HPC依賴於並行計算，與深度神經網絡模型的運行方式也恰好契合，而浮點運算、矩陣運算能力出色的GPU，也成為加速神經網絡的好選擇。所以，熱衷於深度學習的各大公司都已經在構建自己的高性能計算集群。例如，阿里雲在2015年7月宣布推出基於GPU的高性能計算服務，支持深度學習的應用，隨後迭代出以深度學習為重要特性的DTPAI平臺。阿里雲CTO章文嵩預測，在大數據和深度學習的刺激之下，GPU高性能計算將成為雲技術的下一次爆發點。
在最近的百度世界大會上，百度高級副總裁王勁在接受採訪時確認了百度正在運行一個基於FPGA加速的百度大腦版本，CSDN之前的文章《深度學習成長的煩惱》中對此已有說明。在此之前，我們已經知道百度在ImageNet挑戰中取得的成績離不開其超級計算機Minwa（36個伺服器節點，每個節點2個六核Xeon E5-2620和4個NVIDIA Tesla K40m GPU）。同時，微軟也在嘗試採用FPGA加速神經網絡，這說明，巨頭們對通過硬體平臺的強化來提升神經網絡效果的渴望可謂「慾壑難填」。
騰訊方面，其Mariana Cluster，也是基於GPU集群進一步提升模型規模和訓練性能。另據李成華透露，京東也正在搭建一個開放計算平臺，採用GPU加速，預計明年會在整個京東大規模運用。至於另闢蹊徑研發的類腦處理器的IBM，那就更不用說了。
對於移動終端、智慧機器人中的深度學習訓練，因為海量數據傳輸的難度，可能依賴於體積微小的神經網絡晶片在本地來為神經網絡加速，但對於承載更多複雜任務的「雲大腦」而言，GPU和FPGA的加速能力才是解決燃眉之急的良藥。目前來看，業界更普遍採用的是GPU，這是因為GPU通用性更強，軟體棧和生態圈完備，NVIDIA、AMD都做了很多相關的努力。不論何種方式，深度學習應用要關注硬體平臺、與HPC結合，則是毫無疑問的。不過，單機多卡、多機多卡的並行計算，要如何做好資源的調度，以及保證梯度或者數據的高效傳遞，這對於大部分的從業者來說，還是相對嶄新的課題。
將於9月24日在北京召開的的2015高性能計算用戶大會（HPCUF2015），同樣也關注了深度學習的應用，並專門設置了一個「深度學習」分論壇。深度學習的先行者，科大訊飛深度學習平臺研發主管張致江，百度科學家、深度學習研究院算法組和自然語言理解組負責人周杰，阿里巴巴計算資深專家王琤，奇虎公司數據挖掘專家王佔一等四位用戶DL專家，將分別分享深度學習在語音識別、網際網路應用、流量識別、視覺識別中的應用，以及HPC如何支持這些應用。浪潮HPC應用研發經理張清則會從高性能計算的角度，帶來「基於HPC的Caffe深度學習平臺」的介紹。
當然，深度學習領域在工業界和學術界的結合從來都是很緊密的。所以，本次大會也請來了深度學習領域知名學者、新加坡國立大學Associate Professor顏水成，發表題為「Deep Learning: from AI to True-AI」的Keynote。另外一位學者是美國伊利諾伊大學香檳分校新加坡高等研究院研究科學家、清華大學2015年中組部青年千人計劃入選者魯繼文，他將闡述「深度度量學習在視覺分析中的應用」。
Yoshua Bengio堅信，只要大家齊心協力，就一定可以通過更為強大的能處理海量數據集的計算機，成規模地增加深度學習的技術和方法，幫助計算機跨越更廣泛的領域，從更多種類的數據來源中學的更快更多，包括那些還未被人類運用的不能被標註的海量數據。所以，如果您想從深度學習技術進展中獲益，不妨關注HPCUF2015。
更多詳情，請猛戳左下角「閱讀原文」吧！
移動一小步，視界大不同！
更多程式設計師技術交流，奇聞軼事，
歡迎掃描下面二維碼下載CSDN Android、iOS移動客戶端。