戴瓊海：深度學習遭遇瓶頸，全腦觀測啟發下一代AI算法

作者 | 青暮、陳彩嫻

編輯 | 陳彩嫻

目前我們還無法精細到神經元級別的觀測，只能從功能層面理解大腦，但這些成果也啟發了很多經典的人工智慧算法，例如卷積神經網絡啟發自貓腦視覺感受野研究，膠囊網絡啟發自腦皮層微柱結構研究。在未來，我們能不能深入到神經元的層面研究大腦，是非常重要的一步。

8月29日至30日，主題為「智周萬物」的2020年中國人工智慧大會（CCAI 2020）在位於江蘇南京的新加坡·南京生態科技島舉辦。

在大會上，中國工程院院士戴瓊海做了主題為《人工智慧：算法·算力·交互》的特邀報告，從算力、算法與人機互動三方面展開了分享，指出光電智能計算是未來算力發展的一大候選，深度學習遭遇算力和算法瓶頸，全腦觀測對於啟發下一代AI算法至關重要，在人機互動的發展中，我們要謹記圖靈的教誨，完善AI倫理，並且機器視覺、觸覺的協同是一大技術重點。

以下是演講全文，AI科技評論進行了不改變原意的整理：

1 光電計算推動AI算力飆升

在人工智慧發展的時代，特定學科的定義越來越含糊，交叉學科成為機器學習的特點。同時，人類在腦力層面進一步依賴機器，並逐漸把更多大腦思考和不可解析的問題交給機器來執行。這其中也涉及到「力量」的問題。

但是，我們發現，在許多由機器輔助或代替人類處理問題的領域裡，如無人系統、量子計算、納米科技、物聯網等，機器的「力量」還不夠，原因在於：現有的許多模型和算法還達不到機器學習的需求。

截止今日，人類在算力方面的研究已有半個世紀。

1956年，Rosenblatt發明第一臺基於感知機的神經計算機，「Mark 1感知機」，僅包含512個計算單元。這臺感知機只能進行初步的數據分類，但無法進行更複雜的算法分類和數據分類，因為算力不夠，後者需要用到更複雜的算法。人工智慧技術發展的低谷主要來自兩方面：一是模型性能差，二是算力不夠。算力實際上就體現了軟體與硬體應如何結合、發展。

1965年，Gordon Moore建立摩爾定理，提出：集成電路晶片上所集成的電晶體數量，每隔18個月翻一番。為什麼每隔18個月就要翻一番呢？這是為了提高算力和算法的可實現性。隨後，在1980年，晶片技術出現。這是資訊時代最偉大的貢獻。計算機晶片加上網際網路，專家系統的投入使用成為一個新的裡程碑。

到了1999年，英偉達為了提升算力，提出使用 GPU進行並行計算，於是出現首個名義上的GPU：Nvidia GeForce 256，算力為50 GFLOPs。這為算力提升起到關鍵作用，也實現了人類腦力的遷移。之後，我們可以看到，2012年，Alpha Go使用176個GPU、1202個CPU，在圍棋上戰勝人類。包括後來2016年，AlexNet性能的提升也得益於GPU，並開啟深度學習的黃金時代。

由此可見，算力對人工智慧的發展和應用有著關鍵影響。興，算力也；亡，算力也。算力的不足，將會導致人工智慧的衰落。

在智能醫療、智能製造、無人駕駛和無人系統等領域，我們需要用到的算法和模型越來越複雜。其次，在網際網路影視、短視頻、網絡直播等行業，據調查，流媒體視頻佔全球網際網路下行流量的58%，2019年8月國內網際網路終端數量突破20億，每月超過20億的註冊訪問量，每分鐘高達500個小時的上傳視頻。

值得注意的是，隨著軍事AI的快速發展，軍事技術對算力的需求也逐漸增長，然而電子摩爾定律逼近極限，傳統晶片瓶頸凸顯。舉個例子，在中程飛彈和遠程飛彈的研發中，光纖牽引頭是一個關鍵點，用於探路與開路，但由於算力不夠，飛彈的飛行速度被制約。如果算力能將飛行識別的速度提高到納秒級、甚至是皮秒級，那麼飛彈的飛行速度就能提高。

人工智慧產業的發展對算力需求呈指數增長，如何從硬體與軟體上提高算力，成為國內外科研者的研究熱點。算力顛覆性提升、催生新國防武器和新應用也成為國際競爭的一個體現。

最近，MIT的一位計算機科學家Charles Leiserson 在《Science》上發表了一篇文章：《There's plenty of room at the Top: What will drive computer performance after Moore's law?》。他們在研究算力上，就上千篇文章進行了細緻的分析，總結出：深度學習正在逼近現有晶片的算力極限；計算能力提高10倍相當於三年的算法改進；算力提高的硬體、環境和金錢成本將無法承受。

我們對人工智慧的期望越來越高，發展AI所承受的壓力也很大。據Intel Nvidia OpenAI的調研顯示，儘管人工智慧對算力的需求快速增長，但算力的提升速度卻逐漸放緩：

那麼，我們接下來要如何提升算力呢？全世界都在討論，最後得出：可以通過晶片架構創新，研製神經網絡專用晶片，以實現算力的提升，滿足人工智慧的發展需求。在國內，有地平線、寒武紀等企業專門在做人工智慧晶片。Google TPU Array做的則是神經網絡的專用晶片。比方說，Alpha Zero便是用了5000個TPU的晶片訓練40天，學會下圍棋，還拿了國際NO.1。

針對人工智慧算力提升的變革，研究人員提出了幾個不同的途徑，包括：量子計算、存算一體架構、類腦計算和光電智能計算。

1、量子計算：

近年來，谷歌、IBM等名企紛紛看中了量子計算的的指數級計算能力，能夠適用於大規模計算場景。但是，搭建量子計算至少要佔用100平米的大房子，因為要保證在特定時間段內捕獲的量子的相關性要強，而且在持續工作中的穩定性要高。所以，量子計算其實屬於特殊的計算應用，對當下，或未來10年、20年的AI算力提升是有難度的。我們希望將算力提升應用到多個方面，而不僅僅是特殊計算。

2、存算一體架構：

存算一體架構使用了憶阻器陣列，存儲和計算是一體的，相當於不用先調用內存中的數據再進行計算，因此能大大提升算力。

3、類腦計算：

類腦計算的目的是希望機器能夠逼近人腦的計算，這樣也能夠提升一定的算力。

4、光電智能計算：

如果將光電智能計算和存算一體架構、類腦計算成功結合起來，算力的提升至少能滿足未來10年、甚至20年內人工智慧對算力的需求。彼時，我們便能證明，人工智慧不是泡沫，現有的難題是因為算力技術遇到了瓶頸。

來自普林斯頓大學的電氣工程教授Paul Prucnal專門對光計算進行了理論推導，推導的結果是：如果用光計算，算力能提升3個數量級。而且，光計算是不需要耗電的，功耗又能下降6個數量級。有了理論的保障後，研究人員提出做光電計算，有望實現速度千倍提升、效率百萬倍提升。

下圖為光計算的發展歷史。光計算的發展與人工智慧的發展路徑很相似。光計算的發展可謂「一波三折」：1956年，雷射器發明，光計算機被提出，信息光學開始飛速發展。但上世紀60年代之後，光計算研究開始走下坡，原因是當時計算機不需要那麼高的算力，電子計算所提供的算力已足夠使用。隨後，在1990年，貝爾實驗室採用砷化鎵光學材料研製出「光計算機原型系統」，但此時光計算只充當開關，不參與計算。2007年，英偉達的GPU快速發展，又衝擊了光計算領域的研究，直到2017年之後，光神經網絡的片上集成實現，光計算才開始突飛猛進。

與人工智慧相比，光計算的騰飛滯後近10年，主要原因為：人工智慧一開始不需要太大的算力，但2017年之後，人工智慧對算力的需求提升，光計算便迅速得到發展。

在未來，研究人員希望通過可控高維光場傳播，來實現高速高效的並行計算，主要措施如下：

1、三維受控衍射傳播實現全並行光速計算；

2、全相位調製99%通關率帶來極低損耗；

3、高維光場信號帶來前所未有的通量帶寬；

4、感存算一體結合超材料實現小型化。

光學作為新的計算必然帶來顯著的變革，比方說：1、範式顛覆傳統：採集與計算無縫銜接，突破存算分離速度制約；2、速度提升至少千倍：計算頻次>1 THz，遠超~GHz電子晶片頻率；3、功能降低百萬倍：光學10^7 GMAC/W/s，電子10GMAC/W/s。

目前，在全球範圍內，有三個重要的機構在進行光電智能計算的研究，分別是麻省理工學院、明斯特大學和劍橋大學、清華大學。對比如下：

光電計算發展起來後，研製超小型智能武器、智能仿生機器人、微型修理機器人和光電計算自動駕駛便容易得多。若光電計算發展得好，雲計算的伺服器功耗也會大大下降，光電計算自動駕駛的速度可以不斷提升。

此外，光電智能晶片也能滿足龐大的計算中心小型化，大規模存儲雲計算的小型化可以做到納秒級目標感知與識別，能夠應用於各類無人系統。不僅如此，光電智能晶片也能應用於新基建，如工業網際網路、計算機視覺、大數據分析，光通訊等。

算力的提升，也意味著我們將突破人工智慧的現有制約。

2 全腦觀測啟發下一代AI算法

人工智慧的新熱潮緊隨深度學習的崛起之後，這也是歸功於算法的發展：

目前，人工智慧的算法在魯棒性、遷移性、能效比、自適應和解釋性等方面仍存在一定的缺陷。

1、魯棒性差

比方說，我們在檢測汽車時使用深度學習算法，汽車的後視鏡亮起尾燈，我們可以通過提升亮度來檢測汽車，但檢測失敗。輸入的小變化引起輸出的大變化，魯棒性較差。

2、遷移性差

深度學習依賴大規模數據集，並且在這些數據集裡面，通常極端場景不足，在特殊場景和新場景的遷移性比較差。

3、能效比低

人腦的正常功耗在20瓦左右，而英偉達的V100 GPU的功耗大概在250瓦到300瓦，其功耗相比人腦還是很大的，因此相對生物神經網絡，現有計算硬體的能效比更低。

4、自適應性差

深度學習模型在自適應方面很差，比如診斷模型，如果在訓練過程中未見過相應的數據，就不能對不同體質、不同病史的人進行診斷。

5、可解釋性差

深度學習網絡是個黑箱，雖然有明顯的效果，但是無法理解產生這些效果的原因。

所以正如獲得了2018年圖靈獎的三位科學家所說，深度學習缺乏魯棒性，不具備學習因果關係的能力，缺乏可解釋性，而人類在無監督學習方面遠遠優於深度學習。因此我們要思考如何做算法創新。

現有的人工智慧僅實現了簡單的初級視覺感知功能，在初級感知信息處理與高級認知過程上的性能遠不如人腦，人腦具有物理學習和數據抽象能力。Hinton、LeCun等認為，深度學習存在極大危機，BP算法有很大局限性，需要推倒重來，再次從大腦的認知模型中尋找靈感。

所以我們還要從神經科學中借鑑很多知識和原理，比如多模數據表示、變換和學習規律，以及反饋方式，認知計算將推動人工智慧的變革，從而實現高效、可解釋、魯棒的新一代認知智能。

深度學習的來源實際上是優化控制論，BP算法即反向傳播算法是深度學習中使用最廣泛的算法，它最早的雛形出現在「最優控制理論」，1986年Rumelhart、Hinton等人將BP算法引入多重神經網絡中。現在，包括卷積神經網絡、語言和注意力模型、生成對抗網絡以及深度強化學習，都應用了該算法。

此外，我們怎麼從意識方面討論算法問題呢？以前的做法是從神經科學裡獲得啟發。

比如，在卷積神經網絡的發現過程中，科學家先是發現了簡單和複雜細胞，並發現視覺系統的卷積特性，然後人們提出借鑑簡單複雜細胞的新認知機，這是CNN的前身。1982年，David Marr出版了計算機視覺開山之作《視覺》，之後，卷積神經網絡被正式提出。Tomaso Poggio在2007年提出了H-MAX計算模型，2012年的AlexNet和2015年的ResNet則正式開啟人工智慧的黃金時代。回顧歷史後，我們可以想到，如果再反過頭來重新認識腦科學，會不會給深度學習帶來新的啟發？

不僅僅是算法，人們也在硬體上按照類腦計算的方向探索。1989年，科學家首次提出用集成電路實現神經形態計算，到最近，清華大學發布首款結合深度學習與神經形態計算的異構融合類腦晶片，以及基於多個憶阻器陣列的存算一體系統，我們已經向前邁出了一大步。

我們以前通過核磁共振、CT等技術來觀測大腦。目前我們還無法精細到神經元級別的觀測，只能從功能層面理解大腦，但這些成果也啟發了很多經典的人工智慧算法，例如卷積神經網絡啟發自貓腦視覺感受野研究，膠囊網絡啟發自腦皮層微柱結構研究。在未來，我們能不能深入到神經元的層面研究大腦，是非常重要的一步。總之，利用腦觀測成果啟發人工智慧理論應該還大有可為。

神經元通過軸突和樹突建立和其他神經元的關係，人腦有860億個神經元。神經元要通過構建環路進行工作，工作一結束環路就斷掉了。神經元通過從不同的環路解決不同的問題，包括記憶。神經元的動態連接構成動態神經網絡，這也可能是其功耗低的原因。突觸的尺寸有26類，神經元細胞的尺寸在10微米左右，現在用核磁共振還觀察不到軸突和樹突，因此研究介觀尺度對於腦科學的突破尤為重要。

近年來，腦科學和人工智慧是兩條平行線，互不相交。在未來，我們需要在兩者之間構建一個橋梁，即認知計算。認知計算是通過先進神經技術揭示腦結構、腦功能與智能產生的多層次關聯與多模態映射機制，從而建立認知模型與類腦智能體系的科學。

我們對1906年來腦科學和人工智慧的重要成果進行了調研，這些研究分別探索了人類的思考模式以及機器的思考模式。

為了建立新型認知計算模型，人類已經開始了大量投入。2016年，美國IARPA部門啟動了皮質網絡機器智能MICrONS計劃，項目經費達到一億美金，被稱為阿波羅腦計劃。並且，人類目前已經繪製出了齧齒動物一立方毫米大腦皮層中的所有神經迴路，其中包含了10萬個神經元的活動和連接。

以記憶機制為例，目前人類已經在該研究領域有了很大建樹。自1904科學家首次提出記憶痕跡假設，1949年提出突觸可塑性假說以來，人們接連發現，海馬體和記憶形成有關，LTP是學習記憶的重要機制，工作記憶和不同腦區有關，尖波漣漪在記憶鞏固、回放、預演、提取中有重要作用，並觀察到了記憶在多個腦區的動態協同過程。

清華大學通過三年的努力，構建了一個大腦的模型架構，如下圖所示。

結構決定功能，從結構到功能研究機器學習的算法，人工智慧要從這個方向上打通。從不同規模和精細度的腦觀測技術，可以啟發出不同級別的智能算法。比如神經觀測和神經信號記錄屬於微觀觀測，啟發了卷積神經網絡算法。CT成像和磁共振成像屬於宏觀觀測，啟發了記憶環路映射的機器智能。在未來，我們或許可以利用全腦神經元動態顯微觀測儀器對大腦進行全腦高分辨觀測，進而發展認知建模理論和開發認知計算硬體，從而實現強人工智慧。

這是知識驅動模型的研究模式，另外還有數據驅動的研究模式，這是當前的主流。我們想問的是，未來能不能實現認知驅動？我希望人工智慧學界關注和研究這個問題，從而產生顛覆性的算法和應用，推動算力、算法往前走。

3 人機互動：協同視覺和觸覺

圖靈說過，人工智慧的發展不是把人變為機器，也不是把機器變成人，而是「研究、開發用於模擬、延伸和擴展人類智慧能力的理論、方法、技術及應用系統，從而解決複雜問題的技術科學並服務於人類。所以，我們要思考人工智慧與人如何共處的問題。

在人工智慧時代，我們希望構建AI的通用接口，從而實現人類物理世界和機器虛擬世界的融合，也就是促進AR、VR、視覺三維重建、全息成像等技術的成熟。

目前的人工智慧技術可以稱為離身學習，其組成三要素為大數據、深度學習和GPU，並形成了圖像識別、圖像檢測、語義理解、語音識別和機器翻譯等應用。這些應用割裂了感知、學習與動作之間的整體行為效應，所以未來的發展方向應該是具身認知和多模態感知，即智能由腦、身體與環境協同影響，智能的發展需要一個完整的、可感知、、可思考、可行動的身體。目前的機械手在功能和靈活性上就遠遠不如人類。

要實現成功的操作，需要考慮三大重要因素，即感知、學習和多模態。

要利用視覺和觸覺的多模態融合實現 AI對環境的感知、學習能力和複雜交互能力的提升，首先要讓AI擁有皮膚。人手具有上百億個觸感神經元，人體的動態觸覺可以區分不超過十幾納米的凸起，相當於在地球上感知到一輛運動的汽車。

機器人必須具備包裹自己全身的人造皮膚，形成個體邊界，人造皮膚要有很高的多模態（光潔度、溼度、壓力、張力、溫度、材質）感知精度，以及很強的綜合感知能力，皮膚受損後能閉合自愈，才談得上區分「我」和「非我」。人工製造出這樣敏感的電子皮膚或者量子皮膚，任重而道遠。

觸覺感知是一個非常難的問題，也是非常重要的問題。在國際上，歐盟、美國、學術界都開展了這方面的研究，機器人、觸覺智能引起廣泛關注和高度重視。

觸覺先於視覺，也先於語言，既是第一語言也是最後語言，所以觸覺在AI感知自然場景當中起到非常重要的作用。視覺可以幫助我們了解全貌，觸覺可以幫助我們了解細節。AI觸覺和視覺的協同感知是未來人工智慧的核心關鍵基礎問題。

觸覺涉及很多細節，包括指尖、手掌、腿足、手臂、軀幹等等方面，因此觸覺傳感器是機器人的核心部件。《科技日報》曾經報導了35個卡脖子的問題，觸覺是其中一個。

發揮多智能體的群體效應，也是未來發展的重要研究方向，包括群體的協同和交互問題。群體協同交互是構築智能通天塔的必由之路，也是有望挑戰莫拉維克悖論的途徑。

所以，我們希望機器有更靈巧的手、更明亮的眼睛、更靈敏的耳朵，對環境能夠更加深刻的認識，通過智能光電晶片、知識驅動、數據驅動、認知驅動，使得未來的AI能夠發展得更好。

總結來說，我們希望在算力上，能得到數量級性能提升的新型計算範式和晶片架構；在算法上，能更接近本源的認知計算理論與方法，在人機互動上，能實現更高的工作效率、生活質量和安全保障。