清華團隊提出類腦計算系統新框架,通用人工智慧或將不再科幻

2020-10-16 學術頭條

人腦,是自然界中最完美的信息處理系統,它可以執行各種各樣的複雜任務,其計算效能要比現有數字計算系統高出幾個數量級,被認為是目前唯一的「通用智能體」。


一直以來,通過模擬人腦信息處理方式,仿製像人腦一樣具有「思維」、在工作性能上超越人腦的「類腦系統」,實現通用人工智慧,是眾多科學家畢生追求的夢想。


如今,來自清華大學、北京信息科學與技術國家研究中心、美國德拉瓦大學(University of Delaware)科研團隊的一項突破性研究,或將加速類腦計算和通用人工智慧(Artificial General Intelligence,AGI)的到來。


研究人員在類腦計算通用系統層次結構方向取得突破性進展,並提出了「神經形態完備性」(neuromorphic completeness)的最新概念。


(來源:Nature)



相關論文於 10 月 14 日在線發表在頂級科學期刊《自然》(Nature)上,和清華大學計算機系研究員張悠慧(同時為第一作者)和清華大學教授、清華大學類腦計算中心主任施路平為該論文的共同通訊作者。


更具魯棒性與通用性的通用人工智慧


通用人工智慧是具備與人類同等智慧或超越人類的人工智慧,通常把人工智慧和意識、感性、知識和自覺等人類的特徵互相連結,能表現正常人類所具有的所有智能行為,是人工智慧研究的主要目標之一,同時也是科幻小說和未來學家都在討論的主要議題。


業內認為,當前的人工智慧成果大都是「狹隘」的,即面向特定任務,只能解決特定問題。目前基於馮·諾依曼架構的計算機擅長解決有充足大數據、完整靜態知識的確定性問題(比如深度學習在圍棋比賽、圖像識別等領域的應用)已經不遜於人類,但並沒有能力很好地解決沒有那麼多數據、動態知識尚不足的模糊性問題。


未來,人工智慧的發展必將從「狹隘」的弱人工智慧走向更具魯棒性與通用性的通用人工智慧,但當前的人工智慧技術距離達到人類水平的通用人工智慧還有很長的路要走。


(來源:Pixabay)



一直以來,類腦計算都被認為是打開通用人工智慧的鑰匙。去年 10 月,施路平在北京智源大會「智能體系架構與晶片專題論壇」中的主題演講中曾表示,「基於碳基已經發展出現有的人類智能,基於矽晶片已經發展出強大的機器智能,一旦實現人類的全腦解析,採用類腦計算構建通用人工智慧是完全沒有障礙的。」


他還表示,通用人工智慧的研究,從根本上來講,不同於把很多的窄人工智慧加在一起,其主要研究思路是把類腦的彈性和計算機的剛性結合起來,把數據驅動和知識推動結合起來,把通用知識和推理結合起來,這是一個非常有挑戰的長期的研究。


如今,儘管類腦計算系統已與人工智慧技術結合,並被業內專家認為可能提供一條通向通用人工智慧的途徑,在更通用算法的應用層面也有著一定的突破和發展,但要保證類腦計算系統的性能、可編程性和生產效率,仍然面臨著不小的挑戰和極高的要求。


尤其是,當前類腦計算的系統和晶片,雖然具體類型有所不同,但都比較側重於端到端的軟硬體協同設計方法,缺乏一種可以將算法、晶片和器件等不同領域技術和需求有機結合起來的軟硬體系統層次結構設計。


而此次這一最新研究成果的提出,或許為通用人工智慧的加速到來提供了可能。



全新概念:神經形態完備性


當前,幾乎所有現有的程式語言都是圖靈完備的,馮·諾依曼結構通過圖靈完備的接口(即通用指令集)支持圖靈機,通過引入圖靈完備性以及基於圖靈完備性的層次結構和馮·諾依曼體系結構,避免了當前計算系統中軟體和硬體之間的緊密耦合,實現了高效、兼容和獨立的進程,通過設置硬體(圖靈完備性)的最低要求,在任何馮·諾依曼處理器(編譯)上將任何高級語言的程序轉換成等效的指令序列變得可行。


相比之下,類腦計算目前缺乏一個簡單但健全的系統層次結構來支持整體開發,神經形態軟體和硬體之間沒有清晰完備的接口,不同研究方面之間的交互也比較複雜。


儘管各種基於類腦計算的算法、計算模型和軟體設計不斷出現,科研人員也研發出了各類神經形態晶片,但它們通常都需要特定的軟體工具鏈才能正常運行。其結果是,類腦計算系統(包括應用程式模型、系統軟體和神經形態設備)的各個層被緊密綁定在了一起,影響了軟體和硬體之間的兼容性,損害了類腦計算系統的編程靈活性和開發效率。


(來源:Pixabay)



一些研究試圖通過特定領域的語言或開發框架連接各種軟體和硬體,但這些研究通常沒有考慮系統的圖靈完備性,在解決諸如硬體完備性、程式語言完備性和類腦計算的系統層次結構等更基本的問題上,近年來也幾乎沒有什麼大的進展。而且,由於許多類腦晶片不是為通用計算而設計的,而且它們中很少提供傳統的指令集,因此不清楚它們是否是圖靈完備的,甚至不清楚圖靈完備是否是必要的。


為解決上述問題,張悠慧、施路平等人在這項研究中提出了"神經形態完備性"的概念,這是一種更具適應性、更廣泛的類腦計算完備性的定義,它降低了系統對神經形態硬體的完備性要求,提高了不同硬體和軟體設計之間的兼容性,並通過引入一個新的維度——近似粒度(the approximation granularity)來擴大設計空間。


同時,他們也提出了一種全新的系統層次結構,這一結構包括軟體、硬體和編譯三個層次,具有圖靈完備的軟體抽象模型和通用的抽象神經形態結構。在該系統層次結構下,各種程序可以用統一的表示來描述,在任何神經形態完備的硬體上都能轉換為等效的可執行程序,從而確保程式語言的可移植性、硬體的完備性和編譯的可行性。


圖|類腦計算系統和傳統計算系統的層次結構(來源:Nature)


軟體指的是程式語言或框架以及建立在它們之上的算法或模型。在這個層次上,他們提出了一種統一的、通用的軟體抽象模式——POG 圖(programming operator graph)——以適應各種類腦算法和模型設計。POG 由統一的描述方法和事件驅動的並行程序執行模型組成,該模型集成了存儲和處理,描述了什麼是類腦程序,並定義了如何執行。由於 POG 是圖靈完備的,它最大程度地支持各種應用程式、程式語言和框架。


硬體方面,則包括所有類腦晶片和架構模型。他們設計了抽象神經形態體系結構(ANA)作為硬體抽象,包括一個 EPG 圖(execution primitive graph),作為上層的接口來描述它可以執行的程序。EPG 具有控制-流-數據流的混合表示,最大化了它對不同硬體的適應性,且符合當前硬體的發展趨勢,即混合架構。


編譯層,是將程序轉換為硬體支持的等效形式的中間層。為實現可行性,研究人員提出了一套被主流類腦晶片廣泛支持的基本硬體執行原語(hardware execution primitives),並證明配備這套硬體的神經形態是完備的,並以一個工具鏈軟體作為編譯層的實例,論證了該層次結構的可行性、合理性和優越性。


對此,研究人員認為,這一層次結構促進了軟硬體的協同設計,可以避免硬體和軟體之間的緊密耦合,確保任何類腦程序都可以由圖靈完備的 POG 在任何神經形態完備硬體上編譯成一個等效和可執行的 EPG,也確保了類腦計算系統的編程可移植性、硬體完備性和編譯可行性。


此外,他們也實現了工具鏈軟體的設計,以支持不同類型的程序在各種典型的硬體平臺上執行,證明了這一系統層次結構的優勢。結合所提出的系統架構(包括軟體和硬體抽象模型),擴充的完備性定義使圖靈完備性軟體與神經形態完備性硬體的等效轉換成為可能,即實現了軟體和硬體的去耦合。(學術君註:軟硬體去耦合是計算機系統結構中非常重要的設計方法論,基於此,軟體研發人員不需要考慮如何設計底層硬體,硬體開發人員也只需要遵循一定指令規範,不用擔心兼容性和上層軟體開發的問題。)


這一設計理念使得系統不同方面之間的接口和劃分更加清晰,他們希望在當前層次結構的基礎上繼續攻關,進一步提高類腦計算系統的效率和可兼容性,從而促進包括通用人工智慧在內的各個應用方向的發展。



神經形態計算領域「重要一步」


對於這一最新研究成果,英國曼徹斯特大學(University of Manchester)計算機科學系博士奧利弗·羅茲(Oliver Rhodes)給出了高度評價,認為「這一方法讓我們更接近利用類腦硬體所能取得的巨大成就」。


在他看來,這項研究的一個亮點為,施路平和張悠慧等人提出了具有完備性的連續統一體(continuum of completeness)——根據神經形態系統執行基本操作的準確性,可接受不同級別的算法性能,意味著新的層次結構可以使用所有可用的模擬和數字神經形態系統來實現,包括那些為執行速度或能源效率而犧牲精度的系統。


羅茲還表示,這一層次結構可以比較實現相同算法的等效版本的不同硬體平臺,以及比較在同一硬體上實現的不同算法,這些都是對神經形態體系結構進行有效基準測試的關鍵任務,在原理證明實驗中包括傳統圖靈完備的硬體(GPU)也是非常有價值的,因為這表明,在某些應用中,該層次結構可能被用來證明神經形態設備優於主流系統的優勢。


另外,這一層次結構還可以將算法和硬體開發分割成獨立的研究,如果要獲得底層神經形態架構的好處,算法的規模和複雜性將需要隨著時間的推移而增加,因此這種分離將幫助未來的研究人員專注於研究問題的特定方面,而不是試圖找到完整的端到端解決方案。


儘管在神經形態計算領域,要把許多工業和學術研究小組的工作結合起來,還有很多工作要做,但羅茲認為,張悠慧和施路平等人此次提出這一層次結構,是朝著這個方向邁出的重要一步。



群雄角逐「類腦計算」


近年來,隨著摩爾定律逐漸失效,馮·諾依曼結構帶來的局限日益明顯,存儲牆、功耗牆、智能提升等問題,讓當前計算機發展面臨重大挑戰。人們普遍認為,數字計算機能力的進步速度正在放緩,以摩爾定律為特徵的計算機時代即將結束。


從人類大腦中汲取靈感的類腦計算或神經形態計算,是一種有潛力打破馮·諾伊曼瓶頸並推動下一波計算機工程的計算模型和架構。


類腦計算的概念最早由美國計算機科學家、美國加州理工學院榮譽退休教授卡弗·米德(Carver Mead)於 1989 年初,但當時摩爾定律下的「計算危機」並未顯現,相關研究也就並沒有引起太多人的關注。直到 2004 年單核處理器主頻停止增長,人們開始轉向多核,尋求非馮諾依曼架構的替代技術,類腦計算這一概念才開始引起人們的關注。


如今,人工智慧賦能下的類腦計算技術被認為是可能提供一條通向通用人工智慧的途徑,世界各國的科研學者和研究機構也相繼開展腦相關研究並取得了一系列成果。國外主要有 IBM 的 TrueNorth、英特爾的 Loihi,以及 Braindrop、SpiNNaker 和 BrainScales 等,而中國在這一領域也處於世界前列。


自 2013 年 3 月全職入職清華大學、組建清華大學類腦計算研究中心後,施路平團隊就始終從基礎理論、類腦計算系統晶片和軟體系統全方位進行類腦計算研究。


去年 8 月,施路平團隊攜手第二代「天機芯」登上《自然》雜誌封面(《面向人工通用智能的異構天機晶片架構》(Towards artificial general Intelligence with hybrid Tianjic chip architecture),這是世界上首款異構融合類腦晶片,並通過自動駕駛自行車成功驗證了通用智能的可行性。此次研究成果是施路平團隊在類腦計算與通用人工智慧領域的進一步探索。


今年 9 月,浙江大學聯合之江實驗室共同研製成功了我國首臺基於自主智慧財產權類腦晶片的類腦計算機(Darwin Mouse),是目前國際上神經元規模最大的類腦計算機。


未來,隨著人工智慧與腦科學研究進一步發展,具有人類智慧的類腦系統和通用人工智慧,或許並不是遙不可及的夢想。


參考:

https://www.nature.com/articles/s41586-020-2782-y

https://www.nature.com/articles/s41586-019-1424-8

相關焦點

  • Nature:清華團隊提出類腦計算系統新框架,通用人工智慧或將不再科幻
    如今,來自清華大學、北京信息科學與技術國家研究中心、美國德拉瓦大學(University of Delaware)科研團隊的一項突破性研究,或將加速類腦計算和通用人工智慧(Artificial General Intelligence,AGI)的到來。
  • 清華「天機芯」團隊再發重磅研究!以全新類腦計算系統實現通用人工智慧
    從而以完善的計算完備性與軟硬體去耦合層次結構,實現用類腦計算構建通用人工智慧。據悉,這一最新突破性研究成果於今晨登在頂級科學期刊《自然》(Nature)雜誌上。該論文作者表示,這一重要研究成果給內腦計算系統發展提供了一個理論基石。類腦計算是面向通用人工智慧的重要計算能力,新的類腦計算系統層級架構為建立通用人工智慧的標準和發展帶來幫助。
  • 清華施路平團隊新研究登上《自然》,提出類腦計算系統新框架
    10月14日,在最新一期《自然》雜誌中,發布了清華大學施路平團隊的一項新研究,在類腦計算通用系統層次結構方面取得了新進展,該層次結構將算法的要求及其在一系列神經形態系統上的實現形式化,從而為研究的結構化方法奠定了基礎。
  • 清華首次提出「類腦計算完備性」及計算系統層次結構,登上Nature
    來自清華大學、北京信息科學與技術國家研究中心、美國德拉瓦大學(University of Delaware)科研團隊的研究者在論文《A system hierarchy for brain-inspired computing》(一種類腦計算系統層次結構)中提出了「類腦計算完備性」(neuromorphic completenes)概念。
  • 清華大學計算機系張悠慧團隊首次提出「類腦計算完備性」
    研究完備性,可以為軟硬體系統的解耦合、劃分不同研究領域間的任務分工與接口提供理論基礎,我們的研究聚焦完備性理論研究,先回答基本的問題。」張悠慧說。相對於通用計算機,這一定義放鬆了對系統計算過程和精度的約束。團隊進一步提出相應的類腦計算機層次結構和確保類腦計算完備性的硬體原語(相當於通用處理器的機器指令)來充分利用這一新完備性帶來的優勢。
  • 腦科學日報:可印在皮膚上的監測傳感器;類腦計算系統新框架
    1,《自然》重磅:清華團隊提出類腦計算系統新框架,通用人工智慧或將不再科幻 來源:學術頭條 類腦計算系統和傳統計算系統的層次結構 一直以來,通過模擬人腦信息處理方式,仿製像人腦一樣具有「思維」、在工作性能上超越人腦的「類腦系統」,實現通用人工智慧,是眾多科學家畢生追求的夢想。
  • 清華團隊首次提出「類腦計算完備性」,實現《自然》雜誌「三連發」
    、精密儀器系(以下簡稱「精儀系」)施路平團隊與合作者在《自然》(Nature)雜誌發文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。與通用計算機的「圖靈完備性」概念與「馮諾依曼」體系結構相對應,本篇題為《一種類腦計算系統層次結構》的論文首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,通過理論論證與原型實驗證明該類系統的硬體完備性與編譯可行性,並擴展了類腦計算系統應用範圍使之能支持通用計算。
  • 清華類腦計算再登《自然》:張悠慧施路平團隊定義新計算機結構
    新研究的關鍵詞是:類腦計算、新計算機系統框架、通用人工智慧(AGI)。突破性的類腦計算通用系統層次結構。在這個層次上,團隊提出了一種統一的、通用的軟體抽象模式——POG 圖(programming operator graph)——以適應各種類腦算法和模型設計。
  • 清華首提「類腦計算完備性」及計算系統層次結構,登Nature
    來自清華大學、北京信息科學與技術國家研究中心、美國德拉瓦大學(University of Delaware)科研團隊的研究者在論文《A system hierarchy for brain-inspired computing》(一種類腦計算系統層次結構)中提出了「類腦計算完備性」(neuromorphic completenes
  • 首提新概念,清華研發類腦計算機
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了這一領域的空白。
  • ...團隊填補腦計算系統領域理論空白 首次提出「類腦計算完備性」
    10月14日,清華大學計算機科學與技術系教授張悠慧團隊、精密儀器系教授施路平團隊與合作者在《自然》雜誌發文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。該研究項目填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。
  • ...計算成果再登Nature:張悠慧施路平團隊出品,有望打破馮諾依曼瓶頸
    賈浩楠 發自 凹非寺量子位 報導 | 公眾號 QbitAI清華類腦計算研究成果,再登Nature。新研究的關鍵詞是:類腦計算、新計算機系統框架、通用人工智慧(AGI)。
  • 清華大學團隊填補腦計算系統領域理論空白 首次提出「類腦計算完備性」
    10月14日,清華大學計算機科學與技術系教授張悠慧團隊、精密儀器系教授施路平團隊與合作者在《自然》雜誌發文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。該研究項目填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。
  • 清華微納電子系可重構計算團隊提出人工智慧計算晶片的存儲優化新...
    清華微納電子系可重構計算團隊提出人工智慧計算晶片的存儲優化新方法可大幅提升人工智慧計算晶片的能量效率清華新聞網6月7日電 6月2-6日,第45屆國際計算機體系結構大會(International Symposium on Computer Architecture,簡稱ISCA)在美國洛杉磯召開。
  • 我科學家首次提出「類腦計算完備性」
    清華大學計算機科學與技術系張悠慧團隊、精密儀器系施路平團隊與合作者首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了類腦研究完備性理論與相應系統層次結構方面的空白,利於自主掌握新型計算機系統核心技術。該成果於10月14日以《一種類腦計算系統層次結構》為題發表在《自然》雜誌上。
  • 首提新概念,突破圖靈與馮諾依曼體系!清華研發類腦計算機
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了這一領域的空白。
  • 科學網—尋找類腦計算的設計「範式」
    不過近日,清華大學計算機科學與技術系研究員張悠慧團隊和類腦計算研究中心主任施路平團隊與合作者在《自然》雜誌發表的一篇題為《一種類腦計算系統層次結構》的論文,正在嘗試改變這一現狀。 「這篇論文填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。」受訪時,中國工程院院士、清華大學計算機科學與技術系教授鄭緯民評價道。
  • 首提新概念,清華研發類腦計算機_中國_唐山環渤海新聞網
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了這一領域的空白。
  • 中國團隊提出類腦計算新概念,讓軟硬體開發「脫鉤」
    一種新提出的概念框架或能簡化實現步驟,加速該領域的研究進展。下一代高性能、低功耗計算機系統的靈感可能來自大腦。不過,隨著設計者從傳統計算機技術向類腦(神經形態)系統靠攏,他們也必須拋棄支撐傳統計算機的已有的形式層次結構,這裡的層次結構是一種抽象框架,它從廣義上定義了軟體如何被數字計算機處理並轉換成能在計算機硬體上運行的操作。
  • 「天機芯」登《自然》封面後清華實現類腦計算「圖靈完備性」突破
    這次,他們首次提出了 「類腦計算的完備性」 概念,為類腦計算這一有可能在未來與傳統計算系統相媲美的新型計算機系統,補上了一塊重要的理論短板,讓類腦計算的軟、硬體各自獨立開發成為了可能,更可以大幅提升很多應用的計算效能,是神經形態計算領域的重大理論突破。針對這一重大突破,DeepTech 與文章的共同一作與共同通訊作者、團隊負責人張悠慧教授進行了深入交流。