清華首提「類腦計算完備性」及計算系統層次結構,登Nature

2021-01-08 機器之心Pro

機器之心報導

編輯:澤南、蛋醬

自「天機」登上《自然》封面一年多以來,這已是清華大學的類腦計算研究最近第三次被自然雜誌收錄。

10 月 14 日,在最新一期《自然》雜誌上,出現了一項類腦計算體系結構的突破性進展。

來自清華大學、北京信息科學與技術國家研究中心、美國德拉瓦大學(University of Delaware)科研團隊的研究者在論文《A system hierarchy for brain-inspired computing》(一種類腦計算系統層次結構)中提出了「類腦計算完備性」(neuromorphic completenes)概念。該研究被認為會加速類腦計算,及通用人工智慧等方向的研究。

目前,發展通用人工智慧(AGI)通常有兩種方法:神經科學導向和計算機科學導向。由於兩種方法在公式和編碼方式上存在根本差異,它們依賴於不同且不兼容的平臺,阻礙了 AGI 的發展。

論文連結:https://www.nature.com/articles/s41586-020-2782-y

該研究的第一作者為清華大學計算機系研究員張悠慧,與清華大學教授、清華大學類腦計算中心主任施路平共同為該論文的通訊作者。

神經形態計算從生物大腦中獲取靈感,為計算機技術和體系結構的下一波發展提供了方向。類腦計算與傳統計算機架構不同,後者是圍繞圖靈完備和完善的馮諾依曼結構,前者目前還沒有沒有廣義的系統層次結構,或對類腦性計算的完整性的理解。這會影響類腦計算軟體和硬體之間的兼容性,從而阻礙了大類腦式計算的開發效率。

面對這一挑戰,清華大學等機構的研究者們提出了「類腦計算完備」概念,它放寬了對硬體完整性的要求,並提出了相應的系統層次結構,其中包括圖靈完備的軟體抽象模型和通用的抽象神經形態架構。

使用這種層次結構,我們可以將各種程序描述為統一的表示形式,並轉換為任何神經形態完整硬體上的等效可執行文件。這意味著,這一體系可以確保程式語言的可移植性、硬體完整性和編譯可行性。

為了支持在各種典型硬體平臺上執行不同類型的程序,研究人員實現了一系列工具鏈軟體,進而證明了該系統結構的優勢。

全新的系統層次結構

在這項研究中,研究者提出了一種具有高度通用性和普適性的類腦計算系統層次結構,該結構包括三個層次:軟體、硬體和編譯。

與傳統的計算系統層次結構不同,對於類腦計算系統層次結構而言,軟體層指的是神經形態應用和開發框架(如 Nengo 和 PyTorch)。相應地,研究者提出將 POG 作為軟體的中間表徵, EPG 作為硬體的中間表徵(CFG,控制流圖),並引入編譯工具將 POG 轉換為 EPG。對於硬體層,研究者提出了抽象神經形態結構(ANA),包括調度單元、處理單元、內存和互連網絡,作為神經形態硬體(TrueNorth、SpiNNaker、Tianjic 和 Loihi)抽象。

考慮到類腦計算的相似性,研究者進一步提出了「類腦計算完備性」的概念,引入了逼近等價(approximation equivalence)和近似等價(precise equivalence)。

類腦計算機系統與傳統計算機系統的層次結構對比。

軟體

圖中的軟體是指程式語言或框架,以及以它們為基礎構建的算法或模型。在這一層面上,研究者提出了一個統一的、通用的軟體抽象模型——POG(programming operator graph)——來適配多種類腦算法和模型設計。POG 由統一的描述方法和事件驅動的並行程序執行模型組成,該模型集成了存儲和處理。它描述了什麼是類腦程序並定義了如何執行該程序。由於 POG 是圖靈完備的,它能夠最大程度上支持多種應用、程式語言和框架。

硬體

硬體部分包括所有類腦晶片和架構模型。研究者設計了抽象神經形態結構作為硬體抽象。它有一個 EPG( execution primitive graph),用作和上一層之間的接口,來描述它可以執行的程序。EPG 有一個混合的「control-flow–dataflow」表示,用來最大化其對不同硬體的適應性,同時也符合一個流行的硬體趨勢——混合架構。

編譯

編譯是將一個程序轉化為硬體所支持的一種等價形式的中間層。為了提高可用性,研究者提出了一組基本的硬體執行原語,這些原語在主流的類腦晶片中得到了廣泛的支持,同時證明了配備了這套原語的硬體是神經形態完備的。此外,研究者還以一個工具鏈軟體作為編譯層的實例,論證了該層次結構的可行性、合理性和優越性。

研究者提到:「這一層次結構避免了硬體和軟體之間的緊密耦合,確保任何類腦程序都可以用圖靈完備 POG 來表示,然後在任何神經形態完備的硬體上編譯成等效的可執行 EPG。我們確保了編程的可移植性、硬體的完整性和編譯的可行性,並通過實驗驗證了神經形態完備性引入的系統設計維度優化效果。這一層次結構也促進了軟硬體的協同設計。」

與當今常規計算機的「圖靈完備性」概念與「馮諾依曼」體系結構相對應,全新的類腦計算完備性及軟硬體去耦合的類腦計算系統層次結構證明了自身的可行性,同時又擴展了類腦計算系統應用範圍,使之能支持通用計算。

這項研究為處於起步階段的類腦計算方向,填補了完備性理論與相應系統層次結構方面的空白,有利於自主掌握新型計算機系統核心技術。

《自然》雜誌的一位審稿人認為,「這是一個新穎的觀點,並可能被證明是神經形態計算領域以及面向人工智慧研究的重大發展。」

相關焦點

  • Nature重磅:軟硬分離、圖靈完備,清華首次提出「類腦計算完備性」
    來源 | 清華大學計算機系校友會北京時間10月14日,清華大學計算機科學與技術系(以下簡稱「計算機系」)張悠慧團隊、精密儀器系(以下簡稱「精儀系」)施路平團隊與合作者在《Nature》雜誌發文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。
  • 我科學家首次提出「類腦計算完備性」填補腦計算系統領域理論空白
    我科學家首次提出「類腦計算完備性」 為類腦計算提供技術標準與方案 我科學家在類腦計算體系結構領域再獲突破性進展。清華大學計算機科學與技術系張悠慧團隊、精密儀器系施路平團隊與合作者首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了類腦研究完備性理論與相應系統層次結構方面的空白,利於自主掌握新型計算機系統核心技術。該成果於10月14日以《一種類腦計算系統層次結構》為題發表在《自然》雜誌上。
  • 清華類腦團隊成果「一種類腦計算層次結構」入選2020年世界網際網路...
    清華大學類腦團隊成果——「一種類腦計算層次結構」成功入選專家推薦委員會中外主任特別推薦成果。世界網際網路大會旨在搭建中國與世界互聯互通的國際平臺和國際網際網路共享共治的中國平臺。2016年起,大會每年從全球數百個申報項目中評選出領先科技成果進行發布,這些成果通常被認為代表了當時網際網路和信息技術相關領域的最高水平。
  • 類腦計算,他們從0到1
    10月14日,清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。這是一年多來,清華團隊在類腦計算領域繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果,也是國內計算機體系結構領域首篇《自然》論文。
  • 清華大學研發類腦計算機 首提新概念突破圖靈與馮諾依曼體系
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了這一領域的空白.這是一年多來,清華在類腦計算領域繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果,也是計算機系以第一完成單位發表的首篇《自然》論文
  • 科學網—尋找類腦計算的設計「範式」
    不過近日,清華大學計算機科學與技術系研究員張悠慧團隊和類腦計算研究中心主任施路平團隊與合作者在《自然》雜誌發表的一篇題為《一種類腦計算系統層次結構》的論文,正在嘗試改變這一現狀。 「這篇論文填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。」受訪時,中國工程院院士、清華大學計算機科學與技術系教授鄭緯民評價道。
  • 清華大學研發類腦計算機,看看什麼是類腦計算
    本篇題為《一種類腦計算系統層次結構》的論文首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,通過理論論證與原型實驗證明該類系統的硬體完備性與編譯可行性,並擴展了類腦計算系統應用範圍使之能支持通用計算。類腦計算處於起步階段,國際上尚未形成公認的技術標準與方案,這一成果填補了空白,利於自主掌握新型計算機系統核心技術。
  • 清華大學研發類腦計算機 有沒有課代表簡單解釋下,類腦計算是什麼?
    北京時間昨晚(10月14日)23點,清華大學計算機系張悠慧團隊和精密儀器系施路平團隊與合作者在《自然》(Nature)雜誌發文,首次提出類腦計算完備性以及軟硬體去耦合的類腦計算系統層次結構   原標題:清華大學研發類腦計算機 有沒有課代表簡單解釋下,類腦計算是什麼?
  • 清華大學研發類腦計算機 類腦計算是什麼意思
    類腦計算是什麼意思?據央視新聞報導,北京時間 10 月 14 日 23 點,清華大學計算機系張悠慧團隊和精密儀器系施路平團隊與合作者在《自然》(Nature)雜誌發文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。目前,清華大學正在開發新型類腦計算機。
  • 清華大學Nature發文:通用人工智慧的重大發展
    清華聯合團隊提出的類腦計算系統新框架,或將加速通用人工智慧的到來。以及軟硬體去耦合的類腦計算系統層次結構,該結論發表在10月14日的《自然》雜誌上。清華大學這一成果通過理論論證與原型實驗證明了該類系統的硬體完備性與編譯可行性,並擴展了類腦計算系統應用範圍,使之能支持通用計算,填補了完備性理論與相應系統層次結構方面的空白,有利於未來自主掌握新型計算機系統核心技術,加速具有人類同等智慧或超越人類的人工智慧發展
  • 中國類腦計算成果再上《自然》!或解決不同晶片系統兼容問題
    中國類腦計算研究又有新進展。北京時間10月14日,由清華大學團隊主創的論文在《自然》雜誌刊發。該論文首次提出了「類腦計算完備性」的概念,設計了一種能實現軟硬體去耦合的系統層次結構,擴展了類腦計算系統的應用範圍。
  • 清華張悠慧:超越馮·諾依曼模型,實現軟硬體去耦合的類腦計算
    張悠慧在演講中首先介紹了類腦計算的起源、應用與發展等研究背景,並分析了以類腦晶片為核心的軟硬體和基於「通用」類腦計算開發框架(語言)系統兩種類腦計算研究的現狀,以及探討了如何從傳統計算機的發展中汲取經驗,採用軟硬體去耦合、軟硬體協同設計等多種方法論,來探索符合類腦計算與神經形態器件特色的設計方法論,最後,張悠慧簡述了通用類腦計算當前研究的最新進展和下步工作重點。
  • 「天機芯」首登《自然》封面後,清華團隊1年多完成類腦計算領域...
    據央視新聞,北京時間10月14日23時,清華大學計算機系張悠慧團隊和精密儀器系施路平團隊與合作者在《自然》(Nature)雜誌發文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。這是一年多來,清華大學在繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果,也是計算機系以第一完成單位/通訊單位發表的首篇《自然》論文。
  • 清華改變世界?類腦計算取得突破,「機器」可能成有思想的「人」
    清華將改變世界:最前沿的類腦計算取得突破。這十幾年來,全球的人工智慧並沒有真正的取得突破,直到近日,清華大學計算機系張悠慧團隊、精密儀器系施路平團隊合作,首次提出了「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。
  • 腦科學日報:可印在皮膚上的監測傳感器;類腦計算系統新框架
    1,《自然》重磅:清華團隊提出類腦計算系統新框架,通用人工智慧或將不再科幻 來源:學術頭條 類腦計算系統和傳統計算系統的層次結構 一直以來,通過模擬人腦信息處理方式,仿製像人腦一樣具有「思維」、在工作性能上超越人腦的「類腦系統」,實現通用人工智慧,是眾多科學家畢生追求的夢想
  • 重磅講座預告:黃鐵軍、陳雲霽等專家齊聚CCF ADL,分享類腦計算與...
    類腦計算,是指仿真、模擬和借鑑大腦生理結構和信息處理過程的裝置、模型和方法,其目標是製造類腦計算機和類腦智能,相關研究已經有二十多年的歷史。與經典人工智慧符號主義、連接主義、行為主義以及機器學習的統計主義這些技術路線不同,類腦計算採取仿真主義:結構層次模仿腦(非馮·諾依曼體系結構),器件層次逼近腦(神經形態器件替代電晶體),智能層次超越腦(主要靠自主學習訓練而不是人工編程)。
  • 今日清華/北大/廈大Nature齊發
    然而,與傳統計算系統不同的是,傳統計算系統有一個圍繞圖靈完備性和馮·諾伊曼結構建立的良好的計算機層次結構,目前還沒有廣義的系統層次結構或對大腦啟發計算的完備性的理解,使得當前的人工智慧成果大都是「狹隘」的,即面向特定任務,只能解決特定問題。
  • 從「人工智障」到人工智慧,基於SNN的類腦計算是決勝關鍵
    此前,清華大學團隊曾發布「天機芯」,也是國內科研實力在類腦計算領域的體現。這說明一點,單從能耗角度看,通過傳統計算機的「暴力計算」實現人工智慧,已經喪失了經濟性優勢。要真正實現人工智慧,以及確保能耗可控,就必須從硬體層面改變晶片對信息的處理方式。 所以,類腦計算的研究加快了進程。對於加快人工智慧的實現和落地,類腦計算不可或缺。其實,包括馮·諾依曼和圖靈在內的計算機先驅,很早就提出了計算機的類腦計算。
  • 清華大學天機晶片登Nature:類腦加傳統計算融合通用人工智慧
    機器之心報導機器之心編輯部8 月 1 日,頂級學術期刊《自然》雜誌的封面文章介紹了清華大學在通用人工智慧上的新嘗試:一款名為「天機」的全新晶片架構,結合類腦計算和人工智慧算法,展示了迄今為止從未有人實現過的強大能力。
  • 類腦計算機的現在與未來
    不過,近年來,「類腦計算」卻從理念走向實踐,正走出一條製造類人智能的新途徑。所謂「類腦計算」,是指仿真、模擬和借鑑大腦神經系統結構和信息處理過程的裝置、模型和方法,其目標是製造類腦計算機。     筆者認為,這一質疑存在的問題,是沒有分清「類腦」的兩個層次:結構層次的仿真和功能層次的模擬。類腦計算機的「類」是從結構層次仿真入手,即採用光電微納器件模擬生物神經元,以及神經突觸的信息處理功能,網絡結構仿照大腦神經網絡。在仿真精度達到一定範圍後,類腦計算機將具備生物大腦類似的信息處理功能和系統行為,包括「靈感湧現」等高級智能。