清華首次提出「類腦計算完備性」及計算系統層次結構,登上Nature

2020-11-30 澎湃新聞

機器之心報導

編輯：澤南、蛋醬

自一年多以來，這已是清華大學的類腦計算研究最近第三次被自然雜誌收錄。

10 月 14 日，在最新一期《自然》雜誌上，出現了一項類腦計算體系結構的突破性進展。

來自清華大學、北京信息科學與技術國家研究中心、美國德拉瓦大學（University of Delaware）科研團隊的研究者在論文《A system hierarchy for brain-inspired computing》（一種類腦計算系統層次結構）中提出了「類腦計算完備性」（neuromorphic completenes）概念。該研究被認為會加速類腦計算，及通用人工智慧等方向的研究。

目前，發展通用人工智慧（AGI）通常有兩種方法：神經科學導向和計算機科學導向。由於兩種方法在公式和編碼方式上存在根本差異，它們依賴於不同且不兼容的平臺，阻礙了 AGI 的發展。

論文連結：https://www.nature.com/articles/s41586-020-2782-y

該研究的第一作者為清華大學計算機系研究員張悠慧，與清華大學教授、清華大學類腦計算中心主任施路平共同為該論文的通訊作者。

神經形態計算從生物大腦中獲取靈感，為計算機技術和體系結構的下一波發展提供了方向。類腦計算與傳統計算機架構不同，後者是圍繞圖靈完備和完善的馮諾依曼結構，前者目前還沒有沒有廣義的系統層次結構，或對類腦性計算的完整性的理解。這會影響類腦計算軟體和硬體之間的兼容性，從而阻礙了大類腦式計算的開發效率。

面對這一挑戰，清華大學等機構的研究者們提出了「類腦計算完備」概念，它放寬了對硬體完整性的要求，並提出了相應的系統層次結構，其中包括圖靈完備的軟體抽象模型和通用的抽象神經形態架構。

使用這種層次結構，我們可以將各種程序描述為統一的表示形式，並轉換為任何神經形態完整硬體上的等效可執行文件。這意味著，這一體系可以確保程式語言的可移植性、硬體完整性和編譯可行性。

為了支持在各種典型硬體平臺上執行不同類型的程序，研究人員實現了一系列工具鏈軟體，進而證明了該系統結構的優勢。

全新的系統層次結構

在這項研究中，研究者提出了一種具有高度通用性和普適性的類腦計算系統層次結構，該結構包括三個層次：軟體、硬體和編譯。

與傳統的計算系統層次結構不同，對於類腦計算系統層次結構而言，軟體層指的是神經形態應用和開發框架（如 Nengo 和 PyTorch）。相應地，研究者提出將 POG 作為軟體的中間表徵， EPG 作為硬體的中間表徵（CFG，控制流圖），並引入編譯工具將 POG 轉換為 EPG。對於硬體層，研究者提出了抽象神經形態結構（ANA），包括調度單元、處理單元、內存和互連網絡，作為神經形態硬體（TrueNorth、SpiNNaker、Tianjic 和 Loihi）抽象。

考慮到類腦計算的相似性，研究者進一步提出了「類腦計算完備性」的概念，引入了逼近等價（approximation equivalence）和近似等價（precise equivalence）。

類腦計算機系統與傳統計算機系統的層次結構對比。

軟體

圖中的軟體是指程式語言或框架，以及以它們為基礎構建的算法或模型。在這一層面上，研究者提出了一個統一的、通用的軟體抽象模型——POG（programming operator graph）——來適配多種類腦算法和模型設計。POG 由統一的描述方法和事件驅動的並行程序執行模型組成，該模型集成了存儲和處理。它描述了什麼是類腦程序並定義了如何執行該程序。由於 POG 是圖靈完備的，它能夠最大程度上支持多種應用、程式語言和框架。

硬體

硬體部分包括所有類腦晶片和架構模型。研究者設計了抽象神經形態結構作為硬體抽象。它有一個 EPG（ execution primitive graph），用作和上一層之間的接口，來描述它可以執行的程序。EPG 有一個混合的「control-flow–dataflow」表示，用來最大化其對不同硬體的適應性，同時也符合一個流行的硬體趨勢——混合架構。

編譯

編譯是將一個程序轉化為硬體所支持的一種等價形式的中間層。為了提高可用性，研究者提出了一組基本的硬體執行原語，這些原語在主流的類腦晶片中得到了廣泛的支持，同時證明了配備了這套原語的硬體是神經形態完備的。此外，研究者還以一個工具鏈軟體作為編譯層的實例，論證了該層次結構的可行性、合理性和優越性。

研究者提到：「這一層次結構避免了硬體和軟體之間的緊密耦合，確保任何類腦程序都可以用圖靈完備 POG 來表示，然後在任何神經形態完備的硬體上編譯成等效的可執行 EPG。我們確保了編程的可移植性、硬體的完整性和編譯的可行性，並通過實驗驗證了神經形態完備性引入的系統設計維度優化效果。這一層次結構也促進了軟硬體的協同設計。」

與當今常規計算機的「圖靈完備性」概念與「馮諾依曼」體系結構相對應，全新的類腦計算完備性及軟硬體去耦合的類腦計算系統層次結構證明了自身的可行性，同時又擴展了類腦計算系統應用範圍，使之能支持通用計算。

這項研究為處於起步階段的類腦計算方向，填補了完備性理論與相應系統層次結構方面的空白，有利於自主掌握新型計算機系統核心技術。

《自然》雜誌的一位審稿人認為，「這是一個新穎的觀點，並可能被證明是神經形態計算領域以及面向人工智慧研究的重大發展。」

煉丹的好爐子！Amazon SageMaker Studio詳解

10月15日，AWS資深解決方案架構師黃德濱將直播講解Amazon SageMaker的相關組件，如studio、autopilot等，並通過在線演示展示這些核心組件對AI模型開發效率的提升。

原標題：《清華首次提出「類腦計算完備性」及計算系統層次結構，登上Nature》

閱讀原文

相關焦點

  • 清華首提「類腦計算完備性」及計算系統層次結構，登Nature
    來自清華大學、北京信息科學與技術國家研究中心、美國德拉瓦大學（University of Delaware）科研團隊的研究者在論文《A system hierarchy for brain-inspired computing》（一種類腦計算系統層次結構）中提出了「類腦計算完備性」（neuromorphic completenes
  • 清華大學計算機系張悠慧團隊首次提出「類腦計算完備性」
    「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構這是清華大學計算機系以第一完成單位/通訊單位發表的首篇《自然》論文也完成了清華大學一年多以來在《自然》正刊的類腦計算領域「三連發」與通用計算機的「圖靈完備性」概念與「馮•諾依曼」體系結構相對應，本篇題為《一種類腦計算系統層次結構》（A system
  • 我科學家首次提出「類腦計算完備性」
    清華大學計算機科學與技術系張悠慧團隊、精密儀器系施路平團隊與合作者首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構，填補了類腦研究完備性理論與相應系統層次結構方面的空白，利於自主掌握新型計算機系統核心技術。該成果於10月14日以《一種類腦計算系統層次結構》為題發表在《自然》雜誌上。
  • 清華團隊首次提出「類腦計算完備性」，實現《自然》雜誌「三連發」
    「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。與通用計算機的「圖靈完備性」概念與「馮諾依曼」體系結構相對應，本篇題為《一種類腦計算系統層次結構》的論文首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構，通過理論論證與原型實驗證明該類系統的硬體完備性與編譯可行性，並擴展了類腦計算系統應用範圍使之能支持通用計算。
  • ...團隊填補腦計算系統領域理論空白 首次提出「類腦計算完備性」
    10月14日，清華大學計算機科學與技術系教授張悠慧團隊、精密儀器系教授施路平團隊與合作者在《自然》雜誌發文，首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。該研究項目填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。
  • 清華大學團隊填補腦計算系統領域理論空白 首次提出「類腦計算完備性」
    10月14日，清華大學計算機科學與技術系教授張悠慧團隊、精密儀器系教授施路平團隊與合作者在《自然》雜誌發文，首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。該研究項目填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。
  • 清華施路平團隊新研究登上《自然》，提出類腦計算系統新框架
    10月14日，在最新一期《自然》雜誌中，發布了清華大學施路平團隊的一項新研究，在類腦計算通用系統層次結構方面取得了新進展，該層次結構將算法的要求及其在一系列神經形態系統上的實現形式化，從而為研究的結構化方法奠定了基礎。
  • Nature：清華團隊提出類腦計算系統新框架，通用人工智慧或將不再科幻
    研究人員在類腦計算通用系統層次結構方向取得突破性進展，並提出了「神經形態完備性」（neuromorphic completenes）的最新概念。尤其是，當前類腦計算的系統和晶片，雖然具體類型有所不同，但都比較側重於端到端的軟硬體協同設計方法，缺乏一種可以將算法、晶片和器件等不同領域技術和需求有機結合起來的軟硬體系統層次結構設計。而此次這一最新研究成果的提出，或許為通用人工智慧的加速到來提供了可能。
  • 清華大學團隊首提「類腦計算完備性」概念
    《自然》，論文首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。「這是一個新穎的觀點，並可能被證明是神經形態計算領域以及對人工智慧的追求的重大發展。」《自然》的一位審稿人給出評價。　　這篇題為《一種類腦計算系統層次結構》的論文，由清華大學計算機科學與技術系張悠慧團隊、精密儀器系施路平團隊與合作者共同完成。
  • 清華團隊提出類腦計算系統新框架，通用人工智慧或將不再科幻
    研究人員在類腦計算通用系統層次結構方向取得突破性進展，並提出了「神經形態完備性」（neuromorphic completeness）的最新概念。）支持圖靈機，通過引入圖靈完備性以及基於圖靈完備性的層次結構和馮·諾依曼體系結構，避免了當前計算系統中軟體和硬體之間的緊密耦合，實現了高效、兼容和獨立的進程，通過設置硬體（圖靈完備性）的最低要求，在任何馮·諾依曼處理器（編譯）上將任何高級語言的程序轉換成等效的指令序列變得可行。
  • 清華大學團隊《自然》刊文，首提「類腦計算完備性」概念
    記者10月15日從清華大學獲悉，我國首篇以「計算機系作為第一完成單位」的論文登上《自然》，論文首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。「這是一個新穎的觀點，並可能被證明是神經形態計算領域以及對人工智慧的追求的重大發展。」《自然》的一位審稿人給出評價。
  • 清華類腦計算再登《自然》：張悠慧施路平團隊定義新計算機結構
    突破性的類腦計算通用系統層次結構。這項研究中提出的神經形態完備性概念，這是一種更具適應性、更廣泛的類腦計算完備性的定義，它降低了系統對神經形態硬體的完備性要求，提高了不同硬體和軟體設計之間的兼容性。這一點是十分重要關鍵的，因為以往，在馮·諾依曼結構計算機上，類腦計算缺乏合適的系統層次結構來支持整體開發，神經形態軟體和硬體之間沒有合適的接口。
  • 「天機芯」登《自然》封面後清華實現類腦計算「圖靈完備性」突破
    這次，他們首次提出了 「類腦計算的完備性」 概念，為類腦計算這一有可能在未來與傳統計算系統相媲美的新型計算機系統，補上了一塊重要的理論短板，讓類腦計算的軟、硬體各自獨立開發成為了可能，更可以大幅提升很多應用的計算效能，是神經形態計算領域的重大理論突破。針對這一重大突破，DeepTech 與文章的共同一作與共同通訊作者、團隊負責人張悠慧教授進行了深入交流。
  • 類腦計算，他們從0到1
    10月14日，清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文，填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。這是一年多來，清華團隊在類腦計算領域繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果，也是國內計算機體系結構領域首篇《自然》論文。
  • ...計算成果再登Nature:張悠慧施路平團隊出品,有望打破馮諾依曼瓶頸
    而最新發表的研究，則是為了解決類腦計算系統的「基礎設施架構」問題。在名為A system hierarchy for brain-inspired computing的論文中，施路平教授團隊提出了一種全新的、突破性的類腦計算通用系統層次結構。
  • 清華大學團隊完成《自然》類腦計算領域首次刊文
    我國首篇以「計算機系作為第一完成單位」的論文登上《自然》，論文首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。「這是一個新穎的觀點，並可能被證明是神經形態計算領域以及對人工智慧的追求的重大發展。」 對於我國學術界來說，在世界頂級學術期刊《自然》上刊發論文早已不是啥大事兒。
  • 清華「天機芯」團隊再發重磅研究！以全新類腦計算系統實現通用人工智慧
    （圖片來源：Pixabay）10月15日，清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者發表一項最新類腦計算體系結構的突破性研究成果，首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構
  • 清華大學張悠慧團隊首提類腦計算完備性，論文登上《自然》雜誌
    ，國際上尚未形成公認的技術標準與方案，清華大學計算機系張悠慧團隊首次提出的「類腦計算完備性」 填補了完備性理論與相應系統層次結構方面的空白。這一成果標誌著清華大學在類腦計算領域的國際領先地位，《自然》雜誌對這一論文進行了解讀和評論。InfoQ 中文站翻譯並分享。以大腦為模型的硬體也許能夠給計算帶來革命性的變化，但要在這種系統上實現算法卻是一個挑戰。本文所提出的概念框架可以簡化實施過程，加快這一領域的研究。下一代高性能、低功耗的計算機系統可以從大腦得到啟發。
  • 首提新概念，清華研發類腦計算機
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文，首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構，填補了這一領域的空白。
  • 清華研發類腦計算機
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文，首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構，填補了這一領域的空白。