「天機芯」登《自然》封面後清華實現類腦計算「圖靈完備性」突破

2020-11-04 DeepTech深科技

繼 「天機芯」 和基於憶阻器件的神經形態晶片之後,清華大學類腦計算團隊的研究成果,於 10 月 14 日再次發表在了《自然》雜誌上。

這次,他們首次提出了 「類腦計算的完備性」 概念,為類腦計算這一有可能在未來與傳統計算系統相媲美的新型計算機系統,補上了一塊重要的理論短板,讓類腦計算的軟、硬體各自獨立開發成為了可能,更可以大幅提升很多應用的計算效能,是神經形態計算領域的重大理論突破。

針對這一重大突破,DeepTech 與文章的共同一作與共同通訊作者、團隊負責人張悠慧教授進行了深入交流。他詳細解讀了類腦計算完備性的來龍去脈,以及對於相關領域研究的重大意義。

圖 | 張悠慧教授(左三)團隊(來源:清華大學)

作為受生物神經系統(包括大腦)工作原理、與結構啟發的計算技術處理信息的計算技術,類腦計算、或者說神經形態計算,被認為是實現通用人工智慧的重要途徑之一,也是新一代計算機發展的極具潛力的方向之一。

現有的通用計算機系統,一直延續著馮・諾依曼在 1946 年提出的 「存算分離」 架構 —— 存儲部件與計算部件分離,程序與數據統一存儲。這種天才的架構讓計算機在過去的幾十年來性能突飛猛進,奠定了第三次工業革命的基礎。

然而,馮・諾依曼架構存在一個問題,就是處理器與存儲器中交換程序與數據時,會消耗大量的時間和能量。在人工智慧時代,隨著需要處理的數據量的攀升,馮・諾依曼瓶頸越發明顯。

例如,阿爾法狗與李世石和柯潔對弈的時候,強大的算法雖然贏了人類對手,但一局的電費就高達 3000 美元,而完成同樣功能的人腦,頂多吃一頓飯就可以了。

圖 | 阿爾法狗戰勝了人類,但能耗代價卻是驚人的(來源:yuzeh.com)

那麼,能否根據受生物神經系統(包括大腦)工作原理與結構啟發的計算技術,來設計計算機系統呢?答案是肯定的。這就是所謂的類腦計算的概念。

與傳統的計算技術相比,類腦計算最主要的區別之一在於擺脫了馮・諾依曼架構 「存算分離」 的枷鎖。受生物神經系統(包括大腦)工作原理與結構啟發,類腦計算系統用超大規模集成電路和微納電子來仿生神經突觸與神經元的功能,將數據存儲和處理的功能集中在計算單元上,從而大幅減少處理器從存儲器中讀取和寫入數據的能耗。

通過這一高效整合形式,類腦計算可以能效更高、性能更好、速度更快地處理數據。這一潛能讓它有可能成為與傳統的通用計算系統相比肩的未來計算系統。

圖 | 神經元(來源:IC photo)

自上世紀八九十年代提出以來,類腦計算一直受到很多關注,近年來更是持續突破。例如,清華大學就曾在去年和今年兩次發文,展示了我國在類腦計算領域的強勁研發能力。

2019 年,清華大學施路平教授團隊的類腦計算晶片 「天機芯」(Tianjic)讓一輛自行車實現了自動駕駛。這款實現了異構融合的電子晶片,整合了現有的人工網絡算法和類腦的脈衝神經網絡算法,同時支持神經科學發現的眾多神經迴路網絡和異構網絡的混合建模,實現了無人自行車駕駛。

圖 | 施路平教授團隊的天機芯曾登上《自然》雜誌封面(來源:Nature )

今年年初,清華大學吳華強教授團隊則成功研發出了一款基於多陣列憶阻器的存算一體系統,在器件和電路晶片層面,用新型的非易失性器件憶阻器,研發出了世界上第一款全硬體的基於憶阻器的神經計算晶片,在處理一些神經網絡應用時,它能獲得比 GPU 高出兩個數量級的性能優勢。

然而,儘管類腦計算的軟硬體研究成果已經顯示出了其在一些應用上相比於通用計算系統不小的優勢,但還有一個明顯的短板 —— 類腦計算還沒有自己的完備性。

通用計算領域有一個重要的概念,叫做 「圖靈完備性」。所謂的完備性,指的就是一個計算系統的功能邊界,它能做什麼。對於通用計算機來說,「一個具有圖靈完備性的機器可以計算任何一個可計算的函數」,張悠慧向 DeepTech 解釋道。

有了圖靈完備性,開發軟體的工程師只要使用圖靈完備的程式語言去編寫程序,就可以保證這個程序在任何一個符合圖靈完備的硬體設備上,轉換成等價的指令序列。

這樣,通用計算系統的軟體和硬體的開發就可以獨立開來,各自專注於自己領域的事情,而無需擔心程序能否在所有晶片上使用,晶片又能否支持所有的程序。

然而,由於類腦計算尚處於起步階段,類腦計算的功能邊界並沒一個很好的定義。往往是一類應用出來了,就按照歸納法,設計類腦計算系統來完成這類工作。但面對未來其它的工作,類腦計算能不能完成,就不得而知了。

而且這類設計方法往往使得每一個晶片架構都需要一套專門的軟體工具鏈來配合,從而使得不同類腦計算系統之間難以做到相互兼容。

做為一個從事計算機系統研究的科學家,張悠慧敏銳地注意到了這個問題。要想實現類腦計算的跨越式發展,單靠一個一個具體的晶片、工具鏈、應用和算法的創新實現是不夠的,還需要從計算機系統的理論出發,解決類腦計算的完備性問題。

通過研究,他們提出了類腦計算的完備性概念:對於任意圖靈可計算的函數,只要一個計算系統可以給出一個誤差在可接受範圍內的函數,那麼它就可以被認為是類腦完備的。

這意味著,類腦計算不像通用計算一樣,要求每一步計算的精度,而是只要結果的精度足夠,就可以了。

這是由於類腦計算與通用計算根本上的不同所決定的。通用計算在計算一個函數的時候,用的是 「算」 的方法 —— 利用給定的算法,「算」 出答案。而類腦計算主要依靠神經網絡,它並不關注一步一步的計算過程,只要參數夠多,就可以擬合出足夠精確的結果,某種程度上可以說這個結果是 「記」 出來的。

類腦計算的完備性就把 「算」 和 「記」 結合了起來,除了可以 「算」,有些時候還可以用神經網絡來 「記」 出答案。通過新加上的這一維度,某些應用的系統優化空間可以增加 50-60 倍,「系統的設計和優化空間變大了,那就會帶來直接的性能功耗比上的收益」,張悠慧表示。

除此之外,類腦計算完備性的重要意義還在於,它有望實現軟硬體研究的去耦合,可以把類腦計算不同方向上的研究結合起來,相互協作,共同推進這個領域的前進。

類腦計算是一個典型的交叉學科,生物、硬體、材料、軟體等不同背景的研究人員都在從事這個領域的研究。之前,大家並沒有一個跨平臺的工具鏈,開發的時候遇到的硬體約束條件都是特定和不兼容的。

有了類腦計算的完備性,張悠慧團隊設計了相應的類腦計算機層次結構:

向上,是圖靈完備的軟體模型,只要開發的算法是用圖靈完備的語言編寫的,就可以不再擔心硬體的約束問題;

而向下,他們提出了類腦計算完備的硬體體系結構,相比於圖靈完備性,放鬆了對於計算過程與精度的要求,因此適配性更好;

而在軟體和硬體之間,他們開發了相應的編譯層。任意圖靈可計算的函數,都可以轉換為類腦計算完備硬體上的模型,讓類腦計算系統也可以支持通用計算。

圖 | 類腦完備的計算系統架構(來源:Zhang, Y. et al. Nature 586, 378–384 (2020).)

如此一來,不同社區的團隊成果就可以融合起來,做軟體的不用再關心硬體的約束,做硬體的也不用擔心軟體能不能支持。做算法、做軟體、做硬體的人,都可以專注於自己的專長,像通用計算一樣,不同層次可以各自發展,成果又可以無縫兼容。

為了挖掘類腦完備性的潛力,他們重新實現了施路平教授的天機芯自動駕駛自行車的案例。還突破了傳統類腦計算系統的限制,進行了鳥群模擬和 QR 分解的計算。

張悠慧表示,「很多人認為類腦計算跟通用計算的高度將是一樣的,要是真的想達到這樣的高度,就必須要達到完備性。」

展望未來,張悠慧並不想對大概多久能建立完善的類腦計算的產業鏈做出準確的估計。類腦計算是很有可能實現通用人工智慧的重要方向之一,要達到那樣的高度,還有很長的距離要走。

但在這一進步過程中,計算系統效率提升是實實在在的 —— 不論這種提升是來自於新型的非易失性器件(如憶阻器),還是來自於類腦計算完備性所擴大的系統設計空間。作為一個交叉學科,「基於新的工藝和新的晶片,在一些應用場合下,類腦計算將在三五年內實現性能的顯著提升。」

相關焦點

  • 清華「天機芯」團隊再發重磅研究!以全新類腦計算系統實現通用人工智慧
    ,通過理論論證與原型實驗證明該類系統的硬體完備性與編譯可行性,以及利用「天機」芯等硬體性能架構相互兼容(即軟硬體去耦合),擴展類腦計算系統應用範圍,使之能支持通用計算。從而以完善的計算完備性與軟硬體去耦合層次結構,實現用類腦計算構建通用人工智慧。據悉,這一最新突破性研究成果於今晨登在頂級科學期刊《自然》(Nature)雜誌上。該論文作者表示,這一重要研究成果給內腦計算系統發展提供了一個理論基石。類腦計算是面向通用人工智慧的重要計算能力,新的類腦計算系統層級架構為建立通用人工智慧的標準和發展帶來幫助。
  • 首提新概念,突破圖靈與馮諾依曼體系!清華研發類腦計算機
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了這一領域的空白。
  • 「天機芯」團隊又登Nature,清華類腦計算領域「三連發」
    來源:機器人大講堂去年8月,清華大學施路平團隊攜手第二代「天機芯」登上《自然》(Nature)雜誌封面(《面向人工通用智能的異構天機晶片架構》(Towards artificial general Intelligence with hybrid
  • 「天機芯」團隊再登《自然》,清華1年多完成類腦計算領域「三連發」
    三篇論文分別從「異構融合的新型類腦計算晶片與系統」、「基於憶阻器件的神經形態晶片」、以及「類腦計算完備性與系統層次結構」等角度完成了類腦計算領域的首次實現。以完善的計算完備性與軟硬體去耦合層次結構,實現用類腦計算構建通用人工智慧。
  • 清華大學研發類腦計算機 首提新概念突破圖靈與馮諾依曼體系
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了這一領域的空白.這是一年多來,清華在類腦計算領域繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果,也是計算機系以第一完成單位發表的首篇《自然》論文
  • 清華大學計算機系張悠慧團隊首次提出「類腦計算完備性」
    》(Nature)雜誌發文首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構這是清華大學計算機系以第一完成單位/通訊單位發表的首篇《自然》論文也完成了清華大學一年多以來在《自然》正刊的類腦計算領域「三連發」與通用計算機的「圖靈完備性」概念與「馮•諾依曼」體系結構相對應,本篇題為
  • 首提新概念,清華研發類腦計算機
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了這一領域的空白。
  • 首提新概念,清華研發類腦計算機_中國_唐山環渤海新聞網
    這是一年多來,清華在類腦計算領域繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果,也是計算機系以第一完成單位發表的首篇《自然》論文,目前,清華正在開發第三代「天機芯」以及新型類腦計算機。  近年來,類腦計算研究受到了越來越多的關注。類腦計算,是借鑑生物神經系統信息處理模式和結構的計算理論、體系結構、晶片設計以及應用模型與算法的總稱。
  • 類腦計算,他們從0到1
    10月14日,清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。這是一年多來,清華團隊在類腦計算領域繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果,也是國內計算機體系結構領域首篇《自然》論文。
  • 清華首提「類腦計算完備性」及計算系統層次結構,登Nature
    機器之心報導編輯:澤南、蛋醬自「天機」登上《自然》封面一年多以來,這已是清華大學的類腦計算研究最近第三次被自然雜誌收錄。10 月 14 日,在最新一期《自然》雜誌上,出現了一項類腦計算體系結構的突破性進展。
  • 清華團隊首次提出「類腦計算完備性」,實現《自然》雜誌「三連發」
    》(Nature)雜誌發文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。這是清華大學計算機系以第一完成單位/通訊單位發表的首篇《自然》論文,也完成了清華大學一年多以來在《自然》正刊的類腦計算領域「三連發」。
  • 清華類腦計算再登《自然》:張悠慧施路平團隊定義新計算機結構
    去年8月,清華類腦計算中心施路平團隊自行研發的類腦晶片「天機」,登上了Nature封面。這項研究中提出的神經形態完備性概念,這是一種更具適應性、更廣泛的類腦計算完備性的定義,它降低了系統對神經形態硬體的完備性要求,提高了不同硬體和軟體設計之間的兼容性。
  • 清華施路平團隊新研究登上《自然》,提出類腦計算系統新框架
    10月14日,在最新一期《自然》雜誌中,發布了清華大學施路平團隊的一項新研究,在類腦計算通用系統層次結構方面取得了新進展,該層次結構將算法的要求及其在一系列神經形態系統上的實現形式化,從而為研究的結構化方法奠定了基礎。
  • 清華首次提出「類腦計算完備性」及計算系統層次結構,登上Nature
    機器之心報導編輯:澤南、蛋醬自一年多以來,這已是清華大學的類腦計算研究最近第三次被自然雜誌收錄。10 月 14 日,在最新一期《自然》雜誌上,出現了一項類腦計算體系結構的突破性進展。
  • 清華團隊提出類腦計算系統新框架,通用人工智慧或將不再科幻
    如今,儘管類腦計算系統已與人工智慧技術結合,並被業內專家認為可能提供一條通向通用人工智慧的途徑,在更通用算法的應用層面也有著一定的突破和發展,但要保證類腦計算系統的性能、可編程性和生產效率,仍然面臨著不小的挑戰和極高的要求。
  • Nature:清華團隊提出類腦計算系統新框架,通用人工智慧或將不再科幻
    如今,儘管類腦計算系統已與人工智慧技術結合,並被業內專家認為可能提供一條通向通用人工智慧的途徑,在更通用算法的應用層面也有著一定的突破和發展,但要保證類腦計算系統的性能、可編程性和生產效率,仍然面臨著不小的挑戰和極高的要求。
  • ...計算成果再登Nature:張悠慧施路平團隊出品,有望打破馮諾依曼瓶頸
    它的重要性,在於有希望打破如今馮·諾依曼型計算機,對人工智慧的普遍限制,完全發揮類腦算法的潛力,使AGI更具可行性。研究了些什麼?這並不是清華大學類腦計算中心的相關研究成果,第一次登上Nature。去年8月,清華類腦計算中心施路平團隊自行研發的類腦晶片「天機」,登上了Nature封面。
  • 清華大學團隊《自然》刊文,首提「類腦計算完備性」概念
    記者10月15日從清華大學獲悉,我國首篇以「計算機系作為第一完成單位」的論文登上《自然》,論文首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。「這是一個新穎的觀點,並可能被證明是神經形態計算領域以及對人工智慧的追求的重大發展。」《自然》的一位審稿人給出評價。
  • 我科學家首次提出「類腦計算完備性」
    清華大學計算機科學與技術系張悠慧團隊、精密儀器系施路平團隊與合作者首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了類腦研究完備性理論與相應系統層次結構方面的空白,利於自主掌握新型計算機系統核心技術。該成果於10月14日以《一種類腦計算系統層次結構》為題發表在《自然》雜誌上。