清華類腦計算再登《自然》:張悠慧施路平團隊定義新計算機結構

2020-12-18 量子位

賈浩楠 發自 凹非寺量子位 報導 | 公眾號 QbitAI

清華類腦計算研究成果,再登Nature。

新研究的關鍵詞是:類腦計算新計算機系統框架通用人工智慧(AGI)。

它的重要性,在於有希望打破如今馮·諾依曼型計算機,對人工智慧的普遍限制,完全發揮類腦算法的潛力,使AGI更具可行性。

研究了些什麼?

這並不是清華大學類腦計算中心的相關研究成果,第一次登上Nature。

去年8月,清華類腦計算中心施路平團隊自行研發的類腦晶片「天機」,登上了Nature封面。

以這片類腦晶片為基礎,研究團隊實現了高度靈敏,並且能聽懂自然語言指令的自行車

而最新發表的研究,則是為了解決類腦計算系統的「基礎設施架構」問題。

在名為A system hierarchy for brain-inspired computing的論文中,施路平教授團隊提出了一種全新的、突破性的類腦計算通用系統層次結構

這項研究中提出的神經形態完備性概念,這是一種更具適應性、更廣泛的類腦計算完備性的定義,它降低了系統對神經形態硬體的完備性要求,提高了不同硬體和軟體設計之間的兼容性。

這意味著這種專門為類腦計算任務設計的計算機結構,具備了和我們熟知的馮·諾依曼結構計算機相同的能力。

即避免系統中軟體和硬體之間的緊密關聯,實現了高效、兼容和獨立的進程。不同的程式語言可通過編譯器處理變為可供機器執行的指令。

這一點是十分重要關鍵的,因為以往,在馮·諾依曼結構計算機上,類腦計算缺乏合適的系統層次結構來支持整體開發,神經形態軟體和硬體之間沒有合適的接口。

一個特定的算法或類腦晶片,需要藉助一系列特定的軟體工具才能運行,

這種方法的弊端在於,類腦計算系統(包括應用程式模型、系統軟體和神經形態設備)的各個層被緊密綁定在了一起,影響了軟體和硬體之間的兼容性,降低了類腦計算系統的編程靈活性和開發效率。

解決這個問題的關鍵,是「神經形態完備性」。

神經形態完備的三層結構

這項研究中提出了神經形態完備性的概念。

這是一種類腦計算完備性的定義,與通用的圖靈完備性類似,定義通用機器和語言的要求。

定義提出,如果一個類腦系統能夠以規定的準確度執行一組給定的基本操作,那麼它就是神經形態完備的。

這與圖靈完備性有所不同。

在圖靈完備性中,只有當一個系統為一組給定的基本運算提供了一個精確且等價的結果時,才可以將其定義為完備。

而在所提出的神經形態完備框架中的基本運算,包括兩個已知的加權和運算,以及元素-整流線性運算,這使得硬體系統能夠同時支持脈衝和非脈衝人工神經網絡。

新定義降低了系統對神經形態硬體的完備性要求,使得不同硬體和軟體設計之間的兼容性更易實現。

新的層次結構的一個重要特點是,提出了完整的連續性,根據類腦系統能夠執行基本操作的精度,接受不同級別的算法性能。

完整的連續性還允許算法的不同實現路徑在同一硬體上運行。例如,探索如何權衡算法精度與晶片尺寸,以降低功耗。

為滿足神經形態完備性,團隊提出一種全新的系統層次結構,這一結構包括軟體、硬體和編譯三個層次:

其中,軟體層指的是程式語言或框架以及建立在它們之上的算法或模型。在這個層次上,團隊提出了一種統一的、通用的軟體抽象模式——POG 圖(programming operator graph)——以適應各種類腦算法和模型設計。

POG 由統一的描述方法和事件驅動的並行程序執行模型組成,該模型集成了存儲和處理,描述了什麼是類腦程序,並定義了如何執行。由於 POG 是圖靈完備的,它最大程度地支持各種應用程式、程式語言和框架。

硬體方面,則包括所有類腦晶片和架構模型。團隊設計了抽象神經形態體系結構(ANA)作為硬體抽象,包括一個 EPG 圖(execution primitive graph),作為上層的接口來描述它可以執行的程序。

EPG 具有控制、流、數據流的混合表示,滿足它對不同硬體的適應性。

編譯層,是將程序轉換為硬體支持的等效形式的中間層。為實現可行性,研究人員提出了一套被主流類腦晶片廣泛支持的基本硬體執行原語(hardware execution primitives)。

類腦計算領域的重要一步

近年來,隨著摩爾定律逐漸失效,馮·諾依曼結構帶來的局限日益明顯,存儲牆、功耗牆、智能提升等問題,讓當前計算機發展面臨重大挑戰。

從人類大腦中汲取靈感的類腦計算或神經形態計算,是一種有潛力打破馮·諾伊曼瓶頸並推動下一波計算機工程的計算模型和架構。

而Nature給這項研究的評語是「a welcome step」。

比較實現相同算法的等效版本的不同硬體平臺以及在同一硬體上實現的不同算法的比較

這些都是類腦結構的有效基準測試的關鍵。

新結構的另一個優勢是它可以將類腦算法和相應的硬體開發分流。

類腦算法在不斷實現強大功能的同時,算法的規模和複雜性將需要隨著時間的推移而增加。因此這種分流將有助於研究人員專注於特定方向,避免複雜的端到端解決方案。

這項研究是類腦計算領域的重要一步。

儘管現在,人類大腦本身是否符合「神經形態完備」還有待觀察,但這項研究仍然讓類腦計算實用化,以及可能在此基礎上發展的通用人工智慧離我們更近了。

進擊的清華類腦計算中心

清華大學類腦計算中心,由施路平教授2013年3月全職入職清華大學後組建,從基礎理論、類腦計算系統晶片和軟體系統全方位進行類腦計算研究。

去年 8 月,施路平團隊的「天機芯」登上《自然》雜誌封面 加連結,這是世界上首款異構融合類腦晶片,並通過自動駕駛自行車成功驗證了通用智能的可行性。

團隊很早就著手類腦計算的商業落地,2018年,北京靈汐科技作為清華大學類腦計算中心科技成果轉化項目正式成立,施路平教授是聯合創始人。

相關焦點

  • 清華大學計算機系張悠慧團隊首次提出「類腦計算完備性」
    」以及軟硬體去耦合的類腦計算系統層次結構這是清華大學計算機系以第一完成單位/通訊單位發表的首篇《自然》論文也完成了清華大學一年多以來在《自然》正刊的類腦計算領域「三連發」與通用計算機的「圖靈完備性」概念與「
  • 清華施路平團隊新研究登上《自然》,提出類腦計算系統新框架
    10月14日,在最新一期《自然》雜誌中,發布了清華大學施路平團隊的一項新研究,在類腦計算通用系統層次結構方面取得了新進展,該層次結構將算法的要求及其在一系列神經形態系統上的實現形式化,從而為研究的結構化方法奠定了基礎。
  • 清華大學研發類腦計算機 類腦計算是什麼意思
    類腦計算是什麼意思?據央視新聞報導,北京時間 10 月 14 日 23 點,清華大學計算機系張悠慧團隊和精密儀器系施路平團隊與合作者在《自然》(Nature)雜誌發文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。目前,清華大學正在開發新型類腦計算機。
  • 清華類腦團隊成果「一種類腦計算層次結構」入選2020年世界網際網路...
    清華大學類腦團隊成果——「一種類腦計算層次結構」成功入選專家推薦委員會中外主任特別推薦成果。  世界網際網路大會旨在搭建中國與世界互聯互通的國際平臺和國際網際網路共享共治的中國平臺。2016年起,大會每年從全球數百個申報項目中評選出領先科技成果進行發布,這些成果通常被認為代表了當時網際網路和信息技術相關領域的最高水平。
  • 清華大學研發類腦計算機 首提新概念突破圖靈與馮諾依曼體系
    清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者10月14日在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了這一領域的空白.這是一年多來,清華在類腦計算領域繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果,也是計算機系以第一完成單位發表的首篇《自然》論文
  • 清華大學張悠慧團隊首次提出「類腦計算完備性」
    10月14日,清華大學計算機系張悠慧團隊和精儀系施路平團隊與合作者在《自然》雜誌發表題為《一種類腦計算系統層次結構》的論文,填補了類腦計算系統領域完備性理論與相應的類腦計算系統層次結構方面的空白。這是一年多來,清華大學在類腦計算領域繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果。類腦計算是借鑑生物神經系統信息處理模式和結構的計算理論、體系結構、晶片設計以及應用模型與算法的總稱。現有類腦計算系統研究大多聚焦於具體的晶片、工具鏈、應用和算法的創新實現,而忽略了從宏觀和抽象層面上對計算完備性和體系結構的思考。
  • 清華首次提出「類腦計算完備性」及計算系統層次結構,登上Nature
    論文連結:https://www.nature.com/articles/s41586-020-2782-y該研究的第一作者為清華大學計算機系研究員張悠慧,與清華大學教授、清華大學類腦計算中心主任施路平共同為該論文的通訊作者。神經形態計算從生物大腦中獲取靈感,為計算機技術和體系結構的下一波發展提供了方向。
  • 我科學家首次提出「類腦計算完備性」
    清華大學計算機科學與技術系張悠慧團隊、精密儀器系施路平團隊與合作者首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構,填補了類腦研究完備性理論與相應系統層次結構方面的空白,利於自主掌握新型計算機系統核心技術。該成果於10月14日以《一種類腦計算系統層次結構》為題發表在《自然》雜誌上。
  • ...清華大學類腦計算中心施路平教授團隊發布全球首款異構融合類腦...
    發展人工通用智能主要有基於計算機和基於神經科學兩個主要方向,二者各有優缺點,目前將兩者融合被公認為是最佳解決方案之一, 而其基礎則為支持融合計算的平臺硬體。▲天機晶片單片(左)和5x5陣列擴展板(右)清華大學類腦計算研究中心借鑑腦科學的基本原理,提出了符合腦科學基本規律的新型類腦計算架構——異構融合的天機類腦計算晶片架構,可同時支持計算機科學和神經科學的神經網絡模型,例如人工神經網絡和脈衝神經網絡,發揮它們各自的優勢。
  • 清華天機AI晶片登Nature封面:全球首款異構融合類腦晶片
    它的大腦,是清華研發的類腦晶片「天機」,讓自行車真的實現了自行。你看,跟蹤人類的時候,它敏捷地避開路上的障礙,是自主行為:而就算人類奔跑的路線只是輕微彎曲,自行車依然能準確地做到S型跟蹤:當然,它也能聽懂人類的語言。
  • 自研類腦晶片+1.2億神經元,國產最強類腦計算機發布!
    類腦計算機與傳統計算機有何不同? 據了解,我們目前所使用的傳統計算機是基於馮·諾依曼架構,該架構在數值計算上有優勢,它是以數字加減乘除的方式來進行信息架構。 浙江大學研製成功達爾文1代和達爾文2代類腦計算晶片,用晶片去模擬大腦神經網絡的結構與功能機制,在圖像、視頻、自然語言的模糊處理中具有優勢。神經元在傳遞信息時重要的一點是異步運行,也就是信號來的時候啟動,沒有信號就不運行。類腦晶片的工作原理就類似於生物的神經元行為,通過脈衝傳遞信號,這樣就能實現高度並行,效率提升。
  • 什麼水平才能任教清華計算機系?
    據我們的不完全統計,清華計算機系2017-2020年入職的幾位青年教師中,研究方向主要集中在兩個方向上:高性能計算和人工智慧。這也可以從招聘信息上看出傾向。雖然這一次在教研崗上貴系沒有直接點明對研究方向的要求,但2018年9月版本的招聘信息中,提到在「高性能計算機系統與應用」、「下一代網際網路體系結構」和「人工智慧與智能計算」3個方向設置了3個教研系列教師崗位。
  • 《自然·計算材料》:用量子計算機解決材料問題
    量子計算機具有使用新穎算法進行計算的巨大潛力,並且涉及的數據量遠遠超出了當今超級計算機的能力。雖然已經建造了這種計算機,但是它們仍處於起步階段,並且在解決材料科學和化學領域的複雜問題方面具有有限的適用性。例如,它們僅允許模擬幾個原子的性質以用於材料研究。
  • 計算系統在新形勢下的新機遇和新挑戰
    計算系統論壇計算系統在新形勢下的新機遇和新挑戰12月19日-20日,以"新變局、新技術、新機遇"為主題的2020中國計算機教育大會(CECC2020)在廈門國際會議中心成功舉辦。20日,"計算系統"分論壇舉行,來自國內各大高校、科研機構、科技公司的參會代表參加。教育部高等學校計算機類專業教學指導委員會副主任委員,北京大學計算機科學技術系陳鍾教授及華為雲與計算BG高校科研與人才發展部部長曾偉勝擔任論壇主席。廈門大學信息學院院長,清華大學計算機系長聘教授舒繼武主持會議。
  • 我國科學家研發全球神經元規模最大的類腦計算機,「腦容量...
    芯東西(公眾號:aichip001)編 | 心緣芯東西9月2日消息,我國類腦計算技術發展迎來新裡程碑:億級神經元類腦計算機重大成果於9月1日在杭州正式發布。類腦計算機通過模擬人腦結構與運算機制,突破傳統計算架構存在的瓶頸,被視作解決人工智慧(AI)等計算難題的重要路徑之一。
  • 我們向大腦找答案|人工智慧|深度學習|腦...
    主持人為未來論壇青年理事會輪值主席、中科院計算所研究員、博士生導師山世光教授。唐華錦發表了《神經形態計算機》的主題分享,他認為模擬大腦智能是計算機科學領域長久以來的目標,成為過去幾十年人工智慧的發展的重要推動力。人工智慧和腦科學在各自領域獨自發展,且都取得了很大突破,我們亟需以新的眼光和視角重新建立兩者的聯繫,特別是從腦科學的角度探索人工智慧的新思路和新方法。
  • 計算機原理:理論基礎(圖靈機)與(馮諾伊曼)體系結構!
    當時有一個數學家,致力於發明一種可以用於計算的機器,希望從本質上解決這些計算問題。這個人就是圖靈,而這個被他發明出來用於計算的機器就被稱之為圖靈機。但是一定要明白一點:圖靈機只是一種計算模型,而計算機模型不止圖靈機一種,還有 lambda 演算等等,然而所有的計算模型都能證明與圖靈機等價,或者計算能力不超過圖靈機。圖靈機是這些計算模型裡面最直觀的最簡單的。
  • 腦科學日報:可印在皮膚上的監測傳感器;類腦計算系統新框架
    1,《自然》重磅:清華團隊提出類腦計算系統新框架,通用人工智慧或將不再科幻 來源:學術頭條 類腦計算系統和傳統計算系統的層次結構 一直以來,通過模擬人腦信息處理方式,仿製像人腦一樣具有「思維」、在工作性能上超越人腦的「類腦系統」,實現通用人工智慧,是眾多科學家畢生追求的夢想。
  • 清華、北大教授同臺激辯:腦科學是否真的能啟發AI?
    如果完全按照生物系統物理上的神經結構去做智能,真的能夠得到普適性規律嗎? 另外,計算機是決定性的。但是生物系統是有進化的,每個人都不一定是最優的,隨著環境改變,生物系統也需要發生變化。所以如何在數學上實現,我們不知道。
  • 十問億級神經元類腦計算機:AI領域有望突破,哪些還需火候
    研究團隊在9月1日的成果發布會上指出,該類腦計算機在神經元規模上超越了德國海德堡大學的BrainScaleS、IBM的Blue Raven和英特爾公司的Pohiki Springs三大類腦計算系統,是目前國際上神經元規模最大的類腦計算機。