類腦晶片研究的春秋戰國時代!清華北大中科院大牛聯合談進展與挑戰

2020-12-16 智東西

智東西(公眾號:zhidxcom)
文 | 心緣

智東西10月31日消息,今日,由北京智源人工智慧研究院主辦的2019北京智源大會在京舉辦。

在下午的智能體系架構與晶片專題論壇中,清華大學教授、類腦計算研究中心主任施路平,北京大學教授、智源研究員蔡一茂,中科院半導體所研究員、智源研究員魯華祥,分別分享了關於類腦神經網絡技術及晶片的現狀、挑戰及研發進展。

此外,中科院計算所研究員、智源研究員韓銀河現場分享了其團隊在智能控制專用處理器晶片的研究進展,清華大學長聘教授、智源研究員尹首一分享了關於可重構智能計算架構的技術,此前智東西曾多次報導這一技術(清華魏少軍:AI晶片2.0,終極智慧晶片 | GTIC2019)。

尹首一教授認為,可重構、超高能效、數模混合等將成為未來AI晶片繼續提升算力、降低功耗、提高能耗比的必然發展方向。

一、類腦計算是人工通用智能的基石

清華大學教授、類腦計算研究中心主任施路平首先提到,國家腦計劃即將推出,其題目就是腦科學和類腦研究。

人工通用智能發展很快,但同時也面臨很多挑戰。

如果有充足數據、確定問題、完整知識、靜態、單一問題,現代AI系統就能做很好,但超出這些條件,AI將難以實現。另外,AI不可理解、不可解釋的特點,一點偏差就可能產生巨大錯誤。

現在的AI只能解決特定解決方案,就事論事,難以推廣,不適用於動態和開放的環境,通常稱為弱人工智慧。

未來發展方向是人工通用智能技術,通過增加AI系統的魯棒性和通用性,幫人類舉一反三。

人工通用智能早在幾十年前就已經提出,但當時受限於算力、數據等因素,並不是發展人工通用智能的最好時機。

那麼為什麼說現在是好時機呢?施路平教授提及4個因素,隨著新型檢測設備的發展,人們對腦理解越來越多,似乎到了理解腦的關口;超算發展可以讓我們做更好的模擬仿真;大數據云計算提供足夠複雜的系統與腦交相輝映;新型納米器件的發展能提供和人腦差不多級別的能耗。

人工通用智能的研究本質上不同於窄人工智慧的集合。而類腦計算是人工通用智能的基石。

2016年是類腦計算機發展元年,全球同時上線3款類腦計算機,美國的TrueNorth、德國的BrainScales、英國的SpiNNaker,這些技術基於不同思路,使用不同架構。

做這樣的研究,真正的挑戰不是科學技術,而是我們的教育背景無法支撐這樣跨度大的研究。

做計算機科學和腦科學走的是兩條技術路線,而要發展人工通用智能的最佳路線,需要做到多學科深度融合。

施路平教授認為,類腦計算的發展方向,現在是基於馮諾依曼架構的傳統計算機,未來是走向人工通用智能、類腦架構的類腦計算機。

他提到類腦計算的10個優勢,不僅能耗比現有計算機節省3-4個數量級,能實現現在超算做不到的高度並行,做到現有架構無法實現的理解能力、不確定性、通用智能架構,而且其快速學習、小數據、信息深度挖掘、實時動態、殘缺數據的能力都比現有系統能力更為強大。

二、現在是類腦計算研究最好的時刻

類腦計算從大方向上有兩條技術路線,Brain inspired和Brain Like。

圖靈獎得主、計算機體系結構宗師David Patterson與John Hennessy認為,未來十年是計算機架構發展的黃金十年。

目前這一領域是春秋戰國,對研究而言是最好的時刻。施路平教授將主要類腦計算晶片分為7個層次。

清華大學類腦計算研究團隊過去七年一直在做的事情就是融合。美國腦計劃負責人之一、惠普公司威廉博士認為,清華團隊是類腦計算研究領域全球最好的團隊,他將用這個中心的模式組建美國的項目。

清華類腦計算研究的目標是發展支撐人工通用智能研究的類腦計算和系統。

類腦的精髓是方向感,通用類腦計算架構的難點是算得快、算得省、算得了,這需要理論、晶片、軟體、系統協同發展。

要研究類腦計算,應從基礎科學、核心技術、應用三個層面來看,同時也要關注安全與倫理。

施路平教授認為,現在所有技術發展最好能有一個roll,能得到很好的反饋。發展類腦計算面臨的首要問題是,不理解人腦機制的情況下如何發展類腦計算系統。

為什麼人看一眼就能理解圖片內容,而計算機卻做不到?問題的關鍵是相關性丟失。

腦利用的是空間複雜性,將相關性增加。另外,用時間脈衝編碼又利用了時間複雜性。三年前,《Science》出智慧機器人特刊,施路平教授將這一解釋發表出來。

基於其異構融合的類腦計算架構,清華大學研發出天機晶片,相比IBM的True North,不僅支持更多算法,且密度提高20%,速度快10倍,帶寬提升100倍,精度可調,擴展性和靈活性也更好。清華研究團隊還為之打造了專門的軟體工具鏈。

天機晶片已經被應用於類腦無人自行車,施路平教授表示,這取決於三個條件,多模態、可與環境交互、可擴展。據他回憶,他們曾被《Nature》拒絕了兩輪,施路平告訴學生,不是為了發表文章,而是向他們學習。最終《Nature》接受了他們的想法。(重磅!清華類腦晶片登上Nature封面,已成立公司,顛覆馮諾伊曼)

目前,清華大學類腦計算研究團隊在內部已搭好第一代類腦計算機及集群,形成迴路並快速迭代。施路平教授表示,隨著更多類腦計算機啟動後,他們會做一個類腦計算雲腦(開源社區)。

這樣強大的類腦計算能賦能哪些應用呢?施路平教授說,如果實現人工通用智能,類腦計算可以應用到網際網路、數據中心、智慧城市、智能教育、智慧醫療、智能家居、自動駕駛、智慧機器人等各行各業。

三、神經擬態器件選擇有很大空間

北京大學教授、智源研究員蔡一茂則重點從神經擬態器件進行分享。

硬體是AI發展的關鍵瓶頸,AI晶片研究成為熱點。

當前各類智能晶片方案的優劣性對比,可從自適應、性能、能效比、可編程性、可擴展性五個方面來看。ASIC的性能和能效比更強,CPU和GPGPU強在自適應和靈活可編程,FPGA在五方面的綜合表現更為均衡,而神經擬態晶片在可擴展性、能效比、自適應、性能上都非常出色。

在這一背景下,神經擬態器件/陣列/晶片成為研究熱點。基於憶阻器等神經形態器件及其類腦架構具有重要意義,器件選擇還有很大的空間。

除此之外,蔡一茂教授還核心談了兩點。

一是能否大規模集成式關鍵,如何進一步減小器件種類,提高集成密度。

二是關於類腦應用的挑戰及解決方案,即需要實現從器件及系統(算法)的協同設計。

對於神經形態計算系統而言,面臨的一大挑戰是缺少像MOSFET一樣的標準化器件,這增加了電路實現的複雜性,EDA工具的設計變得複雜,阻礙了大規模神經形態計算系統的發展。

而在多功能神經形態器件中,離子輸運和電子輸運分別對應兩類馳豫過程。離子輸運既有長馳豫時間,可模擬有記憶效應的突觸和神經元的積累過程;電子輸運具有短馳豫時間,可模擬無記憶效應的開關和神經元的發放過程。

基於CMOS工藝的類腦晶片採用NOC多核設計,隨機LIF神經元模型,設計規模單晶片神經元數目為10^6個,突觸數目為10^9個。

該晶片具有很好的通用性,可支持MLP、CNN、RNN等主流神經網絡模型,也可支持通用智能任務中的特定算法。

其靈活性體現在支持對神經元及突觸參數的點對點配置,可在有效推斷間隙實現快速參數更新。

另外,該晶片還具有生物性,支持生物時空編碼,可實現複雜類型生物脈衝及任意周期的脈衝振蕩環,可有效支持生物計算模型。

在此基礎上,北大研發了離線語音指令識別智能晶片SCR3301,支持語音命令詞識別、30個可配置命令,識別響應不到0.2秒,且單晶片無需啟動配置,無聯網約束,可應用於電動交互類、控制類玩具、可攜式電子娛樂設備以及中小型家電設備。

四、類腦神經網絡技術及其應用

中科院半導體所研究員、智源研究員魯華祥談到,信息處理技術發展面臨性能、能耗、可靠性、容錯性等方面的問題。

應對這些挑戰,創新晶片結構及運算方式應運而生,晶片成為AI技術發展的核心推動力。

與此同時,集成電路發展也面臨著摩爾定律和微納電子器件瓶頸所帶來的的問題。

隨著摩爾定律日益放緩,器件尺寸和晶片功耗接近極限,目前集成電路特徵尺寸已達3nm,規模工業生產達到7nm。

採用7nm工藝、集成了69億個電晶體的華為麒麟980晶片,研製周期長達3年,花費數十億美元,1000多位高級半導體專家參與,進行了5000多次的工程驗證。

新型納米電子器件研究也在持續推進,半導體所利用的Si基或GaAs、InP基III-V超晶格量子阱材料,發展了多種納米電子器件。

而生物神經網絡是缺陷容錯和噪聲容錯的系統,這帶來一種新的思路,將微納電子器件研究與類神經網絡研究相結合,集成新形態結構的晶片。

目前,類腦神經計算在國外用以解決下一代信息處理問題,以更低的功率開創全新計算機應用。歐盟、美國、日本、澳大利亞、加拿大、韓國均提出腦計劃。

「中國腦計劃」是我國六個長期科學項目之一,分為腦科學和類腦科學兩個部分,主要有兩個研究方向,一是以腦疾病為導向的腦科學研究,二是以建立和發展AI技術為導向的類腦研究。

類腦神經計算目前有兩種主流的實現路徑,一是以谷歌TPU為代表的功能模擬實現,二是以神經擬態晶片為代表的結構模擬實現。

魯華祥還介紹了半導體所類腦神經計算、晶片的發展狀況。其實驗室在1990年王守覺院士於原「新器件、新電路」研究室基礎上創立,面向計算方法、技術應用和晶片系統三大方向,取得一系列科技成果。

半導體所借鑑人腦的信息處理機制進行類腦神經計算的算法和晶片研發,聚焦於「多權值」神經元模型和電路實現、串並行計算架構、局部字域結構、分布式異步控制技術、神經元集群架構設計等晶片關鍵技術。

晶片方面,半導體所已研發出CASSANN系列類腦神經計算晶片,採用40nm CMOS工藝,集成16個神經元集群,4000萬門、1億個左右的電晶體,晶片內含65536個神經元,200萬神經突觸,每秒262億次神經突觸連接。

半導體所也研發了基於CASSANN-X的類腦神經計算系統,用以解決福州最優化問題。其成果已經應用在智能電網監測等「不確定、非完整信息」問題。

未來,半導體所將進一步研究三個方向,一是不精確、非完整信息的類神經計算技術和系統,二是高性價比的類神經計算晶片、系統和設計技術,三是缺陷容錯和噪聲容錯的電路集成技術。

結語:AI晶片未來有更多可能

國內外類腦神經計算的相關研究都在持續開展中,從今天的分享中,我們看到了來自國內多個研究團隊所做的努力和成果。

但目前類腦神經計算技術仍主要在研究階段,僅有少數落地成果,距離大規模落地和實現人工通用計算還有距離。

在圓桌論壇期間,中科院計算所研究員、智源首席科學家陳雲霽分享了他對AI晶片未來的暢想。

陳雲霽說,科學問題是過去時,智源看的是將來時。他認為,未來中短期的變化是定義好領域,自動化用EDA等工具實現快速生成;更長遠來看,有可能從頭到尾無人幹預地由計算機設計出一款晶片,或許有一天神經網絡能設計出一款神經網絡晶片來。

這一暢想雖然乍一聽似乎很遙遠,但在研究人員們的努力下,這在未來未必會是天方夜譚。

相關焦點

  • 硬核,南科大和清華中科大北大,共同入選2019年中國科學十大進展
    2020年2月27日,有一件大喜事,科學技術部高技術研究發展中心(基礎研究管理中心)發布了2019年度中國科學十大進展,科學進展,可不是科技進展.你們十大科學進展都有哪些呢?進展一 發現月球背面月幔物質出露的初步證據,中科院天文臺進展二 構架出面向人工通用智能的異構晶片,清華大學進展三 提出基於DNA檢測酶調控的自身免疫疾病治療方案,軍事醫學研究院
  • 北大——中國晶片夢起之地-虎嗅網
    王守武洪朝生是中國低溫物理開拓者,獲清華電機工程系學士、麻省理工學院博士,先後任中科院應用物理所研究員,清華、北大、中科大教授等職務,1980年當選中科院學部委員「863會議」期間,在信息組專家幾乎一邊倒的傾向只發展微電子時,高鼎三不懼孤立,極力主張光電子技術的重要性,獲得最高領導對光電子項目的重視,會後組建了中科院、清華、吉大聯合光電子國家重點實驗室。光電子技術在不久後爆發的海灣戰爭中,發揮了重要的實戰價值。
  • 龍泉寺5大高僧:3個清華1個北大,還有1個中科院,現狀如何?
    龍泉寺5大高僧:3個清華1個北大,還有1個中科院,現狀如何?龍泉寺是我國一所比較特殊的寺廟,與「天下武功出少林」的少林寺不同,龍泉寺是以高學歷、高科技、高素質聞名天下。龍泉寺僧人學歷高得離譜,北大、清華、北理工、中科院的博士、碩士、本科並不少,被稱之為「小北大清華」。
  • 最新學術排名中科院超哈佛,連續多年佔據榜首,北大清華進前十
    而中科院已經連續多年佔據榜首,超越哈佛等國際知名大學,也就是說中國科學院發表高質量論文的水平是世界第一。「世界第一」這四個字有很高的地位,因為想要得到世界第一的殊榮可是非常難,需要和國際知名大學比拼,所以我覺得世界第一的分量非常重。值得我們多多關注的是,中科院不僅僅只有一次是世界第一,而是連續多年都是世界第一。
  • 跨出類腦晶片的關鍵一步,成立僅兩年aiCTX有望先於IBM和Intel產業...
    其中顛覆傳統馮諾依曼架構,被譽為未來全新一代人工智慧處理器的類腦晶片也引發了不少關注,IBM和Intel等都已發布類腦晶片,國內的華為、阿里、百度等巨頭都在爭相競逐這個領域。類腦晶片是人類腦研究和半導體技術的全新結合,具有巨大的發展前景。aiCTX,一家位於瑞士蘇黎世,成立僅2年的初創公司,其類腦晶片產品將有望領先全球各巨頭實現產業化落地?
  • 春秋戰國「諸子百家」到底有多少類?
    《莊子》的《天下》、《駢姆》等篇將諸子分為六類,提到姓名的思想家有十五六位。《荀子·非十二子》把十二位思想家也分為六類來評論。《韓非子·顯學》主要評論儒、墨,也兼及楊朱等派別。《呂氏春秋·不二》論及老聃、孔子、墨子、關尹、列子、陳(田)駢、陽生(即楊朱)、孫臏、王廖、兒良等十一位思想家的特點。關於「諸子百家」這個說法的來歷,首見於《漢書·藝文志》:「諸子百八十九家。
  • 最新自然指數年度榜單出爐:中科大中科院大全球前十,超清華北大
    2020年4月30日,國際上著名的排行榜公布了一個排行榜,那就是著名的自然指數(Nature Index)公布了2020年度榜單,包括全球科學研究十大國家、十大科研機構、十大升幅最快機構等最受關注的排行榜。這個排行榜是很強權威的,比什麼泰晤士等國際排行榜要權威的多。
  • 清華北大學術爭端事件新進展:研究稱MagR不能實現磁遺傳
    一樁發生在中國最頂尖高等學府清華大學、北京大學之間的學術爭端事件又現新進展。有人甚至聲稱對該基因的研究能摘得諾貝爾獎,但它在中國學術圈,尤其是中國最頂尖的兩所高校清華大學和北京大學,引發了一場「血雨腥風」般的學術爭端。圍繞MagR,清華和北大先後有兩篇學術論文發表。今天,第三篇相關的學術論文獲在線發表。該論文通訊作者是清華大學醫學院教授魯白,北京大學生命科學學院研究員謝燦是論文署名作者之一。
  • 即使中科大在北京上海:仍然無法挑戰清華北大的地位
    其實,高校之間合併往往都是互利共贏強強聯合,將各個學科之間更好的融合起來,發揮出1+1>2的效果,更好的提升科學實力和高校整體實力。目前而言,我國實力高校top2位置已經穩如泰山,那便是清華大學和北京大學,目前還沒有可以發起挑戰的第三者,雖然中國科學技術大學和浙江大學在某些科學方面已經能夠對其發起挑戰,但是綜合實力遠遠不如。
  • 清華北大的畢業生,都去了哪裡?
    前段時間看到一些對清華北大的批評,意思是這些中國最聰明勤奮的大腦大多都去了國外尤其是美國,為美國發展貢獻了力量,而國家明明為清北建設投入了巨大的資源。嗯這個要分行業看,相對其他行業,軍工航天類的領軍人物清華畢業生相對較少,我想原因主要還是因為過去幾十年軍工和航天類企業太不掙錢了....
  • 廣東粵芯和中科院微電子所強強聯合,助力晶片行業發展
    美國限制晶片事情已經一年多了,華為也因為美國的不斷加壓面臨著很大的挑戰,但是有句話說得好,機遇總在不經意間誕生,而華為也在這場美國惹起的鬧劇中看到了新的希望。最近華為輪值董事長郭平表示,在即將進入5G時代的今天,兩種系統共存是可能的,即使在現在這種嚴峻的情況下,華為依舊能夠生存甚至繼續搶先。不得不承認,美國新策略是成功的,讓華為一時難以翻身,但這同樣讓我們認識到了問題的所在,現在晶片製造是整個中國半導體所面臨的問題,但對於晶片製造我們也不是一點都不行,就拿華為海思來講,他擁有設計能力,無論是軟體架構還是晶片設計都不在話下。
  • 清華類腦晶片再登Nature:全球首款基於憶阻器的CNN存算一體晶片
    被認為具有「存算一體」潛力的憶阻器,因而成為類腦計算領域的熱門器件,被寄予提高算力,突破技術瓶頸的厚望。02首個基於憶阻器的 CNN 存算一體晶片基於多個憶阻器陣列的存算一體化計算架構在該項研究中,清華團隊提出用高能效比、高性能的均勻憶阻器交叉陣列處理神經卷積網絡(CNN),網絡共集成了 8 個 基於憶阻器的處理單元,每個 PE 單元中包含 2048 個單元的憶阻器陣列,以提升並行計算效率。
  • 清華系造芯這一年!孵出5個種子選手,還有一批先頭部隊
    一、從清華團隊孵化出的五家晶片創企 過去一年間,一家CPU安全防控創企和四家AI晶片創企從清華不同院系的研究團隊中脫胎而出。 其團隊借鑑腦科學的原理,提出異構融合的天機類腦計算晶片架構,可同時支持人工神經網絡和脈衝神經網絡,高速度、高性能、低功耗的特點。
  • 當北大清華的學生只想找北大清華的學生
    報導大意是說,現在的985或北大清華的畢業生,開始出現一種傾向,只在同級別學校裡找對象。在我們的生活中,除了越來越多的,不時上個熱搜的所謂「辱x」外,其實讓個人感受到羞辱感的,無非來自兩件事:求職與相親。北大清華只想找北大清華,或者985隻想找985,對很多人來說,難免引來「被ru感」:他們看不起人。
  • 網友:實力逆天,可能超越清華北大
    說起全國頂尖的大學,大家往往首先想到清華北大。確實,無論是在教學能力還是在研究能力上,這兩所學校都是非常突出的。但是,近些年出現了一匹黑馬,它的實力並不輸於清北,甚至可能超越清華北大。這所學校就是中國科學院大學。那麼中國科學院大學究竟是一個什麼樣的存在呢?
  • 清華簡成春秋史爆料王 越王勾踐「臥薪嘗膽」或有新解
    李學勤先生帶領團隊研究竹簡。    《清華大學藏戰國竹簡》第六輯整理報告日前發布,報告收錄的文獻揭示了春秋時期鄭國在開國早期時的面貌。更為重要的是,這批文獻填補了春秋最初50年的史料空白。「清華簡」再次立功。    這批共2500餘枚竹簡自2008年被入藏清華園後,在李學勤先生帶領的團隊努力研究下,已經六次公布驚動歷史考古學界的資料,堪稱國寶。記者最近探訪「清華簡」的大本營——出土文獻研究與保護中心,聽專家講述「清華簡」鮮為人知的故事。
  • 短文:清華北大真的是在為美國培養人才?
    除了豪威科技外國內第二大CMOS晶片廠家格科微, 創始人趙立新也是清華電子工程系畢業; 另外收購了豪威之後成為國產CMOS傳感器老大的韋爾股份董事長虞仁榮, 因為國產標的稀缺而股價上天的射頻晶片公司卓勝微, 其創始人許志翰也是清華畢業的
  • 為什麼「國防七子」被美國列入黑名單,清華北大卻沒有?
    由此可見,這七所學校已經被美國看成了「眼中釘」,但也因此有很多網友表示,這七所學校的確厲害,但和清華、北大相比可能還差一點,那為什麼清華、北大沒有被列入制裁清單,而是這七所學校呢?京譽君也曾有過同樣的困惑,但經過深入了解,我發現了這其中的「秘密」,一起和京譽君了解一下。
  • 中國晶片產業的大梁都是誰在挑?
    ,改革開放總設計師鄧小平大筆一揮,清華電子系的前身無線電電子學系從綿陽分校班師回京,就此掀開了晶片時代嶄新的篇章。xicednc孟浩在2005年和2007年分別獲得清華電子系學士和清華微電子所碩士學位,在碩士畢業的同一年就聯合創辦了中科漢天下並擔任董事兼CTO,負責手機射頻功率放大器晶片、藍牙低功耗晶片、衛星廣播晶片等產品的研發工作。
  • 清華團隊的新型融合AI晶片「天機」登上...
    其實,這是清華大學施路平教授團隊為驗證全球首款異構融合AI晶片設計的系統。該研究登上了頂級學術期刊《自然》(Nature)8月刊的封面,封面標題為《雙重控制》(Dual control)。全球首款異構融合AI晶片鄧磊表示,兩類模型所使用的語言、計算原理、編碼方式和應用場景都不相同,實現這兩種模型深度高效的融合,是天機晶片設計中最大的挑戰。