【中國新聞網】中科院計算所研究團隊提出圖神經網絡加速晶片設計

2020-12-24 中國科學院

  記者17日從中國計算機學會獲悉,來自中國科學院計算技術研究所的研究團隊提出圖神經網絡加速晶片設計「HyGCN」。

  《中國計算機學會通訊》(CCCF)近日刊發了中科院計算所特別研究助理嚴明玉、研究員範東睿以及研究員葉笑春共同撰寫的綜述文章《圖神經網絡加速晶片:人工智慧「認知智能」階段起飛的推進劑》。文章披露,該團隊提出了圖神經網絡加速晶片設計「HyGCN」。相關論文也先後在計算機體系結構國際會議上發表。

  嚴明玉在受訪時說,圖神經網絡在搜索、推薦、風險控制等重要領域有著廣泛應用。現有的處理器晶片在執行圖神經網絡的計算中效率低下,其團隊展開面向圖神經網絡的加速晶片設計,為解決這一難題提供可行方案。

  讓機器「會思考」 設計中「增引擎」

  圖神經網絡被認為有望解決深度學習無法處理的關係推理、可解釋性等一系列問題,讓機器「能理解、會思考」。然而由於圖神經網絡在圖數據處理方面的特殊性,傳統用於加速神經網絡的晶片難以直接對圖神經網絡的執行提供高效計算支撐。

  嚴明玉解釋說,以圖數據為輸入,融合了深度學習算法和圖計算算法的圖神經網絡具有與傳統神經網絡不一樣的執行行為,即「混合執行行為」。這對現有的處理器結構帶來巨大挑戰,比如GPU在應對不規則執行行為時極為低效。

  「為了應對圖神經網絡的混合執行行為,我們設計了新的處理器結構,以更高效地加速圖神經網絡的執行。」嚴明玉說,HyGCN晶片基於混合結構設計思想,分別為圖神經網絡的兩個主要執行階段——圖遍歷階段和神經網絡變換階段設計相應的加速引擎。

  研究團隊實踐證明,HyGCN晶片設計能夠有效應對圖神經網絡圖遍歷階段的不規則性,並能利用神經網絡變換階段的規則性提高執行效率。

  目前是「無人區」 計算所正加快孵化

  「圖神經網絡加速晶片目前在國際上還是『無人區』,研究成果發表後得到了業界認可。」嚴明玉受訪時說,目前中科院計算所正加快對HyGCN科技成果進行孵化,提升關鍵核心技術能力,推動各行各業從信息化向智慧化升級。

  展望圖神經網絡的應用前景,嚴明玉舉例說,在日常交通預測、網約車調度、金融詐騙偵查、運動檢測等場景,在助力科研的知識推理、化學研究、宇宙發現等領域,以及在知識圖譜、視覺推理、自然語言處理中的多跳推理等學科發展方向上,都有極大應用空間。

  事實上,谷歌地圖基於事件樹的風險評估、圖片社交網站Pinterest的內容推薦、阿里巴巴的風控和推薦、騰訊等公司的視覺和風控等業務中都有圖神經網絡的影子。有市場研究機構發布報告預測,2022年機器學習晶片市場規模將達到827.2億美元。圖神經網絡加速晶片可能將產生300億美元以上的市場規模。

相關焦點

  • 中科院計算所研究團隊提出圖神經網絡加速晶片設計
    原標題:中科院計算所研究團隊提出圖神經網絡加速晶片設計   記者17日從中國計算機學會獲悉
  • 中科院計算所率先提出全球首款圖神經網絡加速晶片設計
    近日,《中國計算機學會通訊》(CCCF)刊發了中科院計算所特別研究助理嚴明玉博士、研究員範東睿以及研究員葉笑春共同撰寫的綜述文章《圖神經網絡加速晶片:人工智慧「認知智能」階段起飛的推進劑》。文章披露,為更好地支持認知智能的發展,該團隊提出了國際首款圖神經網絡加速晶片設計HyGCN。
  • 中科院計算所設計全球首款圖神經網絡加速晶片
    近日,《中國計算機學會通訊》(CCCF)刊發了中科院計算所特別研究助理嚴明玉博士、研究員範東睿以及研究員葉笑春共同撰寫的綜述文章《圖神經網絡加速晶片:人工智慧「認知智能」階段起飛的推進劑》。文章披露,為更好地支持認知智能的發展,該團隊提出了國際首款圖神經網絡加速晶片設計 HyGCN。
  • 依圖團隊提出新一代移動端網絡架構MobileNeXt
    【新智元導讀】AIoT的時代即將來臨,移動端智能應用呈爆發式增長,但是大型神經網絡在移動端的性能制約了AI在移動端的推廣。最近,依圖團隊發表在ECCV的一篇論文,提出了新一代移動端神經網絡架構MobileNeXt,大大優於谷歌的MobileNet、何愷明團隊提出的ResNet等使用倒殘差結構的模型,為移動端算力帶來了新的突破。
  • 清華大學計算機系張悠慧團隊首次提出「類腦計算完備性」
    ,並以智能自行車(作為神經網絡應用代表)、鳥群模擬、QR分解(後兩者作為非神經網絡的通用計算應用代表)為示範應用,證實了設計的可行性,同時測試顯示這一設計能夠大幅提升系統優化空間,進而顯著提升系統效能。
  • 清華大學張悠慧團隊首次提出「類腦計算完備性」
    這是一年多來,清華大學在類腦計算領域繼「天機芯」和「多陣列憶阻器存算一體系統」之後於《自然》正刊發表的第三篇成果。類腦計算是借鑑生物神經系統信息處理模式和結構的計算理論、體系結構、晶片設計以及應用模型與算法的總稱。現有類腦計算系統研究大多聚焦於具體的晶片、工具鏈、應用和算法的創新實現,而忽略了從宏觀和抽象層面上對計算完備性和體系結構的思考。
  • 清華施路平團隊新研究登上《自然》,提出類腦計算系統新框架
    傳統計算機設計的一個重要特徵是軟體和硬體開發之間缺乏緊密耦合,這使得新設備(晶片、內存等)能夠獲得最佳性能。通過設置對硬體的最低要求,將用高級語言編寫的軟體程序轉換成任何機器所需的精確等效的指令序列(稱為編譯過程)變得可行(圖1)。支持在此編譯過程中使用代表基本計算操作的指令的計算機被稱為具有圖靈完備性。
  • 上交大團隊製備全球最大規模的光量子計算晶片,量子計算何時商用?
    最新一期美國《科學進展》雜誌以《A chip that allows for two-dimensional quantum walks》為題報導了上海交通大學金賢敏團隊通過「飛秒雷射直寫」技術製備出節點數達49×49的光量子計算晶片。據悉,這是目前世界上最大規模的三維集成光量子計算晶片。
  • 中國量子計算原型機九章​​​​​​​研究團隊...
    量子優越性是指量子計算擁有的超越所有經典計算機的計算能力,即可以解決經典計算機不能解決的問題或比經典計算機有顯著的加速(一般是指數加速)。為什麼量子計算機如此之快?中國科學技術大學教授陸朝陽介紹說,傳統計算機將所有數據存儲為 1 或 0,但量子計算機是利用量子力學的原理,可以允許一個物體同時處於多種狀態,比如說 0 和 1 同時存在,原理上叫做「並行計算」,很多任務可以一起完成。正是因為具有超快的並行計算能力,量子計算可望通過特定算法實現指數級別的加速。
  • 曦智科技沈亦晨:光子晶片加速智能算法和智能計算
    會上,曦智科技聯合創始人兼 CEO 沈亦晨分享了光子晶片加速智能算法和智能計算的主題演講。圖|麻省理工科技評論以下為經過整理後的演講實錄:大家好,我叫沈亦晨。今天聽了那麼多演講,我覺得基本上可以確定大數據時代已經來了,大數據時代和智能時代最關鍵的兩要素之一是數據。我們肯定需要越來越多的海量數據來幫助我們訓練更智慧的模型。
  • 中科院神經所最新研究成果:大腦通過統計推理表徵「自我」
    在該研究中,研究人員利用自主設計搭建的虛擬實境呈現系統,在人類和獼猴被試上建立身體幻覺行為學範式,並首次在獼猴上對其身體「擁有感」 (ownership) 進行定量行為學測量和計算建模。更重要的是,研究人員通過電生理記錄的方式,發現了獼猴大腦前運動皮層的群體神經元以貝葉斯因果推斷的方式對身體擁有感進行編碼。我們的大腦究竟如何感知自己?自我意識的神經機制是什麼?
  • 清華首次提出「類腦計算完備性」及計算系統層次結構,登上Nature
    來自清華大學、北京信息科學與技術國家研究中心、美國德拉瓦大學(University of Delaware)科研團隊的研究者在論文《A system hierarchy for brain-inspired computing》(一種類腦計算系統層次結構)中提出了「類腦計算完備性」(neuromorphic completenes)概念。
  • 鄧磊:國內首個類腦計算博士造出一顆登上Nature的晶片
    2019 年 8 月,清華類腦計算施路平團隊的「天機芯」成果成為 Nature 封面研究,讓我們得以將「類腦計算」這一概念具象化,也一窺其作為新型計算架構的魅力所在。這款全球首個異構融合類腦計算晶片,不但支持類腦計算領域的脈衝神經網絡,也可運行 AI 技術中的人工神經網絡。
  • DNNBrain:北師大團隊出品的用於映射深層神經網絡到大腦的工具箱
    深度神經網絡的成功吸引了神經科學家,他們不僅將DNN應用到生物神經系統模型中,而且還採用了認知神經科學的概念和方法來理解DNN的內部表示。儘管可以使用諸如PyTorch和TensorFlow之類的通用深度學習框架來進行此類跨學科研究,但是使用這些框架通常需要高級編程專家和全面的數學知識。因此迫切需要一個專門為認知神經科學家設計的工具箱,以繪製DNN和大腦的圖。
  • 中科院神經所第21年,砥礪前行(下篇)
    2020年,中科院神經所又是豐收的一年。下面,讓我們來一起回顧神經所今年發表的部分論文,更多詳細內容,請見中科院神經所的官網。該研究為解析阿片系統的功能、以及深入研究痛覺調控環路提供了全新的思路。 圖註:阿片鎮痛機制的模型圖。該研究在孫衍剛研究員的指導下,主要由腦智卓越中心博士研究生張欣妍和竇豔儂博士完成,研究組的袁雷、李清、朱豔景和王蒙也作出了重要貢獻。本項目受到了國家自然科學基金委員會、上海市和中科院的資助。
  • 改變AI發展格局 神經擬態計算還差關鍵一步
    全球知名信息研究和分析機構高德納(Gartner)日前的預測顯示,到2025年,神經擬態晶片將成為高級人工智慧部署的主要計算架構,該晶片有望成為用於AI系統的主要計算機晶片之一。  脈衝神經網絡信息處理不再依賴計算機  傳統人工智慧主要以計算,即通過編程等手段實現機器智能。
  • 中科院計算所「神計妙算」走進龍芯中科,體驗自主晶片的魅力
    關注「龍芯」,探索自立自強中國芯日前,中科院計算所「神計妙算」欄目走進龍芯中科公司,近距離感受龍芯CPU前沿科技,為大眾普及晶片知識,點亮中國自主技術的科學之光。來自龍芯中科的符興建,透過鏡頭用通俗易懂的語言為觀眾介紹了LS3A4000處理器晶片是如何誕生,並以橋片為例向大家展示了CPU的內部結構。隨後,在他的帶領下,主持人走進龍芯晶片測試車間,並在測試現場詳細了解了晶片生產以後如何進行測試和質量檢測。他們又說了什麼呢?
  • 中科院神經所第21年,砥礪前行(上篇)
    2020年,中科院神經所又是豐收的一年。下面,讓我們來一起回顧神經所今年發表的部分論文,更多詳細內容,請見中科院神經所的官網。彙編分為上下兩篇,本篇為上篇。該研究由張旭研究組和鮑嵐研究組合作完成。研究團隊發現,PAP-I在神經病理性痛模型大鼠背根神經節神經元中表達顯著升高,提示PAP-I可能在慢性痛發生發展過程中發揮作用。
  • 物理波動力學計算在模擬循環神經網絡的應用
    (文章來源:量子認知) 對人腦神經元網絡系統進行抽象建立模型構成的人工神經網絡,簡稱神經網絡或類神經網絡。但是,這些應用程式的計算需求呈指數級增長,這促使人們努力開發新的專用硬體平臺,以快速高效地執行機器學習模型。其中包括神經形態硬體平臺,其架構模仿大腦的生物電路。此外,利用連續物理系統的自然演化來執行計算的模擬計算平臺也正在成為實現機器學習的重要方向。 模擬機器學習提供了更節能、更快速、更切合人的神經網絡的平臺。基於聲學和光學的波物理學是為時變信號構建模擬處理器的自然選擇。
  • 海歸教授創辦類腦晶片公司,即將全球首發量產
    據悉他從中科院博士畢業後,於 2012 年前往蘇黎世大學做博士後研究,之後轉做助理教授,一直專注於超低功耗亞閾型模擬電路加異步電路的類腦相關研究。神經形態計算(Neuromorphic Computing)被稱為類腦計算,該概念最早來自於加州理工學院的超大規模集成電路之父、摩爾定律的提出者之一卡弗米德(Carver Mead )教授。