中科院計算所研究團隊提出圖神經網絡加速晶片設計

2020-12-21 人民網

原標題:中科院計算所研究團隊提出圖神經網絡加速晶片設計

記者17日從中國計算機學會獲悉,來自中國科學院計算技術研究所的研究團隊提出圖神經網絡加速晶片設計「HyGCN」。

《中國計算機學會通訊》(CCCF)近日刊發了中科院計算所特別研究助理嚴明玉、研究員範東睿以及研究員葉笑春共同撰寫的綜述文章《圖神經網絡加速晶片:人工智慧「認知智能」階段起飛的推進劑》。文章披露,該團隊提出了圖神經網絡加速晶片設計「HyGCN」。相關論文也先後在計算機體系結構國際會議上發表。

嚴明玉在受訪時說,圖神經網絡在搜索、推薦、風險控制等重要領域有著廣泛應用。現有的處理器晶片在執行圖神經網絡的計算中效率低下,其團隊展開面向圖神經網絡的加速晶片設計,為解決這一難題提供可行方案。

讓機器「會思考」 設計中「增引擎」

圖神經網絡被認為有望解決深度學習無法處理的關系推理、可解釋性等一系列問題,讓機器「能理解、會思考」。然而由於圖神經網絡在圖數據處理方面的特殊性,傳統用於加速神經網絡的晶片難以直接對圖神經網絡的執行提供高效計算支撐。

嚴明玉解釋說,以圖數據為輸入,融合了深度學習算法和圖計算算法的圖神經網絡具有與傳統神經網絡不一樣的執行行為,即「混合執行行為」。這對現有的處理器結構帶來巨大挑戰,比如GPU在應對不規則執行行為時極為低效。

「為了應對圖神經網絡的混合執行行為,我們設計了新的處理器結構,以更高效地加速圖神經網絡的執行。」嚴明玉說,HyGCN晶片基於混合結構設計思想,分別為圖神經網絡的兩個主要執行階段——圖遍歷階段和神經網絡變換階段設計相應的加速引擎。

研究團隊實踐証明,HyGCN晶片設計能夠有效應對圖神經網絡圖遍歷階段的不規則性,並能利用神經網絡變換階段的規則性提高執行效率。

目前是「無人區」 計算所正加快孵化

「圖神經網絡加速晶片目前在國際上還是『無人區』,研究成果發表後得到了業界認可。」嚴明玉受訪時說,目前中科院計算所正加快對HyGCN科技成果進行孵化,提升關鍵核心技術能力,推動各行各業從信息化向智慧化升級。

展望圖神經網絡的應用前景,嚴明玉舉例說,在日常交通預測、網約車調度、金融詐騙偵查、運動檢測等場景,在助力科研的知識推理、化學研究、宇宙發現等領域,以及在知識圖譜、視覺推理、自然語言處理中的多跳推理等學科發展方向上,都有極大應用空間。

事實上,谷歌地圖基於事件樹的風險評估、圖片社交網站Pinterest的內容推薦、阿裡巴巴的風控和推薦、騰訊等公司的視覺和風控等業務中都有圖神經網絡的影子。有市場研究機構發布報告預測,2022年機器學習晶片市場規模將達到827.2億美元。圖神經網絡加速晶片可能將產生300億美元以上的市場規模。

(責編:楊虞波羅、初梓瑞)

相關焦點

  • 中科院計算所提出圖神經網絡加速晶片設計
    圖神經網絡加速晶片之後有望成為主流的機器學習晶片。近日,《中國計算機學會通訊》(CCCF)刊發了中科院計算所特別研究助理嚴明玉、研究員範東睿以及研究員葉笑春,共同撰寫的綜述文章《圖神經網絡加速晶片:人工智慧「認知智能」階段起飛的推進劑》。文中提出了圖神經網絡加速晶片設計「HyGCN」,寓意是向圖神經網絡的加速說『Hi』。
  • 中科院計算所設計全球首款圖神經網絡加速晶片
    近日,《中國計算機學會通訊》(CCCF)刊發了中科院計算所特別研究助理嚴明玉博士、研究員範東睿以及研究員葉笑春共同撰寫的綜述文章《圖神經網絡加速晶片:人工智慧「認知智能」階段起飛的推進劑》。
  • 【中國新聞網】中科院計算所研究人員再獲進展 向圖神經網絡加速...
    【中國新聞網】中科院計算所研究人員再獲進展 向圖神經網絡加速時代再進一步 2021-01-09 中國新聞網 張素 【字體:大 中 小】
  • 圖神經網絡加速晶片進入倒計時 全球首款商用圖神經網絡加速IP核...
    【2021年01月08日,北京】1月8日,在與中科院計算所和中科院計算所南研院的通力合作基礎上,北京中科睿芯科技集團有限公司(簡稱中科睿芯)正式發布了一款圖神經網絡加速晶片的IP核(即製備晶片的智慧財產權核),並宣布面向全球開展商用授權。
  • 之江實驗室攜手中科院微電子所 新型硬體安全晶片獲進展
    基於8層的三維垂直阻變存儲器RRAM PUF晶片。之江實驗室供圖中新網杭州1月14日電(錢晨菲 陳航)14日,記者從之江實驗室獲悉,之江實驗室、中國科學院微電子研究所(下稱中科院微電子所)聯合研究團隊在新型架構安全晶片領域取得重要進展。
  • 【中國新聞網】之江實驗室攜手中科院微電子所 新型硬體安全晶片獲...
    基於8層的三維垂直阻變存儲器RRAM PUF晶片。之江實驗室供圖之江實驗室供圖  2021年1月14日,記者從之江實驗室獲悉,之江實驗室、中國科學院微電子研究所(下稱中科院微電子所)聯合研究團隊在新型架構安全晶片領域取得重要進展。研究團隊基於物理不可克隆技術(Physically Unclonable Function,PUF),完成了2款新型硬體安全晶片的設計與驗證,晶片相關指標達到國際先進水平。
  • 清華科學家團隊首次提出「類腦計算完備性」
    新華網北京10月16日電 14日,清華大學計算機科學與技術系張悠慧團隊、精密儀器系施路平團隊與合作者在《自然》(Nature)雜誌發文,首次提出「類腦計算完備性」以及軟硬體去耦合的類腦計算系統層次結構。
  • 首屆中國圖計算榜單「China Graph100」發布|中科院計算所|神威...
    首屆中國圖計算性能TOP100排行榜「China Graph100」發布在China Graph100能效榜上,中科院計算所和北京中科睿芯科技集團有限公司(簡稱中科睿芯)研發的高通量圖計算系統以1830.31 MTEPS/Watt的成績榮獲第一,它不僅是中國能效最高的圖計算系統,同時在國際評測組織Green Graph500榜上也蟬聯第一。
  • ...與Kneron合作應用神經網絡與硬體協同搜索框架,並獲Facebook...
    在這個進程中,如何將神經網絡最優地實現硬體系統成為AI全民化的最後一英裡。華人教授史弋宇團隊與 Facebook 合作,提出了首個針對許多應用場景的神經網絡與ASIC協同設計方案 ASICNAS。  神經網絡搜索(NAS)的研究極大地推動了人工智慧全民化的進程,即讓各行各業的應用都具有智能。
  • 清華首次提出「類腦計算完備性」及計算系統層次結構,登上Nature
    來自清華大學、北京信息科學與技術國家研究中心、美國德拉瓦大學(University of Delaware)科研團隊的研究者在論文《A system hierarchy for brain-inspired computing》(一種類腦計算系統層次結構)中提出了「類腦計算完備性」(neuromorphic completenes)概念。
  • RPI-IBM團隊提出圖結構&表徵聯合學習新範式IDGL:用於圖神經網絡的...
    的一項工作,旨在對數據的圖結構和表徵進行聯合學習,以幫助圖神經網絡 (GNN) 使用者在圖結構未知或存在噪聲的情況下,在特定下遊任務中取得最優的性能。基於IDGL框架,研究團隊進而開發出一種基於錨定法 (anchor-based) 的擴展版本IDGL-Anch,將算法的時空複雜度從O(n^2)大大降低到O(n),其中n代表圖節點個數。與眾多GNN模型和圖學習模型相比,本文所提出的模型在9個數據集上取得了最佳或接近最佳的結果。
  • 何愷明團隊神經結構搜索最新力作:設計隨機連接網絡,效果超ResNet
    NAS方面的最新力作,通過隨機連接的神經網絡,探索了更多樣化的連接模式,所提出的RandWire網絡ImageNet基準測試中獲得了有競爭力的準確度。然後,研究人員採用三種經典的隨機圖模型來生成網絡的隨機連接圖。實驗結果令人驚訝:這些隨機生成器生成的網絡實例在 ImageNet 基準測試中獲得了有競爭力的準確度。研究人員表示,這些結果表明,專注於設計更好的網絡生成器的研究可以通過探索更少約束的搜索空間,為新設計提供更多空間,從而帶來新的突破。
  • 晶片革命:二維材料顛覆傳統計算架構
    這些海量的數據對我們晶片的計算能力提出愈來愈高的要求。在這一背景下,如何將已經有50多年歷史的摩爾定律繼續延續下去,已經成為了學術界和產業界共同面臨的一大挑戰。圖源:Veer根據數據處理方式的不同,計算任務可以分成感知型和推理型兩類。感知型計算的典型代表有圖像識別,自然語言處理等基於神經網絡的計算,推理型計算的具體例子則有CPU, FPGA等電晶體型計算。
  • 神經網絡引擎 蘋果晶片專題及常見問題 - CSDN
    最為神奇的部分在於A11晶片中的「神經引擎」,用於加速人工智慧相關的任務,例如負責處理Face ID的人臉識別、根據表情生成Animoji等機器學習算法。A11是一款人工智慧晶片A11 Bionic晶片上搭載的「神經網絡引擎」是一個專用於機器學習的硬體,這個神經網絡引擎跟麒麟970的NPU一樣,是在手機處理器平臺新加入的一個擅長神經網絡計算的硬體模塊。
  • 中科院神經所第21年,砥礪前行(下篇)
    2020年,中科院神經所又是豐收的一年。下面,讓我們來一起回顧神經所今年發表的部分論文,更多詳細內容,請見中科院神經所的官網。該研究為解析阿片系統的功能、以及深入研究痛覺調控環路提供了全新的思路。 圖註:阿片鎮痛機制的模型圖。該研究在孫衍剛研究員的指導下,主要由腦智卓越中心博士研究生張欣妍和竇豔儂博士完成,研究組的袁雷、李清、朱豔景和王蒙也作出了重要貢獻。本項目受到了國家自然科學基金委員會、上海市和中科院的資助。
  • 中國團隊本源量子入圍空客公司量子計算全球挑戰賽決賽
    2019年1月,空客公司發起了全球量子計算挑戰賽,邀請了全球36個量子計算團隊超過800位研究人員,與該公司聯手打造航空航天領域的量子時代。圖片來源:空客公司官網此次空客量子計算挑戰賽(AQCC)提出了從簡單的數學到飛行物理學,五個不同類型的問題。包括飛機爬升優化、計算流體動力學、用於求解偏微分方程的量子神經網絡、機翼設計優化、飛機裝載優化。
  • 海歸教授創辦類腦晶片公司,即將全球首發量產
    據悉他從中科院博士畢業後,於 2012 年前往蘇黎世大學做博士後研究,之後轉做助理教授,一直專注於超低功耗亞閾型模擬電路加異步電路的類腦相關研究。神經形態計算(Neuromorphic Computing)被稱為類腦計算,該概念最早來自於加州理工學院的超大規模集成電路之父、摩爾定律的提出者之一卡弗米德(Carver Mead )教授。
  • 華為提出端側神經網絡架構GhostNet|已開源
    乾明 編輯整理量子位 報導 | 公眾號 QbitAI同樣精度,速度和計算量均少於此前SOTA算法。這就是華為諾亞方舟實驗室提出的新型端側神經網絡架構GhostNet。在將深度神經網絡應用到行動裝置的浪潮中,怎麼保證性能不減,且計算量變得更少,成為研究的重點之一。谷歌的MobileNet團隊,以及曠視的ShuffleNet團隊,最近想了不少辦法來構建低計算量的深度神經網絡。但他們採取的深度卷積或混洗操作,依舊是在卷積上下功夫——用較小的卷積核(浮點運算)。
  • 中科院神經所第21年,砥礪前行(上篇)
    2020年,中科院神經所又是豐收的一年。下面,讓我們來一起回顧神經所今年發表的部分論文,更多詳細內容,請見中科院神經所的官網。彙編分為上下兩篇,本篇為上篇。該研究由張旭研究組和鮑嵐研究組合作完成。研究團隊發現,PAP-I在神經病理性痛模型大鼠背根神經節神經元中表達顯著升高,提示PAP-I可能在慢性痛發生發展過程中發揮作用。
  • 科學網—尋找類腦計算的設計「範式」
    為此,人類在不斷探索著腦科學的奧秘,用機器模擬生物神經網絡的結構和信息加工的潛力,後者就是類腦計算,也叫神經形態計算。 當前,類腦計算在世界範圍內尚處於初步探索階段,也正因為如此,目前該領域還沒有形成公認的技術標準與方案。