清華用憶阻器制人工神經網絡晶片,能效比GPU高兩個數量級

2020-12-05 澎湃新聞

傳統的計算機將數據儲存在內存中,然後傳送到處理器運算。這種來回「搬運」數據的活動耗費能源和時間,被認為是馮諾依曼計算架構的核心瓶頸。

而人類的大腦卻並非如此,而是直接在記憶體裡計算。被認為具有「存算一體」潛力的憶阻器,因而成為類腦計算領域的熱門器件。

近日,清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強團隊與合作者在頂尖學術期刊、英國《自然》雜誌(Nature)在線發表論文,報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。

該存算一體系統在處理卷積神經網絡(CNN)時能效比前沿的圖形處理器晶片(GPU)高兩個數量級,可以說在一定程度上突破了「馮諾依曼瓶頸」的限制:大幅提升算力的同時,實現了更小的功耗和更低的硬體成本。

基於憶阻器晶片的存算一體系統 來源:清華大學

什麼是憶阻器?

憶阻器,全稱記憶電阻器(Memristor),是繼電阻、電容、電感之後的第四種電路基本元件,表示磁通與電荷之間的關係,最早由加州大學伯克利分校教授蔡少棠在1971年預言存在,惠普公司在2008年研製成功。

簡單來說,這種組件的的電阻會隨著通過的電流量而改變,而且就算電流停止了,它的電阻仍然會停留在之前的值,直到接受到反向的電流它才會被推回去,等於說能「記住」之前的電流量。

這種奇妙的效果,其實和神經元突觸有相仿之處。再加上憶阻器還具有尺寸小、操作功耗低、可大規模集成(三維集成)等優點,難怪計算機科學家們在憶阻器身上看到了存算一體、低能耗類腦計算的前景。

人工神經網絡近年來大放異彩,如果用憶阻器連接成陣列,作為人工神經網絡的硬體,會有什麼效果?

憶阻器陣列

儘管國內外許多企業、研究機構給予關注,但據清華大學新聞頁面報導,當前國際上的憶阻器研究還停留在簡單網絡結構的驗證,或者基於少量器件數據進行的仿真。基於憶阻器陣列的完整硬體實現仍然有很多挑戰。

比如,器件方面,需要製備高一致、可靠的陣列;系統方面,憶阻器因工作原理而存在固有缺陷(如器件間波動,器件電導卡滯,電導狀態漂移等),會導致計算準確率降低;架構方面,憶阻器陣列實現卷積功能需要以串行滑動的方式連續採樣、計算多個輸入塊,無法匹配全連接結構的計算效率。

通過近年來積累的一些成果,錢鶴、吳華強團隊逐漸優化材料和器件結構,製備出了高性能的憶阻器陣列。

2017年5月,該課題組就曾在《自然通訊》報告稱,首次實現了基於1024個氧化物憶阻器陣列的類腦計算,將氧化物憶阻器的集成規模提高了一個數量級。這使晶片更加高效地完成人臉識別計算任務,將能耗降低到原來的千分之一以下。

憶阻器神經網絡

這次,錢、吳團隊集成了8個包括2048個憶阻器的陣列,以提高並行計算的效率。

在此基礎上,他們構建了一個五層的卷積神經網絡進行圖像識別,獲得了96%以上的高精度,結果顯示,基於憶阻器的卷積神經網絡比目前最先進的GPU的能效要高出兩個數量級。

這樣的提升是如何實現的?原來,為解決器件固有缺陷造成的系統識別準確率下降問題,他們提出了一種新型的混合訓練算法,僅需用較少的圖像樣本訓練神經網絡,並微調了最後一層網絡的部分權重。

與此同時,他們提出了空間並行的機制,將相同卷積核編程到多組憶阻器陣列中,各組憶阻器陣列可並行處理不同的卷積輸入塊,提高並行度來加速卷積計算。

多個憶阻器陣列並行處理

隨著摩爾定律放緩,計算界翹首以待新的架構突破馮諾依曼瓶頸,適應越來越複雜的AI問題。基於憶阻器的存算一體系統在這場角逐中穩步前進。

(本文來自澎湃新聞,更多原創資訊請下載「澎湃新聞」APP)

相關焦點

  • 清華制人工神經網絡晶片,能效比GPU高兩個數量級
    (原標題:清華用憶阻器制人工神經網絡晶片,能效比GPU高兩個數量級)
  • 清華造人工神經網絡晶片,憶阻器陣列效能高過GPU兩個數量級
    近日,清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者在《自然》在線發表了題為「Fully hardware-implemented memristor convolutional neural network」的研究論文,報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。
  • ...全球首款基於憶阻器的CNN存算一體晶片,能效高出GPU兩個數量級
    撰文 | 四月2 月 27 日機器之心獲悉,據清華大學新聞網消息,該校微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者成功研發出一款基於多陣列憶阻器存算一體系統,在處理卷積神經網絡(CNN)時能效比前沿的圖形處理器晶片(GPU)高兩個數量級。
  • 清華實現完整硬體CNN,憶阻器陣列效能高過GPU兩個數量級
    ,報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。該成果所研發的基於多個憶阻器陣列的存算一體系統,在處理卷積神經網絡(CNN)時的能效比圖形處理器晶片(GPU)高兩個數量級,大幅提升了計算設備的算力,成功實現了以更小的功耗和更低的硬體成本完成複雜的計算。
  • ...出全球首款多陣列憶阻器存算一體系統,能效比GPU高兩個數量級
    簡言之,憶阻器(memristor)可以在斷電之後,仍能「記憶」通過的電荷,其所具備的這種特性與神經突觸之間的相似性,使其具備獲得自主學習功能的潛力。因此,基於憶阻器的神經形態計算系統能為神經網絡訓練提供快速節能的方法,但是,圖像識別模型之一 的卷積神經網絡還沒有利用憶阻器交叉陣列的完全硬體實現。
  • ...研製出全球首款多陣列憶阻器存算一體系統,能效比GPU高兩個數量級
    簡言之,憶阻器(memristor)可以在斷電之後,仍能「記憶」通過的電荷,其所具備的這種特性與神經突觸之間的相似性,使其具備獲得自主學習功能的潛力。因此,基於憶阻器的神經形態計算系統能為神經網絡訓練提供快速節能的方法,但是,圖像識別模型之一 的卷積神經網絡還沒有利用憶阻器交叉陣列的完全硬體實現。
  • 能效比GPU高兩個數量級,清華大學研製首款多陣列憶阻器存算一體系統
    集微網消息,近日,清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者在《自然》在線發表了研究論文,報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。該成果所研發的首款基於多個憶阻器陣列的存算一體系統,在處理卷積神經網絡(CNN)時的能效比圖形處理器晶片(GPU)高兩個數量級,大幅提升了計算設備的算力,成功實現以更小的功耗和更低的硬體成本完成複雜的計算。
  • 清華類腦晶片再登Nature: 全球首款基於憶阻器的CNN存算一體晶片
    撰文 | 四月2 月 27 日機器之心獲悉,據清華大學新聞網消息,該校微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者成功研發出一款基於多陣列憶阻器存算一體系統,在處理卷積神經網絡(CNN)時能效比前沿的圖形處理器晶片(GPU)高兩個數量級。
  • ISSCC 2019 | 清華大學團隊研製高能效通用神經網絡處理器晶片...
    該晶片在算法,架構和電路三方面進行了聯合優化,在變換域進行神經網絡加速,並使用可轉置存儲器復用數據,使得晶片的能效和面積相較於之前的研究都有顯著的提升。隨著 AI 技術的不斷發展,單一的網絡結構已經很難滿足不同領域的任務需求。常見的應用諸如圖像識別或機器翻譯分別需要卷積神經網絡或循環神經網絡的支持。而不同網絡意味不同的計算模式,在帶寬和計算資源上也會有各自的限制。
  • 新型神經網絡晶片:由憶阻器構成,為人工智慧提速!
    最近,法國科學家利用憶阻器開發出一種神經網絡晶片,對於人工智慧來說,不僅降低它的能耗,而且還提升了速度。(圖片來源於:Sren Boyn/法國國家科學研究院)圖解:這是一幅藝術家對於電子神經突觸的印象圖,其中的粒子代表流過氧化物的電子,類似生物神經突觸中的神經傳導物質。電子的流動取決於氧化物的鐵電疇結構,受到電壓脈衝控制。
  • 新型「晶片上的大腦」:為可攜式人工智慧系統打造神經網絡硬體
    這些神經元與突觸一起構成了一個極其龐大的生物神經網絡。當他們用這款晶片來運行幾個視覺任務時,晶片可以「記住」存儲的圖像,並重複多次複製它們,這個版本比由非合金元素製造的現有憶阻器更清晰、更乾淨。他們的研究成果於6月8日發表在《自然·納米技術(Nature Nanotechnology)》雜誌上,展示的這款新型憶阻器設計非常有望應用於神經形態器件。這些電子器件基於一種新型電路,這種電路處理信息的方式模仿了大腦架構。
  • 到底能不能設計出為人工智慧打造的神經網絡晶片
    當他們用這款晶片來運行幾個視覺任務時,晶片可以「記住」存儲的圖像,並重複多次複製它們,這個版本比由非合金元素製造的現有憶阻器更清晰、更乾淨。   他們的研究成果於6月8日發表在《自然·納米技術(Nature Nanotechnology)》雜誌上,展示的這款新型憶阻器設計非常有望應用於神經形態器件。這些電子器件基於一種新型電路,這種電路處理信息的方式模仿了大腦架構。
  • 如何在統一架構的同時高效處理各種稀疏度人工神經網絡矩陣?
    由於剪枝和 RELU 等操作,神經網絡的權重和激活矩陣中存在廣泛的稀疏性分布,且不同網絡和同一網絡不同層的稀疏度各不相同,其稀疏度分布範圍高達 4-90%。由於不同稀疏度矩陣運算對於計算和存儲電路要求各不相同,提出一種統一架構同時高效處理各種稀疏度的人工神經網絡矩陣,是人工智慧晶片設計領域的一大難題。
  • 幹翻GPU?英特爾Loihi神經形態晶片能效較之提升1000倍
    英特爾Loihi神經形態晶片能效較之提升1000倍   12月3日,英特爾宣布其研發的Loihi神經形態晶片在語音命令辨識、
  • 國產人工智慧晶片重大突破,比GPU提升三個數量級
    第一作者尹首一副教授在會上詳細介紹了該團隊在人工智慧晶片領域取得的重大進展。這是清華大學微納電子系首次作為第一作者單位在該國際會議上發表論文。
  • 新型ANN登《自然》子刊:清華團隊領銜打造基於憶阻器的人工樹突
    所以,對人腦神經元網絡進行抽象建立的人工神經網絡(Artificial Neural Network,ANN ),裡面也有樹突在起作用嗎?實際上,很多人工神經網絡中樹突的信息處理功能被忽略,相比於生物神經網絡,其靈活性、魯棒性、功耗都有欠缺。
  • 盤點:GPU加速的神經網絡與JavaScript的交叉
    雖然它的特性集面向神經網絡,但deeplearn.js可以被描述為通用機器學習框架。Propel是一個提供自動微分的科學計算的庫。Gpu.js提供了一種方便的方式來運行GPU上的JavaScript函數。Brain.js是舊的神經網絡庫的延續,並使用Gpu.js硬體加速。
  • HPE發明首臺憶阻器雷射器
    近日,惠普實驗室(Hewlett-Packard Labs)的研究人員光子學研究小組的技術突破顯示,他們發明了一種新型的憶阻器雷射器。這是一種雷射,它的波長可以通過電子方式移動,而且獨特的是,憶阻器是將存儲器存儲為電阻值的器件。施加電壓會改變電阻,即使關閉設備電源,該值也會保持不變。
  • IBM Research AI團隊用大規模的模擬存儲器陣列訓練深度神經網絡
    打開APP IBM Research AI團隊用大規模的模擬存儲器陣列訓練深度神經網絡 李倩 發表於 2018-06-16 16:15:00
  • 有了憶阻器,「超級人工大腦」不再是夢
    原標題:有了憶阻器,「超級人工大腦」不再是夢   「如果把用憶阻器技術開發出的人工智慧晶片應用在手機裡面,晶片功耗會大大降低,手機充一次電就可以用兩天。」存算一體化的計算機架構可謂顛覆性技術,而最新的研究發現,憶阻器特別適於做存算一體化,這也是當今國際上相關學者的研發重點。   作為國家重點研發計劃「納米科技」重點專項的課題之一,錢鶴領銜的「新型納米存儲器三維集成的基礎研究」旨在為我國存儲器產業提供自主智慧財產權和原型技術,支撐和引領我國存儲器產業的跨越式發展。