清華制人工神經網絡晶片,能效比GPU高兩個數量級

2020-12-08 網易科技

（原標題：清華用憶阻器制人工神經網絡晶片，能效比GPU高兩個數量級）

澎湃新聞記者 虞涵棋

傳統的計算機將數據儲存在內存中，然後傳送到處理器運算。這種來回「搬運」數據的活動耗費能源和時間，被認為是馮·諾依曼計算架構的核心瓶頸。

而人類的大腦卻並非如此，而是直接在記憶體裡計算。被認為具有「存算一體」潛力的憶阻器，因而成為類腦計算領域的熱門器件。

近日，清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強團隊與合作者在頂尖學術期刊、英國《自然》雜誌（Nature）在線發表論文，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。

該存算一體系統在處理卷積神經網絡（CNN）時能效比前沿的圖形處理器晶片（GPU）高兩個數量級，可以說在一定程度上突破了「馮諾依曼瓶頸」的限制：大幅提升算力的同時，實現了更小的功耗和更低的硬體成本。

基於憶阻器晶片的存算一體系統 來源：清華大學

什麼是憶阻器？

憶阻器，全稱記憶電阻器（Memristor），是繼電阻、電容、電感之後的第四種電路基本元件，表示磁通與電荷之間的關係，最早由加州大學伯克利分校教授蔡少棠在1971年預言存在，惠普公司在2008年研製成功。

簡單來說，這種組件的的電阻會隨著通過的電流量而改變，而且就算電流停止了，它的電阻仍然會停留在之前的值，直到接受到反向的電流它才會被推回去，等於說能「記住」之前的電流量。

這種奇妙的效果，其實和神經元突觸有相仿之處。再加上憶阻器還具有尺寸小、操作功耗低、可大規模集成（三維集成）等優點，難怪計算機科學家們在憶阻器身上看到了存算一體、低能耗類腦計算的前景。

人工神經網絡近年來大放異彩，如果用憶阻器連接成陣列，作為人工神經網絡的硬體，會有什麼效果？

憶阻器陣列

儘管國內外許多企業、研究機構給予關注，但據清華大學新聞頁面報導，當前國際上的憶阻器研究還停留在簡單網絡結構的驗證，或者基於少量器件數據進行的仿真。基於憶阻器陣列的完整硬體實現仍然有很多挑戰。

比如，器件方面，需要製備高一致、可靠的陣列；系統方面，憶阻器因工作原理而存在固有缺陷（如器件間波動，器件電導卡滯，電導狀態漂移等），會導致計算準確率降低；架構方面，憶阻器陣列實現卷積功能需要以串行滑動的方式連續採樣、計算多個輸入塊，無法匹配全連接結構的計算效率。

通過近年來積累的一些成果，錢鶴、吳華強團隊逐漸優化材料和器件結構，製備出了高性能的憶阻器陣列。

2017年5月，該課題組就曾在《自然通訊》報告稱，首次實現了基於1024個氧化物憶阻器陣列的類腦計算，將氧化物憶阻器的集成規模提高了一個數量級。這使晶片更加高效地完成人臉識別計算任務，將能耗降低到原來的千分之一以下。

憶阻器神經網絡

這次，錢、吳團隊集成了8個包括2048個憶阻器的陣列，以提高並行計算的效率。

在此基礎上，他們構建了一個五層的卷積神經網絡進行圖像識別，獲得了96%以上的高精度，結果顯示，基於憶阻器的卷積神經網絡比目前最先進的GPU的能效要高出兩個數量級。

這樣的提升是如何實現的？原來，為解決器件固有缺陷造成的系統識別準確率下降問題，他們提出了一種新型的混合訓練算法，僅需用較少的圖像樣本訓練神經網絡，並微調了最後一層網絡的部分權重。

與此同時，他們提出了空間並行的機制，將相同卷積核編程到多組憶阻器陣列中，各組憶阻器陣列可並行處理不同的卷積輸入塊，提高並行度來加速卷積計算。

多個憶阻器陣列並行處理

隨著摩爾定律放緩，計算界翹首以待新的架構突破馮諾依曼瓶頸，適應越來越複雜的AI問題。基於憶阻器的存算一體系統在這場角逐中穩步前進。

本文來源：澎湃新聞 責任編輯：王鳳枝_NT2541

相關焦點

  • 清華用憶阻器制人工神經網絡晶片,能效比GPU高兩個數量級
    近日，清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強團隊與合作者在頂尖學術期刊、英國《自然》雜誌（Nature）在線發表論文，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。該存算一體系統在處理卷積神經網絡（CNN）時能效比前沿的圖形處理器晶片（GPU）高兩個數量級，可以說在一定程度上突破了「馮諾依曼瓶頸」的限制：大幅提升算力的同時，實現了更小的功耗和更低的硬體成本。基於憶阻器晶片的存算一體系統 來源：清華大學什麼是憶阻器？
  • 清華造人工神經網絡晶片,憶阻器陣列效能高過GPU兩個數量級
    近日，清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者在《自然》在線發表了題為「Fully hardware-implemented memristor convolutional neural network」的研究論文，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。
  • ...全球首款基於憶阻器的CNN存算一體晶片,能效高出GPU兩個數量級
    撰文 | 四月2 月 27 日機器之心獲悉，據清華大學新聞網消息，該校微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者成功研發出一款基於多陣列憶阻器存算一體系統，在處理卷積神經網絡（CNN）時能效比前沿的圖形處理器晶片（GPU）高兩個數量級。
  • 能效比GPU高兩個數量級,清華大學研製首款多陣列憶阻器存算一體系統
    集微網消息，近日，清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者在《自然》在線發表了研究論文，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。該成果所研發的首款基於多個憶阻器陣列的存算一體系統，在處理卷積神經網絡（CNN）時的能效比圖形處理器晶片（GPU）高兩個數量級，大幅提升了計算設備的算力，成功實現以更小的功耗和更低的硬體成本完成複雜的計算。
  • ...出全球首款多陣列憶阻器存算一體系統,能效比GPU高兩個數量級
    簡言之，憶阻器（memristor）可以在斷電之後，仍能「記憶」通過的電荷，其所具備的這種特性與神經突觸之間的相似性，使其具備獲得自主學習功能的潛力。因此，基於憶阻器的神經形態計算系統能為神經網絡訓練提供快速節能的方法，但是，圖像識別模型之一 的卷積神經網絡還沒有利用憶阻器交叉陣列的完全硬體實現。
  • ...研製出全球首款多陣列憶阻器存算一體系統,能效比GPU高兩個數量級
    簡言之，憶阻器（memristor）可以在斷電之後，仍能「記憶」通過的電荷，其所具備的這種特性與神經突觸之間的相似性，使其具備獲得自主學習功能的潛力。因此，基於憶阻器的神經形態計算系統能為神經網絡訓練提供快速節能的方法，但是，圖像識別模型之一 的卷積神經網絡還沒有利用憶阻器交叉陣列的完全硬體實現。
  • ISSCC 2019 | 清華大學團隊研製高能效通用神經網絡處理器晶片...
    該晶片在算法，架構和電路三方面進行了聯合優化，在變換域進行神經網絡加速，並使用可轉置存儲器復用數據，使得晶片的能效和面積相較於之前的研究都有顯著的提升。隨著 AI 技術的不斷發展，單一的網絡結構已經很難滿足不同領域的任務需求。常見的應用諸如圖像識別或機器翻譯分別需要卷積神經網絡或循環神經網絡的支持。而不同網絡意味不同的計算模式，在帶寬和計算資源上也會有各自的限制。
  • 清華實現完整硬體CNN,憶阻器陣列效能高過GPU兩個數量級
    ，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。該成果所研發的基於多個憶阻器陣列的存算一體系統，在處理卷積神經網絡（CNN）時的能效比圖形處理器晶片（GPU）高兩個數量級，大幅提升了計算設備的算力，成功實現了以更小的功耗和更低的硬體成本完成複雜的計算。
  • 如何在統一架構的同時高效處理各種稀疏度人工神經網絡矩陣?
    由於剪枝和 RELU 等操作，神經網絡的權重和激活矩陣中存在廣泛的稀疏性分布，且不同網絡和同一網絡不同層的稀疏度各不相同，其稀疏度分布範圍高達 4-90%。由於不同稀疏度矩陣運算對於計算和存儲電路要求各不相同，提出一種統一架構同時高效處理各種稀疏度的人工神經網絡矩陣，是人工智慧晶片設計領域的一大難題。
  • 幹翻GPU?英特爾Loihi神經形態晶片能效較之提升1000倍
    英特爾Loihi神經形態晶片能效較之提升1000倍 　　12月3日，英特爾宣布其研發的Loihi神經形態晶片在語音命令辨識、
  • 國產人工智慧晶片重大突破,比GPU提升三個數量級
    第一作者尹首一副教授在會上詳細介紹了該團隊在人工智慧晶片領域取得的重大進展。這是清華大學微納電子系首次作為第一作者單位在該國際會議上發表論文。
  • 盤點:GPU加速的神經網絡與JavaScript的交叉
    雖然它的特性集面向神經網絡，但deeplearn.js可以被描述為通用機器學習框架。Propel是一個提供自動微分的科學計算的庫。Gpu.js提供了一種方便的方式來運行GPU上的JavaScript函數。Brain.js是舊的神經網絡庫的延續，並使用Gpu.js硬體加速。
  • 深度學習進入晶片領域,揭秘寒武紀神經網絡處理器
    模擬實驗表明，採用DianNaoYu指令集的寒武紀深度學習處理器相對於x86指令集的CPU有兩個數量級的性能提升。由於整個結構參數空間有上千萬種選擇，模擬器運行速度不及真實晶片的十萬分之一，不可能蠻力嘗試各種可能的設計參數。為解決此問題，使用了一套基於機器學習的處理器性能建模方法，並基於該性能模型最終為DianNao選定了各項設計參數，在運算和訪存間取得了平衡，顯著提升了執行神經網絡算法時的效能。即便數據已經從內存取到了片上，搬運的能耗依然非常高。
  • 科學家研製出人工樹突器件，實現新型神經網絡
    近日，清華大學微電子所、未來晶片技術高精尖創新中心的錢鶴、吳華強教授團隊與合作者在《自然•納米科技》（Nature Nanotechnology）在線發表了題為「基於人工樹突的高效神經網絡」（Power-Efficient Neural Network with Artificial Dendrites）的研究論文，通過引入具有豐富動態特性的人工樹突計算單元，構建了包含突觸、樹突以及胞體的新型人工神經網絡
  • 清華大學錢鶴、吳華強團隊研製出人工樹突器件，實現新型神經網絡
    ，研製出一種具有豐富動態特性的人工樹突器件，構建了包含突觸、樹突、胞體三種基本計算單元的新型神經網絡，樹突功能顯著提升了網絡的準確率，同時大幅降低了系統的功耗，增強了網絡處理複雜任務的能力。當前的人工神經網絡大多將神經元用簡單的點模型表示，將其計算功能簡化成積分-發放（integrate-and-fire），而忽略了樹突的信息處理功能。這樣的簡化使得人工神經網絡在功耗、靈活性上與生物神經網絡相比仍存在很大的差距。
  • 首個支持兩個神經網絡的類腦晶片 三大科學城成創新高地
    首個支持兩個神經網絡的類腦晶片 三大科學城成創新高地 來源：新京報 • 2019-05-25 10:34:59
  • 深度剖析人工智慧晶片的發展現狀及趨勢
    基於這一現實， 研究界還提出了 SNN（Spiking Neural Network，脈衝神經網絡） 模型。 作為第三代神經網絡模型， SNN 更貼近生物神經網絡——除了神經元和突觸模型更貼近生物神經元與突觸之外， SNN 還將時域信息引入了計算模型。目前基於 SNN 的 AI 晶片主要以 IBM 的 TrueNorth、 Intel 的 Loihi 以及國內的清華大學天機芯為代表。
  • IBM Research AI團隊用大規模的模擬存儲器陣列訓練深度神經網絡
    打開APP IBM Research AI團隊用大規模的模擬存儲器陣列訓練深度神經網絡 李倩 發表於 2018-06-16 16:15:00
  • 人工神經網絡及其應用
    1 人工神經網絡的發展歷史及其意義1.1 人工神經網絡的發展歷史神經網絡的發展可以追溯到19世紀末，其發展可以分為四個階段。2 人工神經網絡的種類及應用領域2.1人工神經網絡的種類人工神經網絡的模型很多，可以按照不同的方法分類進行分類。其中比較常用的分類方法是，按網絡連接的拓撲結構分類和按網絡內部的信息流向分類。
  • 楊玉超:為晶片裝上人類大腦,神經計算機時代「電晶體」雛形!|
    從榜單中，我們看到更多中國創新科研力量的崛起，也看到跨學科、跨領域、並且對落地應用有更強烈企圖心與使命感的科研創新，這其中涵蓋人工智慧研究與應用、NLP、腦科學、新材料、新能源、生命科學、生物科技、自動駕駛等多個不同領域。我們將陸續發出對35位獲獎者的獨家專訪，介紹他們的科技創新成果與經驗，以及他們對科技趨勢的理解與判斷。