清華造人工神經網絡晶片,憶阻器陣列效能高過GPU兩個數量級

2020-12-06 EDN電子設計技術

近日，清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者在《自然》在線發表了題為「Fully hardware-implemented memristor convolutional neural network」的研究論文，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。eYyednc

該存算一體系統在辦理卷積神經網絡（CNN）時能效比前沿的圖形辦理器晶片（GPU）高兩個數質級，可以說在一定程度上衝破了「馮諾依曼瓶頸」的限造：大幅提升算力的同時，實現了以更小的功耗和更低的硬體成本完成複雜的計算。eYyednc

eYyednc

多個憶阻器陣列晶片協同工作示意圖。（圖自：清華新聞網，下同）eYyednc

eYyednc

基於憶阻器晶片的存算一體系統eYyednc

什麼是憶阻器？

憶阻器，全稱記憶電阻器（Memristor），是繼電阻、電容、電感之後的第四種電路基本元件，表示磁通與電荷之間的關係，最早由加州大學伯克利分校教授蔡少棠在1971年預言存在，惠普公司在2008年研製成功。eYyednc

簡單來說，這種組件的的電阻會隨著通過的電流量而改變，而且就算電流停止了，它的電阻仍然會停留在之前的值，直到接受到反向的電流它才會被推回去，等於說能「記住」之前的電流量。eYyednc

這種奇妙的效果，其實和神經元突觸有相仿之處。再加上憶阻器還具有尺寸小、操作功耗低、可大規模集成（三維集成）等優點，難怪計算機科學家們在憶阻器身上看到了存算一體、低能耗類腦計算的前景。eYyednc

人工神經網絡近年來大放異彩，如果用憶阻器連接成陣列，作為人工神經網絡的硬體，會有什麼效果？eYyednc

憶阻器陣列

當前國際上的相關研究還停留在簡單網絡結構的驗證，或者基於少量器件數據進行的仿真，基於憶阻器陣列的完整硬體實現仍然有很多挑戰：器件方面，製備高一致、可靠的多值憶阻器陣列仍是挑戰；系統方面，受憶阻器的阻變機理制約，器件固有的非理想特性（如器件間波動，器件電導卡滯，電導狀態漂移等）會導致計算準確率降低；架構方面，憶阻器陣列實現卷積功能需要以串行滑動的方式連續採樣、計算多個輸入塊，無法匹配全連接結構的計算效率。eYyednc

錢鶴、吳華強教授團隊通過優化材料和器件結構，成功製備出了高性能的憶阻器陣列。2017年5月，該課題組就曾在《自然通訊》報告稱，首次實現了基於1024個氧化物憶阻器陣列的類腦計算，將氧化物憶阻器的集成規模提高了一個數量級。這使晶片更加高效地完成人臉識別計算任務，將能耗降低到原來的千分之一以下。eYyednc

憶阻器神經網絡

為解決器件非理想特性造成的系統識別準確率下降問題，他們提出一種新型的混合訓練算法，僅需用較少的圖像樣本訓練神經網絡，並通過微調最後一層網絡的部分權重，使存算一體架構在手寫數字集上的識別準確率達到96.19%，與軟體的識別準確率相當。與此同時，提出了空間並行的機制，將相同卷積核編程到多組憶阻器陣列中，各組憶阻器陣列可並行處理不同的卷積輸入塊，提高並行度來加速卷積計算。eYyednc

在此基礎上，該團隊搭建了全硬體構成的完整存算一體系統，在系統裡集成了8個包括2048個憶阻器的陣列，以提高並行計算的效率，並在該系統上高效運行了卷積神經網絡算法，成功驗證了圖像識別功能，證明了存算一體架構全硬體實現的可行性。eYyednc

eYyednc

存算一體系統架構eYyednc

近年來，錢鶴、吳華強教授團隊長期致力於面向人工智慧的存算一體技術研究，從器件性能優化、工藝集成、電路設計及架構與算法等多層次實現創新突破，先後在《自然通訊》（Nature Communications）、《自然電子》（Nature Electronics）、《先進材料》（Advanced Materials）等期刊以及國際電子器件會議 （IEDM）、國際固態半導體電路大會（ISSCC）等頂級學術會議上發表多篇論文。 eYyednc

eYyednc

團隊合影eYyednc

清華大學微電子所吳華強教授是本論文的通訊作者，清華大學微電子所博士生姚鵬是第一作者。該研究工作得到了國家自然科學基金委、國家重點研發計劃、北京市科委、北京信息科學與技術國家研究中心及華為技術有限公司等支持。eYyednc

論文原文連結：eYyednc

https://www.nature.com/articles/s41586-020-1942-4eYyednc

責編：Demi XiaeYyednc

相關焦點

  • 清華實現完整硬體CNN,憶阻器陣列效能高過GPU兩個數量級
    ，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。該成果所研發的基於多個憶阻器陣列的存算一體系統，在處理卷積神經網絡（CNN）時的能效比圖形處理器晶片（GPU）高兩個數量級，大幅提升了計算設備的算力，成功實現了以更小的功耗和更低的硬體成本完成複雜的計算。
  • 清華制人工神經網絡晶片,能效比GPU高兩個數量級
    （原標題：清華用憶阻器制人工神經網絡晶片，能效比GPU高兩個數量級）
  • 清華用憶阻器制人工神經網絡晶片,能效比GPU高兩個數量級
    被認為具有「存算一體」潛力的憶阻器，因而成為類腦計算領域的熱門器件。近日，清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強團隊與合作者在頂尖學術期刊、英國《自然》雜誌（Nature）在線發表論文，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。
  • ...全球首款基於憶阻器的CNN存算一體晶片,能效高出GPU兩個數量級
    撰文 | 四月2 月 27 日機器之心獲悉，據清華大學新聞網消息，該校微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者成功研發出一款基於多陣列憶阻器存算一體系統，在處理卷積神經網絡（CNN）時能效比前沿的圖形處理器晶片（GPU）高兩個數量級。
  • 能效比GPU高兩個數量級,清華大學研製首款多陣列憶阻器存算一體系統
    集微網消息，近日，清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者在《自然》在線發表了研究論文，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。該成果所研發的首款基於多個憶阻器陣列的存算一體系統，在處理卷積神經網絡（CNN）時的能效比圖形處理器晶片（GPU）高兩個數量級，大幅提升了計算設備的算力，成功實現以更小的功耗和更低的硬體成本完成複雜的計算。
  • ...出全球首款多陣列憶阻器存算一體系統,能效比GPU高兩個數量級
    簡言之，憶阻器（memristor）可以在斷電之後，仍能「記憶」通過的電荷，其所具備的這種特性與神經突觸之間的相似性，使其具備獲得自主學習功能的潛力。因此，基於憶阻器的神經形態計算系統能為神經網絡訓練提供快速節能的方法，但是，圖像識別模型之一 的卷積神經網絡還沒有利用憶阻器交叉陣列的完全硬體實現。
  • ...研製出全球首款多陣列憶阻器存算一體系統,能效比GPU高兩個數量級
    簡言之，憶阻器（memristor）可以在斷電之後，仍能「記憶」通過的電荷，其所具備的這種特性與神經突觸之間的相似性，使其具備獲得自主學習功能的潛力。因此，基於憶阻器的神經形態計算系統能為神經網絡訓練提供快速節能的方法，但是，圖像識別模型之一 的卷積神經網絡還沒有利用憶阻器交叉陣列的完全硬體實現。
  • 清華類腦晶片再登Nature: 全球首款基於憶阻器的CNN存算一體晶片
    撰文 | 四月2 月 27 日機器之心獲悉，據清華大學新聞網消息，該校微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者成功研發出一款基於多陣列憶阻器存算一體系統，在處理卷積神經網絡（CNN）時能效比前沿的圖形處理器晶片（GPU）高兩個數量級。
  • 新型「晶片上的大腦」：為可攜式人工智慧系統打造神經網絡硬體
    這些神經元與突觸一起構成了一個極其龐大的生物神經網絡。MIT 機械工程系副教授 Jeehwan Kim 表示：「迄今為止，人工突觸網絡以軟體的形式存在。我們正在嘗試為可攜式人工智慧系統打造真正的神經網絡硬體。讓我們想像一下，將神經形態器件連接至你汽車上的攝像頭，讓它能夠識別光線和物體，並立即作出決策，而無需連接到網際網路。我們希望採用高能效的憶阻器在現場實時地執行這些任務。」
  • 基於憶阻器的神經網絡應用研究
    基於憶阻突觸器件的硬體神經網絡是神經形態計算的重要發展方向，是後摩爾時代突破傳統馮·諾依曼計算架構的有力技術候選。綜述了國內外憶阻硬體神經網絡的近期發展現狀，從器件發展和神經網絡兩個方面，詳細闡述了憶阻器這一新興信息器件在神經形態計算中所發揮的角色作用，討論了依然存在的關鍵問題和技術挑戰。憶阻器為實現存算一體化架構和超越摩爾定律提供了技術障礙突破的可行方案。
  • 憶阻器類腦晶片與人工智慧
    開發CMOS兼容的憶阻材料，利用標準CMOS工藝加工憶阻器件是國際發展的大趨勢，這是獲得低成本類腦晶片的必經之路。目前以下幾個研究內容需要重點關注：研製連續可調多值憶阻器，構建人工神經網絡；研製量子憶阻器，構建多值非易失存儲器，提高憶阻器的穩定性；量化不同憶阻材料體系不同缺陷形成能和遷移能，以及量化憶阻器件導電通道可控性和穩定性；開發基於碳水化合物材料憶阻器件，人工神經網絡與生物神經網絡充分融合。
  • 基於憶阻器的神經網絡應用研究
    綜述了國內外憶阻硬體神經網絡的近期發展現狀，從器件發展和神經網絡兩個方面，詳細闡述了憶阻器這一新興信息器件在神經形態計算中所發揮的角色作用，討論了依然存在的關鍵問題和技術挑戰。憶阻器為實現存算一體化架構和超越摩爾定律提供了技術障礙突破的可行方案。
  • 到底能不能設計出為人工智慧打造的神經網絡晶片
    生物神經網絡中的神經元與突觸 　　時下，一種由人腦啟發的新型計算機，也稱為「類腦計算機」或者「神經形態計算機」，成為了一個新興的研究領域，吸引了物理、化學、材料、數學、電子與計算機科學等一系列領域的科學家們的廣泛興趣。 　　基於光線的腦啟發晶片示意圖。
  • 新型ANN登《自然》子刊:清華團隊領銜打造基於憶阻器的人工樹突
    所以，對人腦神經元網絡進行抽象建立的人工神經網絡（Artificial Neural Network，ANN ），裡面也有樹突在起作用嗎？實際上，很多人工神經網絡中樹突的信息處理功能被忽略，相比於生物神經網絡，其靈活性、魯棒性、功耗都有欠缺。
  • 新型神經網絡晶片:由憶阻器構成,為人工智慧提速!
    最近，法國科學家利用憶阻器開發出一種神經網絡晶片，對於人工智慧來說，不僅降低它的能耗，而且還提升了速度。（圖片來源於:Sren Boyn/法國國家科學研究院）圖解：這是一幅藝術家對於電子神經突觸的印象圖，其中的粒子代表流過氧化物的電子，類似生物神經突觸中的神經傳導物質。電子的流動取決於氧化物的鐵電疇結構，受到電壓脈衝控制。
  • 中國科學家提出基於憶阻器陣列的新型腦機接口
    清華大學研發的基於憶阻器陣列的腦電信號處理系統正在測試中。來自清華大學的科研團隊提出基於憶阻器陣列的新型腦機接口，相關研究成果日前在線發表於《自然·通訊》。主流腦機接口中的神經信號分析模塊由基於矽電晶體的集成電路構成，但隨著腦機接口中的信號採集通道數的增加，系統面臨著高功耗和延時等方面的挑戰，這也是制約腦機接口技術在植入式或可攜式醫療系統中應用的重要瓶頸之一。
  • 清華大學錢鶴、吳華強團隊研製出人工樹突器件，實現新型神經網絡
    當前的人工神經網絡大多將神經元用簡單的點模型表示，將其計算功能簡化成積分-發放（integrate-and-fire），而忽略了樹突的信息處理功能。這樣的簡化使得人工神經網絡在功耗、靈活性上與生物神經網絡相比仍存在很大的差距。
  • 基於3D憶阻器的電路,用於大腦啟發式計算
    「以前，我們開發了一種非常可靠的憶阻設備，可以滿足人工神經網絡的內存計算的大多數要求，將這些設備集成到大型二維陣列中，並展示了多種機器智能應用，」進行這項研究的Qiangfei Xia教授說，「在我們最近的研究中，我們決定將其擴展到第三維，探索3-D神經網絡中豐富的連接的好處。」
  • 利用類腦器件高效處理神經信號，構建新型腦機接口
    ，提出了基於憶阻器陣列的新型腦機接口，構建了高效智能的腦電神經信號處理系統，演示了大腦癲癇狀態的識別，實現了93.46%的高準確率，並將系統功耗降低了400多倍。研究團隊受此啟發，通過在腦機接口領域兩年多的交叉學科緊密合作，提出了基於憶阻器陣列的新型腦機接口，實驗製備了具有模擬阻變特性的憶阻器陣列，並構建了基於憶阻器的神經信號分析系統。該系統包含用於神經信號高效預處理的憶阻器濾波器組和用於智能分類識別的憶阻器神經網絡。
  • 清華微電子所錢鶴、吳華強團隊合作發表新型類腦器件研究長篇綜述...
    清華微電子所錢鶴、吳華強團隊合作發表新型類腦器件研究長篇綜述文章清華新聞網10月9日電 9月24日，清華大學微電子所錢鶴、吳華強教授團隊與合作者在國際材料與器件領域知名學術期刊《先進材料》（Advanced Materials）上在線發表長篇綜述文章《用新型類腦器件連接生物神經網絡與人工神經網絡：原理，進展與挑戰》（Bridging Biological