基於憶阻器的神經網絡應用研究

來源：文章轉載自期刊《微納電子與智能製造》，作者：陳 佳，潘文謙，秦一凡，王 峰，李灝陽，李 禕，繆向水。

基於憶阻突觸器件的硬體神經網絡是神經形態計算的重要發展方向，是後摩爾時代突破傳統馮·諾依曼計算架構的有力技術候選。綜述了國內外憶阻硬體神經網絡的近期發展現狀，從器件發展和神經網絡兩個方面，詳細闡述了憶阻器這一新興信息器件在神經形態計算中所發揮的角色作用，討論了依然存在的關鍵問題和技術挑戰。憶阻器為實現存算一體化架構和超越摩爾定律提供了技術障礙突破的可行方案。

引 言

在當今數據量爆炸式增長的背景下，傳統計算架構遭遇馮·諾依曼瓶頸，電晶體微縮，摩爾定律已難以延續，這已成為繼續提升計算系統性能過程中難以克服的技術障礙[1-4]。神經形態計算概念的提出無疑是可以實現技術突破的一大曙光，人腦信息處理系統的複雜程度是最先進的超級計算機也無法媲美的。在已報導的神經形態計算架構晶片中，其計算能力顯著提高，並且體積和能耗遠小得多。因此，神經形態計算架構的發展在軟體和硬體領域都被極度重視，有望替換當前計算系統架構。

而在眾多用於實現神經形態計算的硬體元件中，憶阻器以其高集成度、低功耗、可模擬突觸可塑性等特點成為一大有力備選。憶阻器早在1971年就由蔡少棠教授[5]以第4種無源基本電路元件的概念提出，2008年由惠普實驗室首次在 Pt/TiO2/Pt三明治疊層結構中通過實驗驗證[6]。憶阻器首先因其電阻轉變效應而被提出用作阻變存儲器並被廣泛研究。2010年密西根大學盧偉教授團隊[7]提出可以通過操控憶阻器件中離子遷移過程而精細調控器件電導值，率先在Si：Ag憶阻器中實驗模擬實現了突觸權重調節行為和脈衝時序依賴突觸可塑性，從而掀起了憶阻人工神經突觸和神經網絡的研究熱潮。

1.神經形態計算與憶阻器件

1.1 神經形態計算

自1965年由英特爾（Intel）創始人之一GordonMoore提出摩爾定律以來，半導體行業的技術發展已經遵循這一定律超過了半個世紀，電晶體技術節點已經微縮到5nm以下，如圖1所示[2]。但近年來，由於矽技術的物理極限，摩爾定律的發展被預言面臨終結，晶片上的電子元器件不可能無限制地縮小。因此以密度驅動發展的電晶體技術也逐漸達到物理極限，超越摩爾定律的多功能新興信息器件可能成為後摩爾時代信息技術中不可或缺的基石。

圖1.摩爾定律

在大數據時代背景下，傳統數據處理方法中存儲器與處理器相分離的架構帶來了馮·諾依曼瓶頸問題，即存儲器和處理器的運行速度均能達到相當水平，但連接這兩部分的總線傳輸速度遠遠達不到要求，頻繁的數據通信消耗了大部分信息處理的時間和功耗。這種處理方法已經無法滿足物聯網、邊緣計算等新應用需求。相比之下，人腦神經系統的信息活動具有大規模並行、分布式存儲與處理、自組織、自適應和自學習等特徵，數據存儲與處理沒有明顯的界限，在處理非結構化數據等情況下具有非凡的優勢。人工智慧就是研究、開發用於模擬、延伸和擴展人的智能的系統，對人的意識、思維的信息過程進行模擬，在當今時代背景下具有巨大潛力。所以，未來的計算機體系結構可能需要改變傳統的把計算和存儲分開的馮·諾依曼架構，利用非易失存儲器件，打破「存儲牆」，模擬人腦處理機制，構建存儲與計算相融合的存算一體計算架構，如圖2所示。

圖2.傳統馮·諾依曼計算架構與基於非易失存儲器的存算一體化架構

神經形態計算的研究與發展是通向未來人工智慧時代，構建新型存算一體架構的賽道之一。在神經形態計算的研究領域，類神經網絡與新型神經形態硬體是兩大基礎研究，在此研究基礎上，結合對生物大腦機制的愈加深入了解，最終實現人工智慧。

在類神經網絡方面，以深度學習為基礎的神經網絡研究已經普遍存在於人工智慧領域。神經網絡，即以數學模型來模擬人腦神經元及突觸的結構，並結合多層次傳導來模擬神經元的互聯結構，現如今已大量應用於人工智慧。神經網絡的發展一方面是基於對生物大腦的理解更貼切地去模擬其工作機制，如第三代人工神經網絡——脈衝神經網絡的提出與發展；另一方面是以片上網絡配合軟硬體以數學建模的方式來模擬腦內神經傳導系統，目標側重於理解腦部信號傳導的方式，以從計算仿真角度反向助於了解大腦的運作方式。

在新型神經形態硬體方面，器件、電路以及整體架構設計都是極其重要的研究方向。在器件方面，基於新興非易失性存儲器的神經形態計算近來引起人們極大的關注，其中包括憶阻器[8]、相變存儲器[9]、鐵電存儲器[10]、自旋電子器件[11]等，它們可用於模擬生物神經元和突觸的特性，更重要的是它們都可能成為模擬存算一體計算的基礎技術。在電路設計方面，主要是實現仿生信號的產生與處理，以及模擬-數字混合信號的高效處理。在整體架構設計方面，實現存算一體化是核心目標，有助於大幅減少數據遷移開銷，提高處理效率，克服馮·諾依曼瓶頸和存儲牆問題。

1.2 憶阻器件

憶阻器是一個簡單的金屬-絕緣體-金屬（MIM）三明治結構，在電壓操作下能實現阻態翻轉，如圖3（a）、（b）所示。對於雙極性憶阻器來說，施加正電壓能將器件從高阻態轉變為低阻態，稱為SET過程，反之施加負電壓能將器件從低阻態重新轉變為高阻態，稱為RESET過程。因此，憶阻器在初期被廣泛作為阻變存儲器開展研究，在器件結構、材料等方面得到廣泛研究並不斷提出其優化設計方案。2011年，美國密西根大學盧偉教授團隊以憶阻器的導電絲生長與斷裂的阻變機制為出發點，驗證了器件的電導可以在電壓脈衝激勵下逐漸變化，即導電絲可以在外部激勵下逐漸生長和斷裂，從而貼切地模擬了生物突觸權重在外界刺激下的逐漸增強或減弱，如圖3（c）、（d），並通過實驗驗證了器件對生物突觸可塑性—脈衝時序依賴可塑性（STDP）的可模擬性。自此，憶阻突觸器件成為神經形態計算中新型電子突觸器件的有力候選者之一。

憶阻器作為電子突觸器件主要包括以下幾個特點：

（1）具有良好的生物突觸特性模擬性。作為突觸器件必須具備基本的生物突觸特性，如長時程增強（long-term potentiation，LTP）和長時程抑制（longterm depression，LTD），脈衝時序依賴可塑性(spiketiming dependent plasticity，STDP)，脈衝頻率依賴可塑性(spike-rate dependent plasticity，SRDP）等[12]；

（2）突觸單元在特徵尺寸、功耗、速度等方面具有優於傳統電晶體突觸電路的明顯優勢；

（3）憶阻突觸器件具備可擴展性，包括在材料方面能被廣泛應用，同時在集成度上也能大規模擴展。單個突觸器件的功能是基本需求，而大規模擴展和應用是必要考慮的路線，憶阻器與電晶體進行集成的1T1R陣列就是一個研究矚目的規模擴展應用方向。

圖3.憶阻器件基本特性及其生物突觸可擬性

近年來，基於憶阻器的神經網絡存算一體加速器倍受學術界和工業界的關注。研究表明，數據在CPU和片外存儲之間的傳輸消耗的能量比一個浮點運算所消耗的能量高2個數量級。一方面，基於憶阻器的內存加速器將計算與存儲緊密結合，從而省去傳統的馮·諾依曼體系結構的中心處理器和內存之間的數據傳輸，進而提升整體系統的性能並節省大部分的系統能耗。另一方面，通過在憶阻器陣列外部加入一些功能單元，陣列能在幾乎一個讀操作的延遲內完成一次矩陣乘加計算(multiplication andaccumulation,MAC)，如圖4所示，且不隨著輸入維度的增加而增加，而MAC運算在神經網絡計算中被非常頻繁地使用，是其主要耗能來源之一。因此，基於憶阻突觸器件的神經網絡應用是神經形態計算研究中的熱門方向[13-23]。

圖4.在憶阻器陣列中實現矩陣乘加運算(MAC)

2.技術發展現狀

目前，神經形態計算的具體實現包括軟體和硬體兩個方面。對於神經形態計算的軟體實現方面，即類神經網絡，由於現有計算機系統的馮·諾伊曼瓶頸問題，即使神經網絡本身具有分布式、並行式等計算特點，但依託於傳統計算機架構在大數據計算時仍然會被限制其運算速度，且功耗極大。因而神經網絡的硬體化實現是當前從根本上解決馮·諾依曼瓶頸問題的重要路線。如美國DARPA資助 IBM、HP、HRL公司聯合密西根大學、史丹福大學等研究機構開展的「突觸計劃」（SYNAPSE Project，神經形態可擴展的自適應可塑性電子系統）等都展現了國際上對於神經網絡硬體化實現的關注與投入。以IBM的TrueNorth晶片[24]、寒武紀的DaDianNao晶片[25]，清華大學的天機晶片[26]等為例，目前很多神經形態晶片的實現都是基於傳統金屬-氧化物-半導體（metal-oxide-semiconductor，CMOS）電晶體。而在神經系統中，突觸數量遠遠超過神經元數目，基於傳統CMOS電晶體的突觸電路會消耗大量面積和功耗。

因此近年來，基於新型電子突觸器件的神經形態計算晶片研究火熱，在目前的IoT時代發展潮流下，是邊緣計算的強有力載體。美國密西根大學盧偉教授團隊[27]第一款基於憶阻器交叉陣列的通用存算一體化晶片，同時實現了3種人工智慧的算法，包括多層感知機、稀疏編碼以及無監督學習算法。中國臺灣清華大學的張孟凡教授研究組[28]利用1T1R器件陣列和65nm CMOS工藝的控制和讀出電路的集成實現了一個1Mb的憶阻存算一體處理器，可同時實現神經網絡的模擬計算和可重構邏輯的數字計算，同時利用了憶阻器件的多值突觸特性和二值阻變特性，充分展示了憶阻突觸器件在神經形態計算應用中的優勢。

3.基於憶阻器件的神經網絡

人工網絡的發展源自於1943年McCulloch和Pitts[29]提出的首個用建模描述大腦信息處理過程的M-P神經元模型，進而於1949年，Hebb[30]提出了一種突觸是聯繫可變的假設，促進了神經網絡的學習算法的研究，直到1957年 Rosenblat[31]提出了感知機模型，它被稱為是首個比較完整的人工神經網絡，並且首次把神經網絡的研究應用在實際工程中。至此，關於人工神經網絡的相關研究進入了熱潮。

自憶阻器被用作電子突觸器件以來，由於憶阻器中離子的遷移十分類似於神經突觸中神經遞質的擴散過程，於是利用憶阻器來模擬神經網絡中的突觸成為一大趨勢，被廣泛運用在神經網絡中存儲突觸權值。大量的實驗證明，用憶阻器來模擬神經網絡中的突觸將會有很大的前景優勢。具體地，憶阻器作為一種基本的無源器件，所具有的納米級尺寸及非易失性,不僅能夠在模擬神經突觸時實現突觸權值的不斷變化，實現存算一體化，還可以構建集成度比較高的神經網絡結構，這使得人工神經網絡不僅具有學習記憶的能力，同時其功能也變得更加多樣化[32-39]。

3.1 多層感知機

多層感知機模型，網絡結構如圖5所示，普遍被稱為人工神經網絡，是基於第一代神經網絡——感知機模型的應用擴展。由於單層感知機只能解決基本邏輯線性問題，其表示用一條直線分割的空間，因此為解決非線性問題，通過在輸入層與輸出層之間加入隱藏層，用以實現異或問題的解決，最簡單的多層感知機只有一個隱藏層，層與層之間是全連接的。以簡單的3層結構為例，從輸入層輸入向量X，輸入層與隱藏層的神經元以全連接方式互連，從而產生突觸連接權重矩陣 W，將輸入向量X與權重矩陣W進行矩陣向量乘法運算，即可以得到隱藏層的輸出向量H，以此類推，輸入信息可以在全連接的層之間通過權重矩陣向前傳播，得到輸出結果Y。在多層感知機中，最常採用的權重更新算法是反向傳播算法，通過理想的輸出結果Z與實際輸出結果Y產生誤差值，將誤差值通過全連接多層網絡反向傳遞，以誤差函數梯度下降的方法，更新各層之間的權重矩陣值，以將最終輸出的誤差值收斂到最小。

不難看出，在多層感知機神經網絡的計算過程中，輸入信息向量與權重矩陣之間的矩陣向量乘法運算消耗了大量計算資源，因而利用憶阻交叉陣列並行一步實現矩陣向量乘法計算，可以大大減少硬體化神經網絡的能耗。在基於憶阻突觸器件的多層感知機應用中，憶阻交叉陣列被用來存儲突觸權重矩陣，每一個交叉點處的憶阻器的電導值被用來表示一個突觸連接的權重值[40-42]。

圖5.多層感知機結構示意圖

清華大學吳華強教授團隊[41]2017年在NatureCommunication上發表研究成果，如圖6所示，利用1T1R器件單元模擬突觸特性，實現雙向的器件電導調製，並在1K的1T1R陣列中實現了3層全連接多層感知機，並通過在線學習的方式實現了耶魯人臉資料庫的灰度人臉圖像識別，對9000個加入噪聲影響的測試圖片識別率可達到88.08%。與基於常規計算平臺的Intel Xeon Phi處理器的神經網絡計算對比，基於1T1R陣列的神經網絡在片上計算方式上能耗相比低1 000倍，在片外計算方式上能耗相比低20倍。

圖6.在1T1R陣列中實現人臉識別任務

美國加利福尼亞大學聖芭芭拉分校Strukov教授團隊[42]設計製備了20×20的金屬氧化物交叉陣列，如圖7所示，在器件方面，該憶阻器的中間功能層採用TiO2-x與Al2O3疊層，Al2O3疊層作為阻擋層的引入使得器件的基本I-V特性變得更加非線性，這種非線性的引入有助於憶阻器的0T1R陣列中漏電流問題的抑制。同時根據器件截面圖，器件製備過程中底電極沉積成三角形形狀，這樣的設計一方面可以讓功能層更好地覆蓋下電極，另一方面也可以以此降低頂電極的接觸電阻。在此研究成果基礎上，該團隊進一步地將憶阻器交叉陣列與傳統 CMOS外圍電路進行互聯，設計實現了單隱藏層的多層感知機用於分類功能，硬體設計複雜度提高了10倍以上，離線學習的分類準確度高達97%以上。

圖7.利用Pt/Al2O3/TiO2 x/Ti/Pt憶阻陣列實現三層全連接感知機網絡

3.2 卷積神經網絡

卷積神經網絡（convolutional neural network，CNN）的出現解決了圖像對於神經網絡來說的難點：大量的圖像處理數據導致成本高、效率低；在數位化的過程中很難保留原有的圖像特徵，導致圖像處理的準確率不高。CNN通過卷積運算降維，減小參數複雜度，將複雜問題簡化後再做處理，並且用類似視覺的方式保留了圖像的特徵，當圖像做翻轉、旋轉或者變換位置時，它也能有效地進行識別。典型的CNN由3部分構成：卷積層、池化層和全連接層，如圖8所示，簡單來描述：卷積層通過卷積操作提取圖像中的局部特徵；池化層通過平均池化或最大池化操作（特殊的卷積操作）來大幅降低參數量級（降維）；全連接層類似傳統神經網絡的部分，用來實現分類功能輸出分類識別結果。因此，卷積神經網絡相較於多層感知機應用更廣泛，泛化能力更強大。

基於憶阻器交叉陣列實現卷積神經網絡主要包括兩個部分：卷積操作部分和全連接層部分。一方面，憶阻器陣列可以存儲卷積核值，實現一步完成輸入信息與卷積核的矩陣向量乘法計算，大大提高計算效率；另一方面，卷積神經網絡的全連接層部分即為一個多層感知機，如前所述也可以利用憶阻器交叉陣列並行實現[43-46]。

圖8.卷積神經網絡結構示意圖

法國的Garbin等[45]首次展示了基於多個並聯二值HfO2憶阻器實現一個突觸功能來搭建脈衝CNN，如圖9所示，基於對器件編程條件的影響進行實驗和理論研究，發現即使在器件變化較大的情況下，也可以實現具有高保真度的視覺模式識別（模式識別率>94％）。該工作證實了將憶阻器用作CNN中突觸器件的可行性，並且基於氧化物的憶阻器件具有低開關能耗和高操作耐久性。

圖9.利用HfO2憶阻器實現卷積神經網絡

IBM團隊Gokmen等[46]提出了利用硬體的並行性將卷積層映射到憶阻陣列的方法，以及具體研究了如何在憶阻器上進行CNN訓練，如圖10所示，提出了噪聲和邊界管理技術以解決在陣列上執行的計算施加的噪聲和邊界限制影響CNN的訓練準確性的問題，並且討論了器件隨機可變性對網絡的影響以及解決的方法，進一步探討基於憶阻器的卷積神經網絡可行性。

圖10.卷積層映射到憶阻陣列的方法

3.3.二值神經網絡

二值神經網絡（binarized neural network,BNN）是神經網絡「小型化」探索中一個重要的方向。神經網絡中有兩個部分可以被二值化，一是網絡的權重，二是網絡的中間結果。通過把浮點單精度的權重變成+1或-1，存儲空間大小變為原來的1/32，計算量變為原來的1/58。其中，權值參數W，必須包含實數型的參數，然後將實數型權值參數二值化得到二值型權值參數，即Binarize操作，如圖11所示。具體二值化方法為：大於等於0，取+1；否則，取-1。因此，僅用+1/-1構成權值矩陣和網絡傳播參數，壓縮晶片體積並加速了計算過程，大大減少了存儲大小和訪問操作，並以逐位操作取代大多數算術操作，這將大大提高能耗效率，更適合應用於設備端的邊緣計算。而憶阻器件最基本的高低阻態的二值轉變特性非常完美地滿足了二值神經網絡對於突觸器件的需求，特別地，相較於憶阻器件的多值突觸特性，其二值特性更穩定，從器件工程方面來說也更容易實現。因此，基於憶阻器件的二值神經網絡從硬體實現方面來說極具挖掘性。

圖11.二值神經網絡中的二值化流程圖

北京大學康晉鋒教授團隊[47]在基於憶阻器件的二值神經網絡實現上，首次提出了一種新的硬體實現方法，如圖12所示，利用非線性突觸單元來構建用於在線訓練的BNN。通過憶阻器陣列設計和演示基於2T2R的突觸單元，以實現BNN 中突觸的基本功能：二進位權重（sign（W））讀取和模擬權重更新（W +ΔW）。通過MNIST對基於2T2R突觸單元的BNN的性能進行了評估，識別準確率達到97.4％。

圖12.基於2T2R突觸陣列的二值神經網絡示意圖

亞利桑那州立大學Yu課題組[48]用憶阻器交叉陣列實現二值神經網絡計算加速，具體地採用XNOR同或邏輯加速和bit-counting並行操作來代替複雜的乘法累加操作，如圖13所示，並且在基於手寫字體數據集的多層感知機上實現98.43%識別準確率，在基於CIFAR-10數據集的卷積神經網絡上實現86.08%的準確率，分別比理想情況下降0.34%和2.39%的識別精度，該工作能耗為141.18TOPS/W，相較於順序逐行讀取的憶阻神經網絡，能耗效率提高約33倍，驗證了二值神經網絡的在速度和能耗上的潛在優勢。

圖13.憶阻器交叉陣列實現二值神經網絡計算加速方法

3.4 長短期記憶網絡

長短期記憶網絡（long short- term memory，LSTM），是一種時間遞歸神經網絡，適合於處理和預測時間序列中間隔和延遲相對較長的事件。LSTM是一種特殊的循環神經網絡，為解決循環神經網絡（recurrent neural network，RNN）結構中存在的「梯度消失」問題而提出，網絡結構如圖14所示。LSTM在設計上明確避免了長期依賴的問題，主要歸功於LSTM精心設計的「門」結構（輸入門、遺忘門和輸出門）消除或者增加信息到單元狀態的能力，使得LSTM能夠記住長期的信息。在LSTM中，第一階段是遺忘門，遺忘層決定哪些信息需要從單元狀態中被遺忘，下一階段是輸入門，輸入門確定哪些新信息能夠被存放到單元狀態中，最後一個階段是輸出門，輸出門確定輸出什麼值。同樣，利用憶阻陣列實現突觸功能以及存算一體，在LSTM這種循環網絡有很大優勢，可以實現高度並行的高速低功耗操作，是基於憶阻器件的又一神經網絡功能實現。

圖14.長短期記憶網絡的結構示意圖

美國麻薩諸塞大學楊建華團隊[49]首先在128×64的1T1R陣列上實現了LSTM神經網絡，如圖15所示，利用憶阻器交叉陣列來存儲LSTM在不同時間步長中共享的突觸權重，並執行了全球航空旅客人數預測任務和人類步態識別任務，分別驗證了憶阻LSTM執行線性回歸預測類任務和模式識別類任務的可行性，驗證了憶阻陣列作為低延時、低功耗的邊緣推斷平臺運行LSTM神經網絡的可行性，有助於規避「馮·諾依曼瓶頸」問題。

圖15.基於憶阻突觸陣列的LSTM網絡以預測下個月的航空公司乘客人數

IBM公司的Burr團隊[50]在器件非一致性較高的情況下將權重參數映射和編碼到相變存儲器（phasechange memory, PCM）電導中，採用了兩對器件分別表示高低位權重、權重裁切、單向電導調節等方法，網絡設計如圖16所示，實現了LSTM的前向推斷，並且首次在2.5M大小的陣列中實現了近似軟體的文本預測準確率，同時對比了多種不同方法對權重映射準確度和預測準確度的影響。

圖16.基於相變存儲器件單元的長短期記憶網絡實現方法

4.總結

總的來說，基於憶阻器的神經網絡應用是神經形態計算不可或缺的研究方向。憶阻器以自身的突觸可塑性、低功耗、高效率、可集成等優勢在神經網絡應用中被大量研究，實現了多樣化的憶阻神經網絡，包括多層感知機、卷積神經網絡、長短期記憶網絡等。憶阻器主要被用作神經網絡中的突觸器件，其在脈衝下的多值調控特性完美地實現突觸權重硬體化映射，能夠存儲突觸權重矩陣並實現原位計算。憶阻器交叉陣列的並行矩陣乘加運算能力實現了神經網絡計算的加速神經網絡計算。因此，基於憶阻器的神經網絡是其硬體化的有效實現方案，為構建存算一體化的新型計算架構提供解決辦法。

但在神經網絡的硬體化實現方面，仍然存在許多亟待解決的問題，以及需要深入思考的困惑。主要包括以下幾個方面：

（1）憶阻器件的突觸特性仍需進一步提高，如憶阻器的多值電導調控特性，在當前研究中只考慮了脈衝連續施加情況下電導的連續改變，但對於實際應用來說，穩定且非易失的每一個電導狀態是必要的。因此，如何定義憶阻器的電導連續變化過程中的多值，以及如何從器件工程層面改善器件的穩定多值特性，是目前憶阻突觸器件在實際硬體實現過程中的一大難題。

（2）憶阻器的導電絲阻變機理造成了器件本徵的不可消除的噪聲問題。由於導電絲在形成和斷裂過程中都不可能完全受外部施加的激勵所控制，其隨機性不可消除，因此使得憶阻器的本徵噪聲問題無法解決。而在神經網絡應用中，這一本徵噪聲問題的影響是否會對系統造成損耗還不可獲知，需要更進一步的研究和實驗驗證。

（3）在當前的研究成果中，憶阻陣列具有傳統CMOS邏輯電路不可比擬的並行計算能力和存儲與計算相融合的特點，但憶阻突觸器件的模擬計算特性與外圍CMOS數字電路無法完全兼容，數模/模數轉換成為憶阻陣列與CMOS集成的電路設計的難點。過於複雜的外圍電路會提高系統的整體功耗，與憶阻陣列的引入初衷相悖。

參考文獻:

[1] MOORE G. Moore’s law[J]. Cramming more components onto integrated circuits[J]. Electronics, 1965, 38(8): 114-117.

[2] HOLT W M. 1.1 Moore’s law: a path going forward[C]//2016 IEEE International Solid-State Circuits Conference(ISSCC). IEEE, 2016: 8-13.

[3] JONES V F R. A polynomial invariant for knots via vonNeumann algebras[M]. New Developments in The Theory of Knots, 1985.

[4] BACKUS J W. Can programming be liberated from thevon Neumann style? A functional style and its algebra ofprograms[J]. Communications of the ACM, 1978, 21(8):613-641.

[5] CHUA L. Memristor-the missing circuit element[J].IEEE Transactions on Circuit Theory, 1971, 18(5): 507-519.

[6] STRUKOV D B, SNIDER G S, STEWART D R, et al.The missing memristor found[J]. Nature, 2008, 453(7191): 80-83.

[7] JO S H, CHANG T, EBONG I, et al. Nanoscale mersister device as synapse in neuromorphic systems[J]. NanoLetters, 2010, 10(4): 1297-1301.

[8] CHEN J, LIN C Y, LI Y, et al. LiSiOx- based analogmemristive synapse for neuromorphic computing[J].IEEE Electron Device Letters, 2019, 40(4): 542-545.

[9] AMBROGIO S, NARAYANAN P, TASI H, et al. Equivalent- accuracy accelerated neural- network training usinganalogue memory[J]. Nature, 2018, 558(7708): 60-67.

[10] JERRY M, CHEN P Y, ZHANG J, et al. FerroelectricFET analog synapse for acceleration of deep neural network training[C]// 2017 IEEE International Electron Devices Meeting (IEDM). IEEE, 2017: 6.2.1-6.2.4.

[11] WU M H, HONG M C, CHANG C C, et al. Extremelycompact integrate-and-fire STT-MRAM neuron: A pathway toward all- spin artificial deep neural network[C]//2019 Symposium on VLSI Technology. IEEE, 2019: T34-T35.

[12] LI Y, ZHONG Y, ZHANG J, et al. Activity- dependentsynaptic plasticity of a chalcogenide electronic synapsefor neuromorphic systems[J]. Scientific Reports, 2014, 4 (6184): 4906.

[13] CHEN P Y, PENG X, YU S. NeuroSim: A circuit-levelmacro model for benchmarking neuro-inspired architectures in online learning[J]. IEEE Transactions on Computer- Aided Design of Integrated Circuits and Systems,2018, 37(12): 3067-3080.

[14] DEGUCHI Y, MAEDA K, SUZUKI S, et al. Error-reduction controller techniques of TaOx- based ReRAM fordeep neural networks to extend data- retention lifetimeby over 1700x[C]// 2018 IEEE International MemoryWorkshop (IMW). IEEE, 2018: 1-4.

[15] DIEHL P U, COOK M. Unsupervised learning of digitrecognition using spike- timing- dependent plasticity[J].Frontiers in Computational Neuroscience, 2015, 9(429):99.

[16] GOKMEN T, ONEN M, WILFRIED H. Training deepconvolutional neural networks with resistive cross- pointdevices[J]. Frontiers in Neuroscience, 2017, 11: 538.

[17] GOKMEN T, VLASOV Y. Acceleration of deep neuralnetwork training with resistive cross- point devices: design considerations[J]. Frontiers in Neuroscience, 2016,10(51): 333.

[18] ESSER S K, MEROLLA P A, ARTHUR J V, et al. Convolutional networks for fast energy- efficient neuromorphic computing[J]. Proceedings of the National Academy of Sciences, 2016, 113(41): 11441-11446.

[19] CHEN L, LI J, CHEN Y, et al. Accelerator-friendly neural- network training: learning variations and defects inRRAM crossbar[C]// 2017 Design, Automation & Testin Europe Conference & Exhibition (DATE). IEEE,2017: 19-24.

[20] CHANG C C, LIU J C, SHEN Y L, et al. Challengesand opportunities toward online training acceleration using RRAM- based hardware neural network[C]// 2017IEEE International Electron Devices Meeting (IEDM).IEEE, 2017: 11.6.1-11.6.4.

[21] TRUONG S N, MIN K S. New memristor-based crossbar array architecture with 50-% area reduction and48-% power saving for matrix- vector multiplication ofanalog neuromorphic computing[J]. Journal of Semiconductor Technology and Science, 2014, 14(3): 356-363.

[22] CHOI S, SHIN J H, LEE J, et al. Experimental demonstration of feature extraction and dimensionality reduction using memristor networks[J]. Nano Letters, 2017, 17(5): 3113-3118.

[23] HU M, GRAVES C E, LI C, et al. Memristor‐based analog computation and neural network classification with adot product engine[J]. Advanced Materials, 2018, 30(9):1705914.

[24] NURSE E, MASHFORD B S, YEPES A J, et al. Decoding EEG and LFP signals using deep learning: headingTrueNorth[C]// Proceedings of the ACM InternationalConference on Computing Frontiers. ACM, 2016: 259-266.

[25] LUO T, LIU S, LI L, et al. Dadiannao: A neural networksupercomputer[J]. IEEE Transactions on Computers,2016, 66(1): 73-88.

[26] PEI J, DENG L, SONG S, et al. Towards artificial general intelligence with hybrid Tianjic chip architecture[J].Nature, 2019, 572: 106-111.

[27] CAI F, CORRELL J, LEE S H, et al. A fully integratedreprogrammable memristor – CMOS system for efficientmultiply – accumulate operations[J]. Nature Electronics,2019, 2(7): 290-299.

[28] CHEN W H, DOU C, LI K X, et al. CMOS-integratedmemristive non- volatile computing- in- memory for AIedge processors[J]. Nature Electronics, 2019, 2: 1-9.

[29] MCCULLOCH W S, PITTS W. A logical calculus of theideas immanent in nervous activity[J]. The Bulletin ofMathematical Biophysics, 1943, 5(4): 115-133.

[30] HEBB D O. The organization of behavior: a neuropsychological theory[J]. American Journal of Physical Medicine & Rehabilitation, 2013, 30(1): 74-76.

[31] ROSENBLATT F. The perceptron: a probabilistic modelfor information storage and organization in the brain[J].Psychological Review, 1958, 65(6): 386-408.

[32] WANG Z R, JOSHI S, SAVEL』EV S, et al. Fully memristive neural networks for pattern classification with unsupervised learning[J]. Nature Electronics, 2018, 1(2):137-145.

[33] CAI F, CORRELL J, LEE S H, et al. A fully integratedreprogrammable memristor – CMOS system for efficientmultiply – accumulate operations[J]. Nature Electronics,2019, 2(7): 290-299.

[34] IELMINI D, AMBROGIO S, MILO V, et al. Neuromorphic computing with hybrid memristive/CMOS synapsesfor real-time learning[C]// 2016 IEEE International Symposium on Circuits and Systems (ISCAS). IEEE, 2016:1386-1389.

[35] CHEN P Y, YU S. Partition SRAM and RRAM basedsynaptic arrays for neuro- inspired computing[C]// 2016IEEE International Symposium on Circuits and Systems(ISCAS). IEEE, 2016: 2310-2313.

[36] KIM S G, HAN J S, KIM H, et al. Recent advances inmemristive materials for artificial synapses[J]. AdvancedMaterials Technologies, 2018, 3(12): 1800457.

[37] TSAI H, AMBROGIO S, NARAYANAN P, et al. Recentprogress in analog memory- based accelerators for deeplearning[J]. Journal of Physics D: Applied Physics,2018, 51(28): 283001.

[38] SUNG C, HWANG H, YOO I K. Perspective: a reviewon memristive hardware for neuromorphic computation[J]. Journal of Applied Physics, 2018, 124(15): 151903.

[39] CRISTIANO G, GIORDANO M, AMBROGIO S, et al.Perspective on training fully connected networks with resistive memories: device requirements for multiple conductances of varying significance[J]. Journal of AppliedPhysics, 2018, 124(15): 151901.

[40] LI C, BELKIN D, LI Y, et al. Efficient and self-adaptivein-situ learning in multilayer memristor neural networks[J]. Nature Communications, 2018, 9(1): 2385.

[41] YAO P, WU H, GAO B, et al. Face classification usingelectronic synapses[J]. Nature Communications, 2017, 8:15199.

[42] BAYAT F M, PREZIOSO M, CHAKRABARTI B, et al.Implementation of multilayer perceptron network withhighly uniform passive memristive crossbar circuits[J].Nature Communications, 2018, 9(1): 2331.

[43] KWAK M, PARK J, WOO J, et al. Implementation ofconvolutional kernel function using 3- D TiOx resistiveswitching devices for image processing[J]. IEEE Transactions on Electron Devices, 2018, 65(10): 4716-4718.

[44] YAKOPCIC C, ALOM M Z, TAHA T M. Memristorcrossbar deep network implementation based on a convolutional neural network[C]// 2016 International JointConference on Neural Networks (IJCNN). IEEE, 2016:963-970.

[45] GARBIN D, VIANELLO E, BICHLER O, et al. HfO2-based OxRAM devices as synapses for convolutionalneural networks[J]. IEEE Transactions on Electron Devices, 2015, 62(8): 2494-2501.

[46] GOKMEN T, ONEN M, HAENSCH W, et al. Trainingdeep convolutional neural networks with resistive crosspoint devices[J]. Frontiers in Neuroscience, 2017, 11:538.

[47] ZHOU Z, HUANG P, XIANG Y C, et al. A new hardware implementation approach of BNNs based on nonlinear 2T2R synaptic cell[C]// 2018 IEEE InternationalElectron Devices Meeting (IEDM). IEEE, 2018: 20.7.1-20.7.4.

[48] SUN X, YIN S, PENG X, et al. XNOR-RRAM: a scalable and parallel resistive synaptic architecture for binary neural networks[C]// 2018 Design, Automation &Test in Europe Conference & Exhibition (DATE). IEEE,2018: 1423-1428.

[49] LI C, WANG Z, RAO M, et al. Long short-term memory networks in memristor crossbar arrays[J]. Nature Machine Intelligence, 2019, 1(1): 49-57.

[50] TSAI H, AMBROGIO S, MACKIN C, et al. Inferenceof long-short term memory networks at software-equivalent accuracy using 2.5M analog phase change memorydevices[C]// 2019 Symposium on VLSI Technology.IEEE, 2019: T82-T83.

文獻引用:

陳佳，潘文謙，秦一凡，等. 基於憶阻器的神經網絡應用研究[J]. 微納電子與智能製造, 2019, 1(4): 24-38.

CHEN Jia, PANWenqian, QIN Yifan, et al. Research of neural network based on memristor[J]. Micro/nano Electronics and Intelligent Manufacturing, 2019, 1(4): 24-38.

《微納電子與智能製造》刊號：CN10-1594/TN

主管單位：北京電子控股有限責任公司

主辦單位：北京市電子科技科技情報研究所

北京方略信息科技有限公司