作者 | 林鈺登、高濱、王小虎、錢鶴、吳華強
來源 | 《微納電子與智能製造》期刊
引言
過去半個世紀以來 ，晶片計算性能的提高主要依賴於場效應電晶體尺寸的縮小。隨著特徵尺寸的減小 ，器件的製備成本和製造工藝難度不斷增加 ，芯 片性能的提升愈發困難。不僅如此 ，器件尺寸也接近物理極限 ，摩爾定律時代即將面臨著「終結」[1]。
與此同時，大數據[2]技術的發展和以神經網絡為核心的 深度學習技術[3-5] 浪潮的興起 ，對傳統的主流硬體平 臺的算力提出了更高的要求。由於深度學習算法計 算時需要處理流式數據 ，基於馮 · 諾依曼計算架構的 硬體平臺在處理相關任務時 ，大量的數據會在計算單元和存儲單元之間流動[6]。而後者的讀寫速度要 遠慢於前者的計算速度，訪問內存的操作過程佔了總體能耗和延遲的絕大部分[7]，限制了數據的處理速度 ，這被稱為「馮 · 諾依曼瓶頸」或「內存瓶頸」。內存瓶頸使得計算系統表現出功耗高、速度慢等缺點。在以大數據量為中心的計算任務中，存算分離帶來的問題就更加突出 。
目前 ，人們利用能並行處理數據的 GPU (graphics processing unit)或者針對數據流設計的專用加速晶片 ，如 TPU (tensor processing unit)等硬體進行加速以滿足算力需求。這類加速硬體一般有較 強的並行處理能力和較大的數據帶寬[ 9-10 ]，但是存儲和計算單元在空間上依舊是分離的。與馮 · 諾依曼計算平臺不同 ，具有大規模並行 、自適應 、自學習特徵的人腦中，信息的存儲和計算沒有明確的分界線， 都是利用神經元和突觸來完成的[ 11-12 ]。人們開始研究新型的納米器件 ，希望能夠模擬神經元和突觸的特性。在這類納米器件中，憶阻器因與突觸的特性十分相似[ 13 ]且具有巨大的潛力而備受青睞。突觸可 以根據前後神經元的激勵來改變其權重 ，而憶阻器 則可以通過外加電壓的調製來改變其電導值。
利用這類新型的憶阻器可以實現數據存儲的同時也能夠原位計算 ，使存儲和計算一體化[ 14-17 ]，從根本上消除了內存瓶頸。這類新型的憶阻器包括磁效應憶阻器 ( magnetic random-access memory ，MRAM )、相 變 效 應 憶 阻 器[ 21- 23 (] phase- change random- access[24- 26] memory，PRAM)和阻變效應憶阻器 (resistive random-access memory，RRAM)等。
存內計算技術
新型的憶阻器包括磁效應憶阻器 、相變效應憶 阻器和阻變效應憶阻器等。其中 ，阻變效應憶阻器 包含了基於陰離子的氧空位通道型阻變憶阻器和基 於陽離子型的導電橋型憶阻器(conductive bridging RAM, CBRAM)兩類。氧空位通道型阻變憶阻器也 直接被稱為 RRAM。新型憶阻器有讀寫速度快[27] 、 集成密度高[28] 、低功耗[29] 等優勢 ，這也為存內計算帶來了更多的好處。
1.1 磁效應憶阻器
通常 ，材料中電子的上下自旋方向概率相等時，材料整體沒有磁性;當電子上下自旋的數目不等同 時 ，材料就會表現出磁性性質。磁效應憶阻器的結 構如圖 1 所示 ，其基本結構包含有 3 層 ，其中底層磁 化的方向是不變的，稱為參考層;頂層磁化方向可被 編程發生變化 ，稱為自由層;中間層稱為隧道層。由 於隧道磁阻效應[30] ，參考層和自由層的相對磁化方 向決定了磁效應憶阻器的阻值大小。當參考層和自 由層的磁化方向一致時(P 態)，磁效應憶阻器的阻值 最小;相反 ，如果磁化方向不一致時(AP 態)，磁效應 憶阻器的阻值最大。
通過直接讓電流流經磁效應憶阻器可以改變自 由層的電子自旋方向[31]。在由參考層流向自由層的大電流的操作中 ，電流首先被參考層自旋極化 ，然後 根據磁動量守恆 ，使自由層的磁極化發生旋轉至兩 者磁化方向相同。反之 ，流經相反方向的電流可以 使參考層和自由層的磁化方向相反 。
1.2 相變效應憶阻器
相變效應憶阻器的結構如圖 2 所示 ，包含了頂層 、底層電極和相變材料層。在相變材料層裡 ，可 編程區的晶態決定了相變效應憶阻器的阻態[ 22 ]。可編程區為非晶態時 ，相變材料的電阻率高，憶阻 器的阻值也就較大;為多晶態時，相變材料的電阻率低，相應的憶阻器阻值也就較小。憶阻器從高阻態( high- resistance state ，HRS )轉 變 為 低 阻 態( low- resistance state，LRS)的過程是「SET」過程;反之，從LRS 到 HRS 的過程就是「RESET」過程。
在 SET 過 程中 ，在相變效應憶阻器兩端施加較小的幅度的電 壓脈衝 ，產生的熱量使其溫度介於熔點和結晶溫度 之間 ，然後進行適合時間的退火 ，對應著較緩的脈 衝下降沿 ，可以引起相變材料結晶 ，轉變為多晶態， 此時其阻值較小。而在 RESET 過程中 ，施加較大幅 度的電壓脈衝來淬火，其電壓脈衝的下降沿較陡 ， 就會導致編程區局部熔化 ，轉化為非晶態 ，此時其 阻值較大。通過電壓脈衝來調製可編程區的多晶 態和非晶態的相對比例，可以實現相變效應憶阻器 的多級阻態。RESET 的多級阻變特性比 SET 差 ，這 是因為在 RESET 的過程中 ，準確把握淬火的程度相對困難。
1.3 阻變效應憶阻器
阻變效應憶阻器有簡易的結構——「三明治」結構。如圖 3 所示 ，這個結構包含了上下金屬電極和中 間的阻變絕緣體層 ，緊湊且簡單 ，並且其工藝可以與 CMOS 兼容。與其他的 CMOS 存儲器相比較 ，阻變 效應憶阻器有高速開關的能力 ，以及低能耗 、可 3D 集成擴展等優勢 。
對於阻變效應憶阻器的阻變機制目前還在探究 之中[ 32-34 ]，導電細絲的生長和斷裂是導致阻值發生變 化的關鍵機制之一。剛製備好的阻變效應憶阻器處 於初始阻態 ，一般是高阻態 ，還沒有阻變特性。為了 使其可以正常工作 ，需要在兩端施加 1 個比較大的電 壓脈衝 ，這個過程稱為「Forming」過程。在Forming 過程中 ，本徵缺陷較少的阻變絕緣層內部因為軟介 電擊穿而形成了導電細絲[35]。金屬氧化物中的氧離 子在外加電場的作用下 ，往陽極遷移並被陽極存儲起來[ 36 ]。
此時 ，生成的氧空位形成導電細絲 ，阻變效 應憶阻器從高阻態轉變到低阻態[ 37 ]。SET 過程與此相類似 ，但由於 Forming 之後阻變效應憶阻器內部缺 陷較多，所以需要的電壓相對較小。在RESET過程 中 ，在其兩端施加反向電壓 ，氧原子從陰極遷移出來 並與形成導電細絲的陰極附近的氧空位複合[ 38 ]，造 成導電細絲無法與電極相連接 ，阻變效應憶阻器從 低阻態轉變到高阻態。對於非導電細絲類型的阻變效應憶阻器 ，其阻變是由於缺陷在電場作用下遷移 ， 使得器件界面內肖特基勢壘或隧穿勢壘發生均勻變 化而導致的 。
阻變效應憶阻器有單雙極性兩類阻變模式之 分[ 39-40 ]，如圖 4 所示。對於雙極性阻變模式而言 ，阻變 現象是發生在不同極性的電壓下的 ，即 SET/RESET 分別在相反的電壓極性下發生。而對於單極性阻變 模式 ，阻變現象與電壓極性無關 ，只與電壓幅度相關 。
基於憶阻器的存內計算原理
基於憶阻器實現的存內計算可以分為幾個方 面:利用二值憶阻器的邏輯運算 、利用模擬型憶阻器 的模擬計算和其他類型的存內計算。下面主要介紹 非揮發布爾運算和模擬計算的原理 。
2.1 利用二值憶阻器的布爾計算
憶阻器可以通過互連線直接訪問和反覆編程，這便於實現基於憶阻器的布爾運算。實質蘊涵 (material implication，IMP)邏輯和邏輯0可以構成邏 輯完備集[ 41 ]，通過級聯可以實現全部 16 種邏輯運 算 ，所以如何利用憶阻器實現實質蘊涵邏輯是關 鍵。實質蘊涵邏輯的真值表如表 1 所示。基於憶阻 器的布爾運算根據輸入 、輸出類型和操作方式的不 同 ，可以分為 3 類 ，分別是 R-R 邏輯運算 、V-R 邏輯運算和V-V邏輯運算。
(1)R-R 邏輯運算
在R-R邏輯運算中，輸入和輸出都是通過憶阻器的高低阻態來分別表示邏輯 0 和 1 ，運算過程都是 在憶阻器內部完成。如圖 5 所示 ，計算時 ，根據輸入 將兩個憶阻器件 X1 、X2 寫到對應的高低阻態 ，然後在 兩端分別施加電壓Vsetε(Vset是器件發生SET阻變 的電壓，ε 是相對較小的電壓)，輸出結果直接存儲 在X2 裡。根據歐姆定律和基爾霍夫電壓電流定律 ， 可以推出其真值表 ，如表 1 所示。當X1=0 時 ，X2 上的 壓降為 Vset + ε > Vset ，無論當前X2 是哪個阻態 ，必將發 生 SET 阻變 ，X2 最終轉變為低阻態 ，即輸出Y=1;當X1=1時，X1和X2上的壓降為2×ε<Vset ，無法發生SET 阻變 ，X2阻態沒有發生改變，此時輸出Y=X2。
(2)V-R 邏輯運算
在 V-R 邏輯運算中 ，輸入是通過施加在單個憶阻器兩端的電壓幅值 X1 、X2 來表示 ，而邏輯輸出Y 則 由高低阻態(分別表示邏輯 0 和 1)來表示。這種邏 輯運算要求憶阻器是雙極性阻變模式的 ，施加正負 極性的電壓會使器件分別轉移到高低阻態。如圖 6 所示 ，在運算前把憶阻器初始化為低阻態 ，當X1=X2 時 ，器件兩端的壓降為零 ，阻態保持低阻態不變 ，即 輸出Y=1;當X1=1 且X2=0 時 ，器件兩端的壓降為正 極性 ，阻態翻轉為高阻態 ，即輸出Y=0;當X1=0 且X2=1 時 ，器件兩端的壓降為負極性 ，因初始態為低阻態 ，阻態保持不變 ，即輸出Y=1。其真值表如表 1 所示。 V-R 邏輯運算的默認輸出Y=1，只有在X1=1 且X2=0 時輸出才發生改變。由於這樣的邏輯功能是完 備的 ，通過適當的組合若干個 V-R 邏輯運算可以實 現 16 種布爾邏輯運算 。
(3)V-V 邏輯運算
在 V-V 邏輯運算中 ，輸入和輸出都是通過電壓幅值低高來分別表示邏輯0和1。如圖7是V-V邏輯 運算的電路示意圖 ，根據歐姆定律 ，作用在 Gj 上的輸 入電壓Vj 產生的電流為
其中，Vnode 為公共節點的電壓。在負載電阻RL上產生的壓降Vnode 為
從而可以解出公共節點的電壓Vnode
該式表明公共節點的電壓Vnode 等同於輸入電壓 Vj 的權重累加和。一般在公共節點處放置 1 個閾值 電壓為VT 的比較器 ，其輸出為邏輯輸出電壓Voutput 。這一結構的邏輯運算與單層感知機相類似 ，公共節 點的電壓Vnode 和閾值電壓比較器分別與神經元輸入 和非線性激活函數相對應起來 ，所以其邏輯功能與 單層感知機的功能一樣 ，可以實現線性可分的邏輯 運 算 ，如 與 、或 、非 3 類 邏 輯 ，如 圖 7 所 示 。與、或 、非 3 類邏輯可以構成邏輯完備集 ，所以這樣的電路通過 組合也可以實現任意邏輯運算。V-V邏輯運算可以 很容易的實現級聯以實現更強大的邏輯功能 ，但是 和 V-R 邏輯運算一樣 ，都需要額外的比較器設計。
2.2 利用模擬型憶阻器的模擬計算
除了利用高低阻態來實現布爾運算外 ，利用具有多級阻態的模擬型憶阻器可以實現在模擬域的乘 法-加法運算。如圖 8 所示 ，模擬型交叉結構陣列有 行列兩個正交互連線 ，互連線的每個結點處夾著 1 個 憶阻器件。電壓 Vj 是施加在第j 列的電壓值 ，根據歐 姆定律和基爾霍夫定律 ，可以得到第i 行的總電流值。
其中 Gij 為位於第j 列第i 行的憶阻器件的電導值。總 電流值 Ii 是電導矩陣與電壓向量的乘積結果 ，從存 內計算角度來說 ，模擬型交叉陣列完成乘法-加法過 程只需要一步 ，自然地可以實現矩陣向量乘的硬體 加速。相比於傳統的計算過程 ，這樣的加速陣列更 加節時 、節能。模擬型交叉陣列可以在稀疏編碼 、圖 像壓縮 、神經網絡等任務中擔任加速器的角色 。 在神經網絡中 ，Gij 代表突觸權重的大小 ，Vj 是前 神經元j 的輸出值 ，Ii 是第i 個神經元的輸入值。如 圖 8 所示是 3×3 的交叉陣列 ，列線與行線分別代表神 經網絡中的輸入神經元和輸出神經元 ，憶阻器的電 導值為神經元之間相互連接的突觸權重值 ，利用反 向傳播等學習算法可以通過 SET/RESET 操作來原位更新網絡權重 。
存內計算的實驗研究
在布爾計算方面 ，憶阻器的出現為物理實現實 質蘊涵邏輯提供了很好的機會。在 2010 年 ，惠普公 司提出了一種利用 Pt/Ti/TiO2/Pt 憶阻器的電路[41] ，首 次物理實現了實質蘊涵邏輯 ，如圖 9 所示。同時這樣 的電路只需要 3 個憶阻器件就可以實現與非邏輯運 算 ，並且其存儲和運算過程都由憶阻器件完成 ，可以 嵌入交叉陣列中以實現邏輯運算。這一工作展示了 憶阻器件在存內計算領域的巨大潛力 ，提供了高效 的存內計算的可行方案 。
進一步 ，加州大學聖巴巴拉分校 Strukov 團 隊[42] 研究出了使用 4 個憶阻器件的三維狀態實質 蘊涵邏輯 ，同時利用 6 個憶阻器件來重複擴展 IMP ，可以在 14 步內實現 1 個全加法器。這種三維 結構的憶阻器電路可以很容易解決內存瓶頸的問題。Waser 團隊[43] 系統分析了 16 種布爾邏輯運算 ， 提出了利用 1 個雙極性阻變器件和 1 個互補型阻 變 器 件 的 方 法 ，可 以 在 3 步 操 作 內 實 現 其 中 的 14 種運算 ，剩餘的 2 種運算 XNOR 和 XOR 可以使用 兩個器件來實現 ，其運算結果均直接存儲在器件 中 ，如 圖 10 所 示 。
文獻[44]提出了一種CMOS和憶阻器混合電路， 實現了線性閾值門(linear threshold gate, LTG)邏輯 功能。James 等 [45] 報告了使用憶阻器和閾值邏輯電 路實現通用的布爾邏輯運算單元，其面積小且設計 簡單即可實現類似大腦的邏輯功能，如圖11所示。
在國內，華中科技大學繆向水團隊[17]把兩個憶阻 器極性相反的串聯起來，基於這樣的三端憶阻器提出 了完備的邏輯運算方法。這種邏輯方法只需初始化 、 計算和讀取共3步就可以實現16種布爾邏輯之一，計 算結果存儲在憶阻器的阻態中。北京大學康晉鋒研究 組[46]利用憶阻器件開發並演示了存內計算的硬體處理 系統 MemComp，該系統可以學習通用的邏輯運算且重複利用，極大地減小了功耗，提升了運算速度。2018 年 ，清華大學錢鶴團隊[47]提出並在憶阻器陣列上演示了 矩陣乘矩陣的存內計算方法 ，如圖 12 所示。乘積的計 算結果不需要AD轉換即可存儲在憶阻器陣列中，這可 以 高 效 地 加 速 如 圖 像 處 理 、數據壓縮等應用的計算 。
在模擬計算方面，Strukov團隊[48]利用憶阻器陣 列實現了可以進行圖像分類的感知機，並首次在實 驗上證明憶阻器陣列可以原位訓練。權重值直接存 儲在憶阻器陣列上，在推理時可以充當加速器。由 於陣列只有 12×12 的大小 ，所以感知機僅可以對 3 類 字母的黑白圖像分類 ，如圖 13 所示。這一工作驗證 了利用憶阻陣列完成感知機的方案 ，引起了國際的廣泛關注。
在在線訓練憶阻器權重方面，史丹福大學Wong 組[49]在PRAM陣列上利用Hebbian學習規則，可以存 儲給出的模式 ，並且實現了與大腦類似的恢復殘缺 模式的功能。密西根大學Lu研究組[50]利用3232的 模擬型憶阻器陣列演示了稀疏編碼算法，設計的網 絡可以有效地進行圖像匹配和橫向神經元抑制。經 過訓練之後的網絡可以基於較少的神經元找到圖像 裡的關鍵特徵。2018 年 ，IBM 的 Almaden 研究中心[51] 設計了具有高達 204 900 個突觸的軟硬體混合神經 網絡。為了抵消器件之間的不一致性 ，提出了一種 把 PRAM 的長期存儲 、易失性電容器的線性更新和 可「極性反轉」的權重數據傳輸相結合的方法。這項 工作提供了一條利用硬體加速神經網絡的新途徑 。2018年，Lin等[52]在1k 1T1R模擬型憶阻器陣列上，首次在線訓練了改進的生成式對抗網絡 ，成功生成了 手寫數字圖像，如圖14所示。
在利用憶阻器陣列直接映射來加速計算方面， Waston 工作組[53]把訓練好的卷積神經網絡映射在憶阻 器陣列上，利用提出的並行計算架構來提高整體的能 效和數據吞吐量。與GPU方案相比，使用憶阻器陣列 加速的方法更顯優勢。亞利桑那州立大學 Yu 研究組[54] 提出了在憶阻器陣列上實現卷積神經網絡中卷積的功 能 ，把二維的核矩陣轉化為了一維列向量並使用 Prewitt 核進行了概念驗證。2019 年 ，Yang 研究組[55]在 Nature Electronics 報導了利用模擬型憶阻器陣列來實現強化 學習的工作。報導中提出的模擬數字混合強化學習 架構 ，把矩陣向量乘法的計算分配給了模擬型憶阻器 陣列來運算 ，從而把憶阻器陣列的模擬運算優勢和 CMOS 的邏輯運算優勢相結合起來 ，如圖 15 所示 。
基於憶阻器的存內計算挑戰與展望
基於馮 · 諾依曼架構硬體平臺面臨內存瓶頸問題 ，而基於憶阻器的存內計算是這個問題的較好解 決方案。但是 ，目前基於憶阻器的存內計算還沒有 發展成為可靠成熟的內存瓶頸解決方案 ，基於憶阻 器的存內計算依然存在著挑戰 。
首先 ，憶阻器件的一致性是首要問題。無論是 布爾計算還是模擬計算 ，憶阻器件的屬性在不同循 環 、不同器件之間的波動都可以會對計算結果產生 不良影響。如不同憶阻器件的 SET 閾值電壓的波動 就會導致誤操作甚至電路功能的崩塌。尤其是精確 科學計算 ，對憶阻器件的一致性要求相對更高。使 用校驗方法或者冗餘設計的方式可以在一定程度上 容忍離散性帶來的誤差 ，但會帶來額外的能耗和延 時 ，削弱基於憶阻器的存內計算的先天優勢。
其次 ， 憶阻器件的穩定性也會對計算精度產生負面影響 。如果在準確調製憶阻器件的阻值之後阻值發生漂移 ，矩陣向量乘積的結果就會不準確。這種阻值漂 移現象更多地出現在模擬型 RRAM 器件裡 ，這是由 於導電通路對旁邊單個原子移動敏感所導致的[56] 。類似的 ，PCM 這類問題同樣明顯。再者 ，憶阻器件的 集成規模對於存內計算的發展也同樣關鍵。為了滿 足處理大數據所需的算力 ，基於憶阻器的存內計算 要求大規模高密度 ，而一味地減小憶阻單元的面積 可能會導致一致性的惡化 ，還會增加互連線電阻對計算精度的影響，這意味著簡單的減小單元面積不 是最有效的方法。有三維堆疊潛力的憶阻器可以發 揮三維集成的優勢[57] ，來實現高密度 、高能效的存內計算。
除了上述 3 點挑戰之外 ，憶阻器還有很多亟待解 決的問題和挑戰。基於憶阻器的存內計算可以消除 現今馮 · 諾依曼平臺存在的內存瓶頸問題。隨著越 來越多的基於憶阻器的存內計算方案被提出 ，存內計算的發展也將越來越好 。
結論
概述了基於憶阻器的存內計算技術 ，包括磁效應憶阻器 、相變效應憶阻器和阻變效應憶阻器等 3 類憶阻器的工作機理和特性。在此基礎上圍繞布爾邏輯 、模擬計算的原理展開論述 ，其中布爾邏輯利用二 值憶阻器來實現 ，分為 R-R 邏輯運算 、V-R 邏輯運算 、 V-V 邏輯運算 3 類 ，模擬計算利用模擬型交叉結構陣 列來實現模擬域運算功能。然後，從布爾邏輯和模 擬計算兩方面介紹了基於憶阻器的存內計算的國內外的研究進展，最後總結了基於憶阻器的存內計算挑戰與展望 。
來源：任源，潘俊，劉京京,等. 人工智慧晶片的研究進展[J]. 微納電子與智能製造, 2019, 1 (2): 20-34.
REN Yuan, PAN Jun, LIU Jingjing, et al. Overview of artificial intelligence chip development [J]. Micro/nano Electronics and Intelligent Manufacturing, 2019, 1 (2): 20-34.
《微納電子與智能製造》刊號：CN10-1594/TN
主管單位：北京電子控股有限責任公司
主辦單位：北京市電子科技科技情報研究所、北京方略信息科技有限公司
【end】
LSTM之父發文：2010-2020，我眼中的深度學習十年簡史作為一個部門 Leader，居然不如一個實習生遠程辦公是一陣「過渡風」還是會「繼續燃燒」？2020年漲薪26-30％，能實現嗎？18％數據科學家是這麼期待的NFT——加密數字資產的基石一個學渣的 CTO 逆襲之路