會「學習」的超導人工突觸:讓神經形態計算更快更節能!

2020-12-06 環球創新智慧

導讀

近日，美國國家標準與技術研究院（NIST）的研究人員製造出了一種超導開關，也被稱為人工突觸。它能像生物系統一樣進行」學習「，並可以在未來類腦計算機中連接處理器並存儲記憶。

背景

人腦具備非常強大的計算能力，其複雜程度和處理能力遠遠超過最先進的超級計算機。那麼，大腦是如何具備如此強大計算能力的呢？

下面為大家簡單說明一下。如圖所示，大腦執行計算時，它會在神經元之間傳遞電化學信號。

（圖片來源：NIST）

這些信號的傳輸受到一個關鍵連接結構控制，它就是突觸。

（圖片來源：NIST）

突觸的感受能力決定了突觸後神經元是否會對於信號作出響應。

（圖片來源：NIST）

如果信號不夠強，突觸後神經細胞將不會作出響應。發送的信號越多，那麼突觸的感受力就會加強，這樣就使得突觸具有了學習能力。

人腦由兩個主要組成部分：神經元網絡和突觸。它與機器相比具有顯著優勢：第一，並行處理和存儲大量數據；第二，進行並行處理的能耗極低。

神經形態計算，被認為代表了未來人工智慧的重要發展方向，引起了科學界的濃厚興趣。不同於傳統的馮·諾依曼計算機體系結構，神經形態計算的靈感來源於人類大腦，它模仿神經突觸和神經元，將負責數據存儲和數據處理的元器件整合到同一塊晶片中，更節能、更快速、更高效地處理和學習數據。

之前，筆者介紹過一種特殊的電子器件：憶阻器。它能夠模仿神經突觸和神經細胞的功能，啟動神經形態計算，並且在能耗和尺寸上都具有優勢。關於憶阻器的創新研究成果，之前介紹過的案例很多。例如，前些天，筆者剛介紹過美國國家標準與技術研究院（NIST）的科學家們揭示出了憶阻器的內部工作機制。

（圖片來源：NIST）

創新

今天，筆者要介紹的創新成果也是來自NIST，同樣也是可用於類腦計算機和神經形態計算的電子元器件，但是這一次卻不再是憶阻器。

近日，NIST 研究人員製造出了一種超導開關，它能像生物系統一樣進行」學習「，並可以在未來類腦計算機中連接處理器並存儲記憶。

研究人員在《科學進展》（Science Advance）雜誌上詳細描述了這種超導開關。它也被稱為人工突觸，與生物學中的突觸功能類似。這項研究由美國情報先進研究計劃署（IARPA）的低溫計算複雜性項目贊助。

技術

突觸是腦細胞之間的一種連接或者開關。NIST製造的人工突觸是一個直徑10微米的金屬圓筒，就像真實突觸一樣，因為它可以處理輸入的電尖峰脈衝，從而定製輸出的尖峰脈衝信號。這種處理基於一種柔性內部設計，可以根據經驗或者所處的環境來調整。細胞或者處理器之間傳遞的信息越多，連接就越強大。因此，真實突觸和人工突觸都能維持舊電路，並創建出新電路。

NIST的突觸是一種約瑟夫遜結。這些約瑟夫遜結是一種三明治結構的材料，中間填充了絕緣體。

（圖片來源：NIST）

當流過約瑟夫遜結的電流超過臨界電流時，電壓尖峰就會產生。這些突觸使用標準鈮電極，但是統一在矽基材中填充了錳納米糰簇。

納米糰簇，每平方微米約有20,000個，就像帶有「自旋」的微小磁條，這種自旋的方向要麼隨機，要麼是一種協調的方式。

（圖片來源：NIST）

Schneider 表示：「這些是定製的約瑟夫遜結。我們能控制指向同一方向的納米糰簇的數量，它將影響約瑟夫遜結的超導特性。」

除了被輸入電流激活並開始製造電壓尖峰之外，突觸都處於一種超導狀態。研究人員在磁場中施加電流脈衝改善磁場的有序性，也就是說，提高指向同一方向的納米糰簇數量。這種磁場效應逐步降低了臨界電流水平，使得創造常導體和製造電壓尖峰變得更加容易。當所有的納米糰簇對齊的時候，臨界電流最低。這個過程也是可逆的：在沒有磁場的條件下，施加脈衝會降低磁場的有序性並抬升臨界電流。在這項設計中，不同的輸入改變了自旋排列，產生出輸出信號，這也類似於大腦的工作模式。

改變器件製造方法及其運行溫度也可以調整突觸的行為。研究人員通過製造更小的納米糰簇，可以降低提高或者降低磁場有序性所需要的脈衝能量。例如，將運行溫度從零下271.15攝氏度提升到零下269.15攝氏度，將帶來更多更高的電壓尖峰。

關鍵一點是，突觸能在三維空間中層疊，製造出能夠用於計算的大型系統。為了用於模擬系統是如何運行的，NSIT 研究人員製造出了一種電路模型。

價值

NIST的人工突觸比真實突觸更好，它比人類大腦傳遞信息速度更快，每秒鐘達到10億次，而人腦細胞是每秒50次，而且使用的能量只有一點點，大約為人類突觸的千分之一。用技術術語來說，尖峰脈衝能量少於1×10－18焦耳（attojoule），低於室溫條件下的背景能量，與綁定兩個原子所需的化學能量等同。

NIST 物理學家 Mike Schneider 表示：「NIST的突觸比人腦需要的能量更低，而我們尚未發現其他任何需要能量更少的人工突觸。」

這種新突觸將在由超導元件構成的神經形態計算機中使用，它能在沒有電阻的條件下傳輸電力，因此比其他基於半導體或者軟體的設計更加高效。數據將在磁通量單元中進行傳輸、處理和存儲。模仿人腦細胞的超導器件和傳輸線已經開發出來了，但是迄今為止，高效的突觸（關鍵部件）一直缺失。人腦非常擅於處理場景識別之類的任務，因為它既按照順序又同步處理數據，並且將記憶存儲在遍布整個系統的突觸中。傳統的計算機只能按照順序處理數據，將記憶存儲在獨立的單元中。

根據論文表述，NIST 的突觸結合了小尺寸、超快尖峰脈衝信號、低能量以及三維層疊能力，將為構建新型神經形態系統提供方法，這種神經形態系統比已經通過其他技術演示的神經形態系統更為複雜。

這項研究彌補了現有的神經形態計算機的不足。展望未來的新型人工智慧，這種計算機將提升自動駕駛汽車和癌症診斷的認知與決策。

關鍵字

神經網絡、人工智慧、超導

參考資料

【1】https://www.nist.gov/news-events/news/2018/01/nists-superconducting-synapse-may-be-missing-piece-artificial-brains

【2】M.L. Schneider, C.A. Donnelly, S.E. Russek, B. Baek, M.R. Pufall, P.F. Hopkins, P.D. Dresselhaus, S. P. Benz and W.H. Rippard. Ultra-low power artificial synapses using nano-textured magnetic Josephson junctions. Science Advances, 2018 DOI: 10.1126/sciadv.1701329

相關焦點

  • 會「學習」的人工突觸 比人腦處理信息快
    【IT168 資訊】「以神經元為模型的超導計算晶片可以比人腦更快、更高效地處理信息。」《科學進展》（Science Advances）於近日所描述的這一成就是開發用於模擬生物系統的高級計算設備的關鍵基準。它可以打開更自然的機器學習軟體的大門，雖然許多障礙仍然可以在商業上使用。
  • NIST超導突觸可能是「人造大腦」的缺失部分
    在《科學進展》中描述的NIST的開關，被稱為突觸，就像它的生物副本一樣，它為所謂的神經形態計算機提供了缺失的部分。作為一種新型的人工智慧，這樣的計算機可以促進自動駕駛汽車和癌症診斷等應用程式的感知和決策。突觸是兩個腦細胞之間的連接或開關。
  • 史丹福大學實現高性能低功耗人工突觸,可用於神經網絡計算
    相關研究發表在了 2 月 20 日 的 Nature Materials上，該人工突觸模仿了大腦突觸從通過其中的信號中進行學習的方式。較之傳統計算方式，這種方式要節能得多，傳統方法通常分別處理信息然後再將這些信息存儲到存儲器中。就是在這裡，處理過程創造出記憶。或許有一天，這款突觸能夠成為一臺更接近大腦計算機的一部分，它特別有利於處理視覺、聽覺信號的計算過程。
  • 能夠學習的人工神經突觸人造大腦已在地平線?
    雷鋒網消息，法國研究人員日前成功開發出能自主學習的人工神經突觸，即 artificial synapse。他們還創建了物理模型，這對於開發更複雜的電路十分關鍵。研究成果在昨日發表於《Nature Communications》。
  • 能夠學習的人工神經突觸 人造大腦已在地平線?
    以 Vincent Garcia 為首的法國科研人員，近日在該領域取得了突破：在晶片上直接創製出能夠學習的人工神經突觸，以及能夠解釋其學習能力的物理模型。該研究為創造人工神經突觸網絡，因而開發出更快速高效的人工智慧系統打開了一扇大門。
  • 人造突觸問世,可用於搭建神經網絡
    構建大腦在學習時，大腦中的神經元之間會傳遞電信號。這其中，信號在突觸之間的首次傳遞是最耗能的。此後的每一次，所需的能量都會減少。這也解釋了為什麼突觸能夠有效地幫助我們學習新事物以及記住學過的東西。這種人工突觸，與其他人腦計算機不同，它不僅可以同時完成這兩項任務，還節約了大量能量。
  • 人工突觸模擬憶阻器研究取得進展,有助深度學習神經網絡發展
    基於馮·諾依曼架構的傳統數字計算機，其數據處理與存儲分離結構限制了其工作效率，同時帶來巨大功耗，無法滿足大數據時代下計算複雜性的需求。同時，上述缺陷也阻礙了深度學習神經網絡的進一步發展。而借鑑人腦神經突觸結構，構築結構簡單、低功耗、高低阻態連續可調的非易失性阻態憶阻器是實現類腦神經形態計算中至關重要的一步。目前，模仿生物神經系統中突觸間隙神經遞質釋放過程與電信號傳遞處理調控構建的多柵極人造神經元電晶體常表現出高低電阻態的突變。然而，基於二維材料的兩端電阻開關器件通常表現出從高電阻狀態到低電阻狀態的突變。
  • 神經形態計算何時帶領我們進入 AI 新時代?
    神經形態計算可能會以低功耗和高效率補充 CPU、GPU 和 FPGA 技術，用於包括學習、搜索和感知在內的一些任務。行業對其的預測千差萬別，比如預測全球神經形態計算市場 2028 年複合增長率在 12% 到 50% 之間。以下是雷鋒網(公眾號：雷鋒網)未改變文章原意的編譯。
  • 用人工突觸模仿人腦,所需能量是最先進計算系統的1/10
    根據一項新研究，一種類似電池的設備可以作為計算系統中的人工突觸，用於模仿大腦的效率和學習能力。大腦只需要很少的能量就能學習和記憶大量信息的能力激發了類腦或神經形態計算機的研究。Rh9ednc 一個研究團隊之前開發了這種計算機的一部分：一種充當人工突觸的設備，模仿神經元在大腦中的通信方式。
  • MIT新型「大腦晶片」問世,數萬人工大腦突觸組成,可進行超複雜計算
    研究展示了一種很有前途的新型神經形態器件憶阻器設計——基於一種新型電路的電子器件，這種電路以模仿大腦神經結構的方式處理信息。這種受大腦啟發的電路可以被植入小型可攜式設備中，執行只有今天的超級計算機才能處理的複雜計算任務。
  • 陳根:人工智慧的人工突觸,可像人一樣處理問題?
    人工智慧模擬人腦而誕生，比如，早期淺層神經網絡的結構一般表現為：多個輸入層「神經元」負責接收並加工輸入信息，之後它們將信息上傳至數量較少的輸出層「神經元」，經過綜合加工後作出決策。於是，通過算法的演進，人工智慧讓機器在非標準環境中，綜合記憶與環境信息，做出自主決策，解決問題。但另一方面，人腦也是人類最複雜的器官。
  • 憶阻器的神經形態計算
    在《Nano》雜誌上發表的一篇論文中，研究人員研究了憶阻器在神經形態計算中的作用。這種新穎的基礎電子元件支持以低成本和低功耗克隆生物神經系統。當代計算系統無法應對大數據時代尺寸縮小和計算速度的關鍵挑戰。馮-諾依曼瓶頸被稱為通過連接處理器和存儲器單元的總線進行數據傳輸的阻礙。
  • 具有自學習能力的全光尖峰神經突觸網絡
    從圖像處理到語音識別，再到人工智慧和深度學習應用，人腦計算的軟體實現構成了許多重要計算任務的基礎。然而，與真實的神經組織不同的是，傳統的計算架構將存儲和處理的核心計算功能物理地分離開來，使得快速、高效、低能耗的計算難以實現。為了克服這些限制，一個有吸引力的替代方案是設計模擬神經元和突觸的硬體。
  • 人造突觸問世計算機模擬人腦不是夢
    自動完成存儲在學習時，大腦中的神經元之間會傳遞電信號。這其中，信號在突觸之間的首次傳遞是最耗能的。此後的每一次，所需的能量都會減少。這也解釋了為什麼突觸能夠有效地幫助我們學習新事物以及記住學過的東西。這種人工突觸，與其他人腦計算機不同，它不僅可以同時完成這兩項任務，還節約了大量能量。
  • 面向神經形態計算的新型矽基異質結光電神經突觸器件：浙江大學楊德仁院士和皮孝東教授團隊新進展
    （類腦計算）由於具有低能耗、自適應學習、高並行計算等優點，已經成為了高性能計算發展的一個重要方向。神經形態計算需要構建人工神經網絡。從光電集成和大規模應用的角度看，將來依賴於光電神經突觸器件的神經形態計算建立在矽技術平臺之上是非常有利的。
  • IBM首個人造神經元幕後,神經形態計算系統向人造大腦突破
    常見的方法是用神經形態元件製作出一個人造大腦。計算機科學家早就從生物學中汲取靈感，最近被稱為「深度學習」的人工智慧技術，就是模仿人腦的生理行為。神經形態（Neuromorphic）一詞最早是在 20 世紀 80 年代，由加州理工大學的計算機科學家 Carver Mead 提出。
  • 神經形態運算新突破：兼具學習與記憶功能的神經電晶體
    神經形態運算（Neuromorphic Computing）需要在像是神經整合和突觸（Synapse）等人腦元素（例如）的啟發下建立體系架構。這些運算架構被證明能激發出許多極具發展前景與優勢的應用，因為它們可以同時兼具儲存和學習的功能。
  • 科學家使用多巴胺無縫連接人工神經元和生物神經元
    僅僅 5 年時間，神經形態裝置或者大腦啟發計算裝置已經顯得很古怪了。那什麼是當前的寵兒？這就要說到人工 - 生物混合計算了，而人工 - 生物混合計算是將人造計算機晶片和生物神經元無縫結合到半活電路中。
  • 研究人員以神經形態晶片打造超靈敏「電子鼻」
    相較於需要3,000個訓練數據樣本才能達到相同預測精度的最新深度學習系統，這種神經形態系統的訓練更快得多，而且利用了硬體的低功耗特性。XZ1EETC-電子工程專輯康奈爾大學的科學家從研究動物的嗅覺系統著手。在動物(和人類)中，氣味會在鼻子的嗅覺細胞中產生反應，並向大腦的嗅覺系統發送訊號；在大腦嗅覺系統中，一組相互連接的神經元內電子脈衝產生嗅覺。
  • 類人腦神經形態微晶片
    在這一創新工藝的第三階段，來自同一所大學的另一組研究人員利用這些同樣的蛋白線獲得了一種記憶電晶體或神經形態記憶裝置。研究人員在發表在《自然通訊》上的一篇文章（使用蛋白質納米線從環境溼度中發電）中解釋說，該裝置以極低的功率極高效地工作，就像人類大腦一樣，在神經元之間傳輸信號。