IBM認為模擬晶片可為機器學習加速1000倍

2021-01-08 雷鋒網

人工智慧或許能解決一些科學和行業最棘手的挑戰,但要實現人工智慧,需要新一代的計算機系統。IBM在博客中的一篇文章中指出,通過使用基於相變存儲器(Phase-Change Memory,簡稱PCM)的模擬晶片,機器學習可以加速一千倍。

相變存儲器基於硫化物玻璃材料,這種材料在施加合適的電流時會將其相從晶態變為非晶態並可恢復。每相具有不同的電阻水平,在相位改變之前是穩定的。兩個電阻構成二進位的1或0。 

PCM是非易失性的,訪問延遲與DRAM水平相當,他們都是存儲級內存的代表。英特爾與美光聯合開發的3D XPoint技術就基於PCM。

IBM在博客中透露,為了實現AI真正的潛力,在紐約州立大學和創始合作夥伴成員的支持下,IBM正在建立一個研究中心,以開發新一代AI硬體,並期待擴展其納米技術的聯合研究工作。

據雷鋒網(公眾號:雷鋒網)了解,IBM Research AI硬體中心合作夥伴涵蓋半導體全產業鏈上的公司,包括IBM製造和研究領域的戰略合作夥伴三星,互聯解決方案公司Mellanox Technologies,提供仿真和原型設計解決方案軟體平臺提供商Synopsys,半導體設備公司Applied Materials和Tokyo Electron Limited(TEL)。

還與紐約州奧爾巴尼的紐約州立大學理工學院主辦方合作,進行擴展的基礎設施支持和學術合作,並與鄰近的倫斯勒理工學院(RPI)計算創新中心(CCI)合作,開展人工智慧和計算方面的學術合作。

新的處理硬體

IBM研究院的半導體和人工智慧硬體副總裁Mukesh Khare表示,目前的機器學習限制可以通過使用新的處理硬體來打破,例如:

數字AI核心和近似計算

帶模擬內核的內存計算

採用優化材料的模擬核心

圖1:IBM Research AI硬體中心制定的一個路線圖,在未來十年內將AI計算性能效率提高1000倍,並提供數字AI核心和模擬AI核心管道。

Mukesh Khare提到將深度神經網絡(DNN)映射到模擬交叉點陣列(模擬AI核心)。它們在陣列交叉點處具有非易失性存儲器材料以存儲權重。

DNN計算中的數值被加權以提高訓練過程中決策的準確性。

這些可以直接用交叉點PCM陣列實現,無需主機伺服器CPU幹預,從而提供內存計算,無需數據搬移。與英特爾XPoint SSD或DIMM等數字陣列形成對比,這是一個模擬陣列。

PCM沿著非晶態和晶態之間的8級梯度記錄突觸權重。每個步驟的電導或電阻可以用電脈衝改變。這8級在DNN計算中提供8位精度。

圖2:非易失性存儲器的交叉開關陣列可以通過在數據位置處執行計算來加速完全連接的神經網絡的訓練。

 模擬存儲器晶片內部的計算 

在IBM的研究報告中指出:

「模擬非易失性存儲器(NVM)可以有效地加速」反向傳播(Backpropagation)「算法,這是許多最新AI技術進步的核心。這些存儲器允許使用基礎物理學在這些算法中使用的「乘法-累加」運算在模擬域中,在權重數據的位置處並行化。

「與大規模電路相乘並將數字相加在一起不同,我們只需將一個小電流通過電阻器連接到一根導線上,然後將許多這樣的導線連接在一起,讓電流積聚起來。這讓我們可以同時執行許多計算,而不順序執行。也不是在數字存儲晶片和處理晶片之間的傳輸數字數據,我們可以在模擬存儲晶片內執行所有計算  。「

圖3:我們的模擬AI內核是性能效率內存計算方法的一部分,通過消除與內存之間的數據傳輸來突破所謂的馮·諾伊曼結構瓶頸,從而提高了性能。深度神經網絡被映射到模擬交叉點陣列,並且切換新的非易失性材料特性以在交叉點中存儲網絡參數。

雷鋒網編譯,via blocksandfiles、ibm blog 雷鋒網

雷鋒網版權文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 計算速度是電子晶片1000倍,光子AI晶片商用產品今年面世!
    電子發燒友網報導(文/李彎彎)隨著AI晶片面臨算力瓶頸,用光子代替電子進行AI計算開始問世,目前已經有多家初創公司正在研究光子AI晶片,包括曦智科技、光子算數、Lightmatter、Luminous等。 與電子晶片相比,光子晶片的計算速度是其的1000倍,而且功耗僅為其百分之一。
  • 在TensorFlow裡模擬宇宙!提升模擬計算速度,成本降低1000倍
    首先是分析和推理,TensorFlow模擬為宇宙學家提供了前所未有的獨特功能,也就是我們所說的可微性(differentiability)。這個功能為科學家提供一種新的分析工具,例如開發基於模擬的有效推理技術。
  • 10倍國際水平?「超速」的模數混合加速晶片
    在校期間,劉洪傑博士及團隊成員著手研發模數混合加速晶片,參與了多項歐盟及500強企業資助項目,並獲得IEEE最佳論文獎和美國專利授權。2017年年底,「九天睿芯」瑞士辦公室成立。那么九天睿芯所做的模數混合AI加速晶片和數字AI晶片相比有何區別呢?創始人劉洪傑博士介紹,傳統AI晶片是純數字的,存儲和計算完全分離,而模數混合AI加速晶片是模擬數字電路混合的,九天睿芯的模數混合晶片架構是基於SRAM的存算一體架構。存算一體以及模數混合計算這兩方面的突破結合,可以大幅提高能效,並在一定程度上減少晶片面積,降低成本。
  • 突破:晶片存儲容量提高1000倍
    由UNIST能源與化學工程學院的李俊熙教授領導的研究小組提出了一種新的物理現象,該現象有望將指甲大小的存儲晶片的存儲容量提高1,000倍。研究小組認為,這將為直接集成到矽技術中的最終緻密的逐單元鐵電開關設備提供意想不到的機會。鐵電隨機存取存儲器(FeRAM或FRAM)通過極化現象來存儲信息,其中電偶極子(如鐵電內部的NS磁場)被外部電場對準。
  • 英特爾發布AI晶片系統,比傳統CPU快1000倍
    在DARPA 2019 年電子復興計劃峰會上,英特爾發布了「 Pohoiki Beach 」神經擬態系統,該系統主要由64 顆 Loihi 神經擬態晶片構成,集成了 1320 億個電晶體,總面積 3840 平方毫米,可處理深度學習任務,速度比CPU快1000倍,效率高10000倍,耗電量小100倍。
  • 神經擬態晶片可讓機器人擁有觸感,感知比人類快1000倍
    澎湃新聞記者 王心馨 實習生 何青怡機器人如果也能像人一樣能用皮膚去觸摸世界,並能通過晶片給出計算和反應,會是什麼樣?近日,新加坡國立大學(NUS)的研究人員利用英特爾神經擬態晶片Loihi開發了一種人造皮膚,能夠讓機器人以比人類感覺神經系統快1000倍的速度檢測觸覺,還可以比眨眼快10倍的速度識別物體的形狀、質地和硬度。
  • IBM:公布量子晶片路線圖和計劃
    IBM是爭奪在量子計算新興領域中地位的公司之一,並且該公司認為,它已經制定了開發最多1000量子位的通用量子計算機的路線圖。這樣的晶片將比任何現有晶片能夠承擔更複雜的工作量。此外,IBM聲稱,即使這個代號為Quantum Condor的1,000量子位CPU僅僅是個開始,在未來的某個未指定的時間點,他們將制定「百萬以上」量子位晶片。
  • 以光速器件推動通用AI加速,初創企業開發快1000倍且功耗僅有1/1000的光子器件
    與非網 9 月 1 日訊,在剛落幕不久的 Hot Chips 32 大會上,脫胎於麻省理工學院的初創公司 Lightmatter 展示了用於通用 AI 加速的光子計算測試晶片。該處理器利用矽光子和 MEMS 技術,以光速處理矩陣向量乘法,由毫瓦級雷射光源供電。據悉,在相同晶片面積上,光子器件的速度比電子器件快 1000 倍,而功耗僅有電子器件的 1/1000。
  • IBM成功構建模擬人腦功能的認知計算機晶片
    他們通過模擬大腦結構,首次成功構建出兩個具有感知認知能力的矽晶片原型,可以像大腦一樣具有學習和處理信息的能力。IBM公司領導該研究項目的負責人德哈門德拉·莫德哈表示,這兩個計算機晶片結合了神經元的計算能力、突觸(或神經節)的記憶能力和軸突的通信能力,基於這樣的晶片,新一代計算機即將閃亮登場。
  • 中科院計算所提出圖神經網絡加速晶片設計
    圖神經網絡加速晶片之後有望成為主流的機器學習晶片。近日,《中國計算機學會通訊》(CCCF)刊發了中科院計算所特別研究助理嚴明玉、研究員範東睿以及研究員葉笑春,共同撰寫的綜述文章《圖神經網絡加速晶片:人工智慧「認知智能」階段起飛的推進劑》。
  • 神經擬態晶片可讓機器人擁有觸感,感知比人類快1000倍,智能時代
    原標題:神經擬態晶片可讓機器人擁有觸感,感知比人類快1000倍澎湃新聞記者 王心馨 實習生 何青怡機器人如果也能像人一樣能用皮膚去觸摸世界,並能通過晶片給出計算和反應,會是什麼樣?近日,新加坡國立大學(NUS)的研究人員利用英特爾神經擬態晶片Loihi開發了一種人造皮膚,能夠讓機器人以比人類感覺神經系統快1000倍的速度檢測觸覺,還可以比眨眼快10倍的速度識別物體的形狀、質地和硬度。他們的研究發表在新近一期的《機器人技術:科學與系統》雜誌上。
  • IBM計劃2023年推出一臺能正常工作的量子計算機:擁有1000個量子比特
    量子比特是經典計算位元的量子等價物,它不僅可以被設定為1或0,還可以被設定為同時表示1和0的疊加態。這個看似簡單的特性有可能徹底改變我們可用的計算能力。IBM計劃在2023年推出Quantum Condor,準確地說是運行1121個量子比特,我們應該開始看到量子計算機開始處理大量真實世界的計算,而不是局限於實驗室實驗。
  • IBM電子大腦晶片誕生:100萬神經元模擬思考
    IBM開發了名叫TrueNorth的晶片,能夠模擬人腦運行。為了證明它的速度很快,能耗很低,IBM對晶片進行了測試。TrueNorth具有深度學習能力,像人類大腦一樣,它也可以進行關聯分析,判斷各種可能性。雖然其它一些計算機也可以擁有相同的能力,但是它們的能耗高很多。
  • IBM研發模擬人腦神經元結構計算機 有望具備人類學習能力
    而且,這一晶片僅用現有的半導體材料和技術就可大規模生產,而且功耗極低,簡單的實際應用並不遙遠。8月8日的美國《科學》雜誌以封面報導的形式介紹,美國IBM和美國康奈爾大學成功開發了一種模擬人類大腦的信息傳遞機制的SyNAPSE晶片(Systems of Neuromorphic Adaptive Plastic Scalable Electronics,即「自適應可塑型可伸縮電子神經形態系統」)。
  • 光基處理器晶片推動機器學習
    研究表明,所謂的光基處理器晶片(Light-Based Processor Chips),即通過光對數據進行處理的晶片,可以更快、更並行地處理信息,而電子晶片則無法做到這一點。該最新研究結果論文,題為:「使用集成光子張量核的並行卷積處理」,發表在最近的《自然》雜誌上。
  • 在光子晶片上模擬黑洞邊緣:從粒子加速到霍金輻射 | NSR
    那麼,能否在實驗室中模擬黑洞邊緣呢?近年來,基於廣義相對論中彎曲時空的度規與光學介質中電磁參數之間的等價性,物理學界發展了變換光學的方法來模擬引力場彎曲時空,從而在實驗上檢驗和演示各種彎曲時空中光子態的演化特性。然而,迄今為止,這些模擬都局限於經典範疇或者平坦空間,很少涉及與廣義相對論相關的量子模擬。
  • IBM研發「電子血液」:可驅動模擬人腦計算機
    北京時間3月25日晚間消息,IBM正在研發一種「電子血液」,用於將來的可模擬人腦的超級計算機上,從而對大型傳感器網絡所產生的大數據流進行實時分析。要對大型傳感器網絡所產生的大數據流進行實時分析,如即將於2014年完成的「平方公裡陣列天文望遠鏡」(Square Kilometer Array)所產生的大數據流,需要處理這些數據的超級計算機擁有極高的運行速度。
  • IBM利用碳納米管「生長」晶片 速度可提升10倍
    IBM利用碳納米管「生長」晶片 速度可提升10倍鳳凰科技訊 北京時間11月15日消息,據外媒報導,矽在晶片領域的主導地位可能終結。多年來,研究人員和企業家希望碳納米管能給晶片設計帶來一場革命。從理論上說,這種分子水平的結構,能用來製造速度是現有產品6-10倍、能耗大幅降低的晶片。除更快和更節能的筆記本、智慧型手機晶片外,處理能力強大的微型處理器還可以催生新型技術,例如可彎曲計算機和可注射入體內的微型晶片,或殺死人體內癌細胞的納米機器。
  • IBM Research AI團隊用大規模的模擬存儲器陣列訓練深度神經網絡
    IBM 近日提出的全新晶片設計可以通過在數據存儲的位置執行計算來加速全連接神經網絡的訓練。研究人員稱,這種「晶片」可以達到 GPU 280 倍的能源效率,並在同樣面積上實現 100 倍的算力。該研究的論文已經發表在上周出版的 Nature 期刊上。 在最近發表在Nature上的一篇論文中,IBM Research AI團隊用大規模的模擬存儲器陣列訓練深度神經網絡(DNN),達到了與GPU相當的精度。
  • IBM駁斥谷歌,量子霸權 VS 量子優勢,量子計算離我們還有多遠?
    據最新消息,IBM在其10月21日發表的預印本論文中對Google經典計算機模擬部分做了新的評估。參見後記),筆者在此談談個人見解,歡迎方家指教。 1 Google與「量子霸權」 9月底,Google 量子 AI 團隊通過 NASA STI program 發布了一份報告,題為「採用一個可編程超導處理器實現量子霸權」。