神經網絡計算效率如何來提高

2020-12-26 電子發燒友

神經網絡計算效率如何來提高

手機中國聯盟 發表於 2020-04-20 10:06:11

閃億半導體的該項專利，在計算神經網絡時，呈陣列排布的多個存儲單元中，任意N條第一信號線和任意M條第二信號線限定的區域均可以作為一個存儲陣列，從而大大增加存算一體化電路中的存儲陣列數量以及各存儲陣列大小的靈活性，進而增加所能計算的神經網絡的神經元層數目範圍以及每個神經元層內的節點數目範圍。

集微網消息，在前不久舉辦的國際電子器件大會（IEDM）上，閃億半導體提出了一種新型的存算一體Soc晶片，應用了人工突觸憶阻器技術，在實現深度神經網絡模擬計算的同時，可極大地降低人工智慧模塊的成本，將在未來的物聯網生態中發揮重要作用。

隨著人工智慧技術的快速發展，神經網絡廣泛應用於圖像、語音、文本等信號識別領域中。在完整的神經網絡中通常包含多個神經元層，每層的任意相鄰神經元都通過全連接或者卷積進行大規模的數據計算與傳輸。為滿足這種快速的數據交互，需要打破傳統的「馮諾依曼架構」，進行存算一體化，以實現計算速度和存儲信息傳遞速度的匹配。現有的存算一體化電路中，計算神經網絡的模塊往往由存儲器陣列組成，待處理的信號被輸入到存有權重參數的存儲器陣列裡進行處理，每個存儲器陣列相當於一個神經元層。然而在這種電路結構中，串聯的存儲器陣列形式導致神經網絡的神經元層數目範圍和每個神經元層內的節點數目範圍受限，限制了存算晶片的運算效率提高。

為解決這一問題，杭州閃億半導體有限公司於2019年2月26日提出了一項名為「一種存算一體化電路及神經網絡的計算方法」的發明專利（申請號：201910142299.7），申請人為杭州閃億半導體有限公司，該專利中主要提供了一種存算一體化電路以及神經網絡的計算方法。

圖1 存算一體化電路結構圖

為適應更多的神經網絡架構，此專利提出了圖1所示的存算一體化電路，包括多條沿行方向延伸的第一信號線10以及多條沿列方向延伸的第二信號線20，分別表示平面垂直的兩個方向。呈陣列排布的多個存儲單元30構成存儲陣列，其中每個存儲單元連接到對應的行列信號線上，用於存儲其輸入端到輸出端的

計算參數。圖1右側為浮柵場效應電晶體（FG-MOSFET），可以用作存儲單元，在此電路結構中，還包括多個沿行方向的第三信號線，並與第一信號線一一對應，用於控制對應存儲單元與第一、二信號線的選通狀態，即控制電晶體開關源極和漏極的導通狀態。

圖2 信號處理結構圖

圖2表示存算一體化電路計算神經網絡時的每個存儲單元的信號處理過程，輸入數據由第一信號線進入計算單元，其結果由第二信號線計算輸出，當電路工作時，通過打開對應的第三信號線選通該存儲單元，從而實現該區域存儲的權重參數的計算。而當其他存儲單元計算權重參數時候，通過關閉此單元的第三信號線，從而避免其它區域存儲單元對所述存算一體化電路的計算結果造成影響。

此專利中提出的存算一體化電路在計算神經網絡時，呈陣列排布的多個存儲單元中，任意N條第一信號線和任意M條第二信號線限定的區域均可以作為一個存儲陣列，從而大大增加存算一體化電路中的存儲陣列數量以及各存儲陣列大小的靈活性，進而增加所能計算的神經網絡的神經元層數目範圍以及每個神經元層內的節點數目範圍。同時，如果電路結構中的存儲單元行數和列數越多，所能計算的神經網絡結構數量越多，電路結構優勢越明顯。

隨著深度學習不斷進入傳統行業，神經網絡的用途也越來越廣泛，因此閃億半導體提出的該項存算一體電路結構對人工智慧算法的硬體實現具有非常重要的作用，相信隨著憶阻器等半導體器件在技術上不斷突破，算法性能與硬體效率都能更上一層樓。

責任編輯：Ct

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 中科院計算所研究團隊提出圖神經網絡加速晶片設計
    《中國計算機學會通訊》(CCCF)近日刊發了中科院計算所特別研究助理嚴明玉、研究員範東睿以及研究員葉笑春共同撰寫的綜述文章《圖神經網絡加速晶片：人工智慧「認知智能」階段起飛的推進劑》。文章披露，該團隊提出了圖神經網絡加速晶片設計「HyGCN」。相關論文也先後在計算機體系結構國際會議上發表。
  • 中科院計算所提出全球首款圖神經網絡加速晶片設計
    近日，《中國計算機學會通訊》（CCCF）刊發了中科院計算所特別研究助理嚴明玉博士、研究員範東睿以及研究員葉笑春共同撰寫的綜述文章《圖神經網絡加速晶片：人工智慧「認知智能」階段起飛的推進劑》。文章披露，為更好地支持認知智能的發展，該團隊提出了國際首款圖神經網絡加速晶片設計 HyGCN。
  • Nature通訊:判別神經網絡間的個體差異——計算神經科學新工具
    例如現在如果想研究哺乳動物的大腦是如何區別貓和狗的，可以去考察判別貓和狗的神經網絡是如何工作的。然而11月12日Nature Communications雜誌在線發表的論文指出，由於神經網絡的訓練初始條件和超參數不同，即使具有相近的判別精度，不同的神經網絡也存在顯著差異。該研究還指出在比較網絡結構差異性時，需要考慮對比多組而不是多個神經網絡間的區別。
  • 清華制人工神經網絡晶片,能效比GPU高兩個數量級
    人工神經網絡近年來大放異彩，如果用憶阻器連接成陣列，作為人工神經網絡的硬體，會有什麼效果？憶阻器陣列儘管國內外許多企業、研究機構給予關注，但據清華大學新聞頁面報導，當前國際上的憶阻器研究還停留在簡單網絡結構的驗證，或者基於少量器件數據進行的仿真。基於憶阻器陣列的完整硬體實現仍然有很多挑戰。
  • 如何提高自己的工作效率?
    效率就是績效、效率就是機會、效率就是職場中的未來，所以職場中如何快速高效地完成工作任務，即如何快速的提升提高自己的工作效率，或是如何用運一定的方法高速地完成自己的工作，就變得尤為重要，我個人總結了以下方法：分清楚工作中的主次，抓住工作重點
  • 改變AI發展格局 神經擬態計算還差關鍵一步
    知名信息研究和分析機構高德納預測，到2025年，神經擬態晶片有望成為用於AI系統的主要晶片之一。　　20世紀80年代，科學家設想將人類大腦的功能映射到硬體上，即直接用硬體來模擬人腦結構，這種方法稱為神經擬態計算，這類硬體被稱為神經擬態晶片。經過近40年發展，神經擬態晶片相繼問世。
  • 使用粒子群優化(PSO)來訓練神經網絡(Numpy)
    神經網絡是最著名且使用最廣泛的算法之一。在監督學習中，我們標記了輸出數據，我們將預測輸出與實際標籤進行比較，然後計算誤差。在神經網絡中，我們以同樣的方式定義神經網絡體系結構，通過比較實際標籤和預測標籤來計算誤差，然後使用某種優化算法來優化該誤差。
  • 中科院計算所研究人員再獲進展 向圖神經網絡加速時代再進一步
    中新網北京1月9日電 (記者 張素)「『HyGCN』寓意向圖神經網絡的加速說『Hi』，也寓意圖神經網絡加速的時代即將開啟。」中國科學院計算技術研究所特別研究助理嚴明玉近日在受訪時說。「GCN」即圖卷積神經網絡的英文縮寫，這是圖神經網絡的一個分支。
  • 清華用憶阻器制人工神經網絡晶片,能效比GPU高兩個數量級
    人工神經網絡近年來大放異彩，如果用憶阻器連接成陣列，作為人工神經網絡的硬體，會有什麼效果？憶阻器陣列儘管國內外許多企業、研究機構給予關注，但據清華大學新聞頁面報導，當前國際上的憶阻器研究還停留在簡單網絡結構的驗證，或者基於少量器件數據進行的仿真。基於憶阻器陣列的完整硬體實現仍然有很多挑戰。
  • 研究讓神經網絡認清自己「幾斤幾兩」!
    「神經網絡在 99% 的時間裡都很擅長知道正確的答案。」 但是在生命面前，容不得AI 1%的僥倖。 阿米尼說： 「研究人員一直在逃避的一件事，這些模型需要知道並告訴我們它們可能是錯誤的。」 「我們真正關心的是那1%的時候，以及我們如何能夠可靠而有效地發現這些情況。」 神經網絡有的規模非常大，有的擁有高達數十億的參數。
  • Hinton谷歌大腦最新研究:1370億參數超大規模神經網絡
    這項工作是深度網絡條件計算在產業實踐中的首次成功，有助於推廣神經網絡以及新應用的產生。超大規模神經網絡：稀疏門控混合專家層　　摘要 　　神經網絡吸收信息的能力受其參數數量的限制。在這種情況下，稀疏門函數選擇兩個專家來執行計算，它們的輸出由門控網絡的輸出控制。　　雖然這些想法在理論上很不錯，但迄今為止還沒有研究能證明它們在模型容量（model capacity），訓練時間或模型質量有大的提高。我們將此歸咎於以下難點：　　現代計算設備，特別是 GPU，在運算（arithmetic）上比在分支（branching）上快得多。
  • ...MIT神經科學教授James DiCarlo談如何通過人類神經理解神經網絡
    總體研究內容與方法教授的研究內容是人類的大腦，研究它是如何工作的、如何用計算的方式模擬它；而CV界的研究目標則是嘗試構建出達到人類大腦表現的系統。所以在教授看來，希望CV界的人也能夠從神經科學的研究中受益。
  • 【專利解密】深鑑科技結合神經網絡處理器與通用處理器的AI晶片
    深鑑科技的AI晶片基於FPGA設計，其設計的亞里斯多德架構是針對卷積神經網絡而設計的，其設計的笛卡爾架構是專為處理DNN/RNN網絡而設計的，可對經過結構壓縮後的稀疏神經網絡進行極致高效的硬體加速。 在人工智慧領域，卷積神經網絡尤其在圖像處理領域有著非常廣泛的應用，其具有訓練方法簡單、計算結構統一的特點。
  • 人工智慧學習之什麼是人工神經網絡?
    人工神經網絡如何工作人工神經網絡的靈感來自人腦的神經組織，使用類似於神經元的計算節點構造而成，這些節點沿著通道(如神經突觸的工作方式)進行信息交互。這意味著一個計算節點的輸出將影響另一個計算節點的處理。
  • 如何提高英語單詞學習的短期記憶效率
    今天我們專門談一談第二項：每一次學習時，如何讓大腦在短時間內產生足夠的神經刺激，換句話說就是背單詞的短期效率問題。我們日常所說的「提高背單詞的效率」，實際上有兩種涵義。效率是結果產出與所耗費時間的比率。這裡面有兩個關鍵因子：第一是如何定義背單詞的結果，第二是如何計算背單詞的時間。
  • 如何教神經網絡玩 21 點遊戲(附代碼)?
    此外，網絡中的層和神經元將學習數據中可能存在的任何深度嵌入的非線性關係。然而，這種功能是有代價的——神經網絡是一個黑箱模型。與回歸不同的是，我們可以通過觀察回歸係數來了解模型是如何做出決策的，神經網絡並不具備這種透明性。此外，神經網絡也有可能把我們的數據擬合得太好，以致於不能很好地概括樣本外數據。在我看來，這些缺點值得牢記，並為其設計保護措施，但它們並不是迴避使用神經網絡的理由。
  • 圖神經網絡加速晶片進入倒計時 全球首款商用圖神經網絡加速IP核...
    因此,該IP核是全球首款圖神經網絡加速IP核,專注於高效加速圖神經網絡的推斷階段。　　適合圖神經網絡的算力　　此款圖神經網絡加速IP核代號為「GCU Zero」,主要研究人員之一是中科院計算所特別研究助理嚴明玉博士,其畢業於中科院計算所,曾在美國加州大學聖巴巴拉分校 SEAL 實驗室訪學,主要從事圖計算和圖神經網絡加速結構研究。
  • 基礎代謝如何計算 提高基礎代謝率的方法是什麼
    核心提示：說到基礎代謝率這個問題可能很多人可能都不知道該如何用語言來表達，實際上基礎代謝率是指人體在清醒而又極端安靜的狀態下，不受肌肉活動、環境溫度、食物及精神緊張等影響時的能量代謝率，對減肥影響極大，因此在減肥期間大家計算好基礎代謝率是非常重要的。
  • 百度李偉彬:基於PGL的圖神經網絡基線系統
    承辦單位為中國科學院大學學生會，協辦單位為中國科學院計算所研究生會、網絡中心研究生會、人工智慧學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會。2020年5月30日，第15期「AI未來說·青年學術論壇」大數據線上專場論壇以「線上平臺直播+微信社群圖文直播」形式舉行。百度李偉彬帶來報告《基於PGL的圖神經網絡基線系統》。
  • 神經網絡篇——從代碼出發理解BP神經網絡
    一提到反向傳播算法，我們就不自覺的想到隨機梯度下降、sigmoid激活函數和最讓人頭大的反向傳播法則的推導，即便是把反向傳播神經網絡的原理學了一遍，也還是一頭霧水，在這裡推薦一本小編認為把BP神經網絡講的最通透的教材《Python神經網絡編程》。