知存科技致力於開發的基於NOR Flash的存算一體化人工智慧晶片

2021-01-10 電子發燒友
知存科技致力於開發的基於NOR Flash的存算一體化人工智慧晶片

李倩 發表於 2018-07-04 16:07:17

知存科技致力於開發的基於NOR Flash的存算一體化人工智慧晶片，其晶片特點是能耗低、運算效率高、速度快和成本低，適用於終端設備的人工智慧應用。

知存科技演講實錄

知存科技是一家剛剛成立半年的公司，今年3月份正式運營，專注於開發低功耗低成本的存算一體AI晶片。

人工智慧目前還處於發展階段，當前的落地的應用場景較少，沒有達到社會的期望。隨著人工智慧算法的進步以及晶片算力的提升，未來人工智慧將會出現一個更大的爆發點，會湧現更多的應用落地。

人工智慧晶片作為人工智慧的載體，被大家寄予厚望，在2020年，人工智慧晶片市場預計達到千億量級。傳統晶片巨頭比如arm、Intel、NVIDIA都通過自研和收購推出了數款晶片，網際網路巨頭比如Google、亞馬遜和微軟等也都正推出和開發的人工智慧晶片。這個領域的創業公司就更多了，中國的幾家頭部公司就做得非常好。

人工智慧依賴的算法有幾大特點：這是一個很龐大和複雜的網絡，有很多參數要存儲，也需要完成大量的計算，這些計算當中又會產生大量數據。為了完成大量計算的過程當中，一般晶片的設計思路是將大量增加並行的運算單元，比如上千個卷積單元，需要調用的存儲資源也在增大，然而存儲資源一直是有限的。隨著運算單元的增加，每個運算單元能夠使用的存儲器的帶寬和大小在逐漸減小，存儲器是人工智慧晶片的瓶頸。

在很多人工智慧推理運算中，90%以上的運算資源都消耗在數據搬運的過程。晶片內部到外部的帶寬以及片上緩存空間限制了運算的效率。現在工業界和學術界很多人都認為存算一體化是未來的趨勢。

存算一體化分為幾種：DRAM和SSD中植入計算晶片或者邏輯計算單元，可以被叫做存內處理或者近數據計算，這種方式非常適合雲端的大數據和神經網絡訓練等應用；另一種就是存儲和計算完全結合在一起，使用存儲的器件單元直接完成計算，比較適合神經網絡推理類應用。我們研發的是後者這樣的技術，將存儲和計算結合到快閃記憶體單元中的存算一體。快閃記憶體技術已經非常成熟，商用幾十年了，成本很低。

當前商用的神經網絡非常龐大，擁有幾百萬到幾千萬的權重參數，或者推理過程中需要完成幾百萬到上千萬個乘加法運算。傳統的計算系統需要將網絡權重參數存在片外的非易失性存儲器中，比如NAND Flash或者NOR Flash。運算的過程中，需要把部分需要的權重參數搬運到DRAM，再把小部分參數傳入到晶片中的SRAM和eDRAM中，之後導入寄存器和運算單元完成運算。神經網絡運算需要大面積SRAM和eDRAM來減少片內外數據搬運和提高運算效率，但是由於片上存儲成本的限制，也需要高成本高速度的DRAM來緩存片上無法容納的權重參數和臨時數據。

我們存算一體化的做法是這樣的：我們的Flash存儲單元本身就可以存儲神經網絡的權重參數，同時又可以完成和此權重相關的乘加法運算，就是將乘加法運算和存儲全部融合到一個Flash單元裡面。舉個例子，只需要100萬個Flash單元，就可以存儲100萬個權重參數同時並行完成100萬次乘加法運算。我們做的是這樣一款晶片，深度學習網絡被映射到多個Flash陣列，這些Flash陣列不僅存儲和深度學習網絡同時完成網絡的推理，這個過程不需要邏輯計算電路。這種方式的運算效率非常高，成本很低，單個Flash單元能夠完成7、8 bit的乘加法運算。

之前我們說我們晶片有兩個特點：一個是運算效率高，相比於現在基於馮諾依曼架構的深度學習晶片，大概能夠提高運算效率10-50倍；另一個是產品成本低，節省了DRAM、SRAM、片上並行計算單元的面積消耗，簡化了系統的設計，同時無需採用先進的晶片加工工藝，可以數倍地降低生產成本，幾十倍地降低流片和研發成本。當前階段，我們尋找的是對成本和運算效率（功耗）敏感的應用，比如終端的低功耗低成本的語音識別應用。未來，隨著人工智慧和物聯網的發展，我們會拓展更多的應用場景，比如說低成本和低功耗的感知應用和人機互動。

2014年，我們開始在加州大學聖芭芭拉分校的實驗室做這項技術的研發，完成過6次流片和技術驗證。去年年末在北京註冊的公司，今年3月份正式開始運營，僅僅5個月的時間我們就把設計送出去流片，順利的話，過3-4個月就會完成晶片測試，爭取明年量產。我們的團隊畢業於北京大學、北京航空航天大學、美國加州大學洛杉磯分校，加州大學聖芭芭拉分校等學校。核心團隊成員大部分都有十年以上的行業經驗，團隊目前有11個人，年末也會擴大團隊規模。

電晶體和電容這些東西怎麼在Cell做到Computing？

乘法計算的方式是通過類似模擬電路的電流鏡方式。輸入電流轉換成電壓耦合到Flash電晶體的控制柵上，Flash電晶體的輸出電流等於輸入電流和存儲的權重相乘。加法的計算方式類似於並聯電路電流求和。

怎麼看待Intel新的X Point技術？

這是一項很新的技術，目前主要問題是成本和系統支持度的問題，但隨著產業鏈的發展，成本會越來越低，速度也會更快，系統也會更好的支持X-Point兼有的高速和非易失性的特性。這項技術的selector做得很好。作為存儲器、內存或者他們的統一體這類應用來說，未來成本降低之後，會有非常大的優勢。Intel在這個技術的市場推廣上也投入很多精力，其他後來者可能會坐享其成。

北京知存科技有限公司成立於2017年10月，專注於開發基於存算一體的人工智慧晶片和系統。公司通過自主研發的核心技術將計算和存儲融合在NOR Flash存儲晶片中，大幅度提高運算的並行讀，提升人工智慧核心運算效率多個數量級。該設計方法還簡化了晶片設計架構，節省了內存、緩存和神將網絡加速器模塊的支出，顯著地降低了晶片成本。當前公司正在流片的是面向終端設備的低功耗語音識別晶片。公司將長期致力於深入研發和優化存算一體化技術，將之應用於廣闊的人工智慧應用場景中。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴

相關焦點

  • 存算一體晶片研發商知存科技完成近億元A輪融資,中芯聚源領投
    【獵雲網（微信：ilieyun）北京】8月6日報導獵雲網近日獲悉，存算一體晶片研發商知存科技宣布完成近億元2018年12月，知存科技曾獲翼豐投資，啟迪之星，科大訊飛Pre-A輪投資；2018年初曾獲啟迪之星天使投資。知存科技創始人兼CEO王紹迪表示，此輪融資將主要用於完成晶片的量產工作。中芯聚源高級投資經理楊雪表示：知存科技技術傳承路徑清晰，在存算一體技術路線領域屬於國際第一梯隊。團隊研發實力雄厚。
  • 打破馮諾依曼架構限制 國內研發存算一體AI晶片
    大家都知道我們現在的電腦——不論是PC還是超算，都是處理器、存儲晶片分離的，這就是馮諾依曼50多年前確立的計算架構。隨著技術的發展，存儲計算分離的架構瓶頸越來越多，日前國內研發出了存算一體的AI晶片，號稱自主智慧財產權，國內首創、國際領先。
  • 清華類腦晶片再登Nature: 全球首款基於憶阻器的CNN存算一體晶片
    撰文 | 四月2 月 27 日機器之心獲悉，據清華大學新聞網消息，該校微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者成功研發出一款基於多陣列憶阻器存算一體系統，在處理卷積神經網絡（CNN）時能效比前沿的圖形處理器晶片（GPU）高兩個數量級。
  • ...全球首款基於憶阻器的CNN存算一體晶片,能效高出GPU兩個數量級
    撰文 | 四月2 月 27 日機器之心獲悉，據清華大學新聞網消息，該校微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者成功研發出一款基於多陣列憶阻器存算一體系統，在處理卷積神經網絡（CNN）時能效比前沿的圖形處理器晶片（GPU）高兩個數量級。
  • 人工智慧的另一方向:基於憶阻器的存算一體技術
    吳華強：我的報告將從硬體的挑戰，研究進展以及展望三方面來介紹大腦啟發的存算一體技術。人工智慧無處不在，從雲端到我們手機端都有很多人工智慧。不同的人工智慧應用對晶片的需求是不一樣的,比如數據中心、汽車無人駕駛要求算力特別高，而智能傳感網、物聯網和手機希望耗能低，追求高能效。不同應用對晶片的不同需求給了晶片領域很多機會。
  • 清華大學的存算一體化架構和並行加速方法專利
    清華大學基於多個憶阻器陣列的全硬體完整存算一體系統，能夠高效的運行卷積神經網絡算法，證明了存算一體架構全硬體實現的可行性，對今後AI算力瓶頸的突破有著極大意義。該成果所研發的基於多個憶阻器陣列的存算一體系統，在處理卷積神經網絡時的能效遠高於GPU，大幅提升了計算設備的算力，成功實現了以更小的功耗和更低的硬體成本完成複雜的計算。 隨著以人工智慧為代表的信息技術革命興起，基於各種深度神經網絡的算法可以實現圖像識別與分割、物體探測以及完成對語音和文本的翻譯、生成等處理。
  • 基於NOR Flash的數據運算方法專利揭秘
    in Memroy是在DRAM中嵌入邏輯電路，打造「存算一體」架構，存算一體架構會大幅降低資料在存儲器與處理器之間往返的負擔，降低晶片的能耗。 集微網消息，不久前，合肥恆爍半導體有限公司與中科大團隊歷時兩年共同研發的基於NOR快閃記憶體架構的存算一體（Computing In Memory）AI晶片系統演示順利完成，標誌著具有我國自主智慧財產權，國內首創、國際領先的超低功耗存算一體的人工智慧晶片正式問世。
  • 清華高濱:基於憶阻器的存算一體單晶片算力可能高達1POPs | CCF-G...
    CCF-GAIR 2020的AI晶片專場，來自學術界、產業界和投資界的6位大咖從AI晶片技術前沿、AI晶片的應用及落地、RISC-V晶片推動AI發展、新基建帶來的投資機遇共同探討新基建帶來的機遇。清華大學副教授高濱從AI晶片技術前沿的角度，帶來了《基於憶阻器的存算一體晶片技術》的主題分享。
  • ...神經擬態模數混合計算晶片行業的領軍者,開拓感存算一體架構晶片
    本期候選企業：深圳九天睿芯科技有限公司（下稱「九天睿芯」）。成立於2018年的九天睿芯，專注高能效神經擬態感存算一體晶片，同時提供高能效感存算一體（生物醫療、語音視覺加速等其他信號）晶片設計、軟體編譯配置等定製化服務。
  • 韓國科技公司加速AI晶片研發,存算一體成新趨勢
    導語：韓國IT行業加速開發AI晶片，存算一體或成核心競爭力！功耗方面仍面臨技術障礙。智東西5月7日消息，據外媒報導，韓國IT行業已將神經處理單元（NPU）或下一代晶片背後的存儲器的開發速度提高了一倍，以為住宅、道路及工業場所的智能應用提供支持。
  • 能效比GPU高兩個數量級,清華大學研製首款多陣列憶阻器存算一體系統
    集微網消息，近日，清華大學微電子所、未來晶片技術高精尖創新中心錢鶴、吳華強教授團隊與合作者在《自然》在線發表了研究論文，報導了基於憶阻器陣列晶片卷積網絡的完整硬體實現。該成果所研發的首款基於多個憶阻器陣列的存算一體系統，在處理卷積神經網絡（CNN）時的能效比圖形處理器晶片（GPU）高兩個數量級，大幅提升了計算設備的算力，成功實現以更小的功耗和更低的硬體成本完成複雜的計算。
  • 解密:畢馬威中國晶片新銳50強!
    18、開放智能：OPEN AI LAB（開放智能）於2016年成立，公司專注邊緣智能計算及應用，致力於推動晶片及算力、算法、工程產品化、行業應用等完整產業鏈的深度協作，加速人工智慧產業化部署和場景的邊界拓展，賦能場景化細分行業快速實現+AI。為 AIoT產業上下遊合作夥伴提供端、邊、雲一體化人工智慧基礎軟硬體開發平臺及應用級解決方案。
  • 基於雲端人工智慧晶片BM1682的算豐智能伺服器SA3、嵌入式AI迷你機...
    如果說2016是人工智慧元年，那麼2018則應是人工智慧晶片及應用的爆發元年，現階段，AI在安防、零售、醫療、教育等眾多細分領域的落地應用遍地開花，「AI+」已然成為最炙手可熱的創業風口，而在突破性技術加持和大規模資本湧入之下，一批AI新星如同雨後春筍一般相繼誕生，比特大陸便是其中之一。
  • 微電子學院江安全課題組研製出具有產業化前景的高密度存算一體化...
    自戈登·摩爾提出至今，摩爾定律已持續發展半個多世紀，晶片集成度不斷提高，性能不斷提升。然而如今器件特徵尺寸不斷縮小，特別是接近納米尺度的量級時，出現量子尺寸效應、界面效應、短溝道效應等問題，影響了器件性能。根據國際半導體技術藍圖預測，對於5nm以下技術節點工藝，現有存儲技術將不能滿足晶片高性能、低功耗的要求。
  • 晶片科學家的雄心:全新通道材料實現存算一體,突破AI算力瓶頸
    以目前排名第一的日本超算 「富嶽」 所搭載的 A64FX 為例，其晶片就採用了融合 CPU+GPU 的通用架構，並且內置了 7nm 的 HBM2 存儲器，每個晶片的內存帶寬高達 1024 GB/s。基於此，Andras Kis 教授試圖通過模仿人類大腦，來研發出存儲單元和計算單元合二為一的晶片。思路確定後，該團隊採用二硫化鉬（MoS2）作為通道材料，並將其用於開發基於浮柵場效應電晶體（FGFETs）的存儲器中邏輯器件和電路。在演示可編程或非門之後，FGFETs 作為適用於可重構邏輯迴路的構建模塊，可應用在更複雜的可編程邏輯上。
  • 解密畢馬威中國晶片新銳50強!平均創立不到5年
    為 AIoT產業上下遊合作夥伴提供端、邊、雲一體化人工智慧基礎軟硬體開發平臺及應用級解決方案。 公司擁有先進的光晶片生產線及晶片封裝平臺、3000平米千級/百級淨化廠房。公司技術團隊擁有豐富的化合物半導體技術開發經驗，基於成熟的InP材料體系晶片工藝平臺，目前已成功開發出多款產品。公司以「做好每一顆光晶片，讓世界愛上中國芯」為企業使命，致力於解決中高端晶片長期依賴國外進口的瓶頸問題，為全球光器件和光模塊廠商提供優質的全系列光晶片產品及技術服務。
  • 看懂未來十年AI晶片趨勢!GTIC 2020 AI晶片創新峰會成功舉行
    ，為大家分享創新經驗；我國AI晶片新銳玩家壁仞科技、燧原科技、比特大陸、光子算數、豪微科技、億智電子、知存科技在會上分享了落地心經；知名投資機構北極光創投、中芯聚源亦在現場探討AI晶片的投資邏輯與思考。
  • 有了憶阻器,「超級人工大腦」不再是夢
    原標題：有了憶阻器，「超級人工大腦」不再是夢 　　「如果把用憶阻器技術開發出的人工智慧晶片應用在手機裡面，晶片功耗會大大降低，手機充一次電就可以用兩天。」10月27日，在接受科技日報記者專訪時，清華大學微電子學研究所教授錢鶴這樣通俗地解釋憶阻器將給普通民眾生活帶來的變化。 　　當前，人工智慧發展迅猛。然而，在錢鶴看來，如果要發展更為強大的人工智慧，即像人一樣的機器人，表現出與人類一樣熟練和靈活的行為，憶阻器的作用不可忽視。
  • AI晶片「點燃」北京!GTIC 2020 AI晶片創新峰會大咖演講全乾貨
    晶片巨頭賽靈思、我國自動駕駛晶片明星創企黑芝麻智能與地平線也於峰會聚首，為大家分享創新經驗;我國AI晶片新銳玩家壁仞科技、燧原科技、比特大陸、光子算數、豪微科技、億智電子、知存科技在會上分享了落地心經;知名投資機構北極光創投、中芯聚源亦在現場探討AI晶片的投資邏輯與思考。
  • 深度剖析人工智慧晶片的發展現狀及趨勢
    3、AI學者概況 　　基於來自清華大學AMiner 人才庫數據，全球人工智慧晶片領域學者分布如圖所示， 從圖中可以看到， 人工智慧晶片領域的學者主要分布在北美洲，其次是歐洲。 中國對人工智慧晶片的研究緊跟其後，南美洲、非洲和大洋洲人才相對比較匱乏。