半導體行業觀察綜 發表於 2020-11-25 15:27:40
領先的模擬AI處理器公司Mythic日前宣布，公司正式推出業界首款模擬矩陣處理器（Mythic AMP™）M1108 AMP。按照他們的說法，這個新產品的發布預示了AI激動人心的新紀元，因為它首次提供了一種模擬計算解決方案，該解決方案可實現一流的性能和性能，並且其精度可與數字設備媲美。報導指出，M1108 AMP能為邊緣部署提供了無與倫比的可能性，應用市場包括智能家居，AR / VR，無人機，視頻監控，智能城市以及工廠車間的自動化。憑藉其革命性的技術，M1108 AMP處於AI處理重大新趨勢的最前沿。報導指出，M1108集成了108個AMP tiles ，每個tiles都配有一個Mythic模擬計算引擎（MythicACE™），該引擎具有快閃記憶體單元、ADC陣列、32位的RISC-V處理器、SIMD矢量引擎，SRAM和一個高吞吐量的片上網絡（NOC）路由。
此外，四個控制tiles為系統主機處理器提供了高帶寬PCIe2.0接口。M1108具有108個AMP tiles，可提供高達35萬億次/秒的運算（TOPS），可在單個晶片上以高效率、低延遲地高效執行複雜的AI模型（例如ResNet-50，YOLOv3和OpenPoseBody25）。在峰值吞吐量下運行複雜的AI模型時，M1108的典型功耗約為4W。而且，憑藉利用成熟的40nm技術的固有成本優勢，並且不需要任何外部DRAM或SRAM， M1108 AMP 將以 PCIe M.2 和 PCIe卡形式提供，並且 M1108PCIe 評估套件可應要求提供。
模擬AI晶片怎麼玩？Mythic詳細講述
說到人工智慧硬體，我們向來事無巨細。WikiChip密切關注的一家公司是Mythic。這家公司還沒有完全公開他們的架構和產品，但一些細節已經開始慢慢浮出水面。在最近的人工智慧硬體峰會上，該公司的創始人兼執行長Mike Henry）紹了該晶片的最新情況。
這家位於奧斯汀的初創公司由Mike Henry和Dave Fick於2012年創立，最近完成了7000萬美元的B輪融資，總融資額剛剛超過8500萬美元。如今，公司員工已增至110人。
Mythic是一家模擬公司。但是，在我們探討細節之前，必須指出，它們目前僅專注於推理，無論是在數據中心還是在邊緣。到2024年，這兩個市場的TAM（Total Available Market總體有效市場）。
預計將達到250億美元，這就是為什麼這裡有如此多的關注點的原因。從長遠來看，Mythic計劃針對大眾市場的消費品和汽車產品。
把所有東西都放在晶片上，放在快閃記憶體裡
隨著模型準確性的提高，其大小也會隨之增加。如今，模型達到了數億個參數，甚至達到數十億。最重要的是，通常實時地需要確定性行為，例如一致的幀速率和延遲。這就是Mythic的作用。Mythic的論點很簡單：將足夠的存儲與大量並行計算單元打包在晶片上，以最大化內存帶寬並減少數據移動的能力。但是有一個轉變——這就是Mythic的原始方法的閃光點——該公司拋棄了傳統的SRAM，轉而使用更密集的快閃記憶體，此外，Mythic還計劃在模擬環境下直接在內存中進行本地計算。
但是為什麼是快閃記憶體？答案很簡單：因為它密度大，功耗低，而且便宜，幾乎比SRAM的密度大兩個數量級。
理論上，Mythic的晶片更像內存，而不是傳統的CMOS。從更長的路線圖來看，隨著SRAM bit cell的擴展變得越來越困難，它帶來的好處也越來越深遠。總的來說，從每美元的性能、每單位成本的密度和每瓦特的性能來看，這是一個潛在的巨大勝利。
多年來，我們看到了一大堆路線圖，當他們開始談論未來10年的時候，很容易忽視它。但對Mythic來說，有一些不同之處。值得特別指出的是，目前Mythic正在研究40納米的嵌入式快閃記憶體。他們有一個相當清晰的28nm和22nm的路徑，因此，粗略地說，這個圖的一半是基於今天已經發布的現有節點。
Mythic公司的執行長Mike Henry似乎相信他們可以繼續這樣做，但是儘管正在進行一些工作以繼續擴展到16/14納米節點，還不清楚它是否會上市。
許多業內人士認為，嵌入式快閃記憶體在22納米的時候遭遇了瓶頸。在與Mythic的一次簡短交談中，他們告訴我們，他們並沒有與嵌入式快閃記憶體結合，如果其中一項新興技術（如多位ReRAM、PCM或NRAM）作為一種強大的替代技術出現，他們肯定會考慮遷移到這種技術。
IPU
Mythic的晶片被稱為IPUs或智能處理單元。在外設方面，該晶片非常簡單，由PCIe的x4通道和DNN平鋪網格組成，PCIe是負責整個晶片管理的基本控制處理器。由於晶片的設計是為了存儲整個模型，沒有DRAM。
Mythic表示，由於這是一個基於tiles的設計，如果有需求，他們可以通過添加直接的音頻/視頻和各種其他接口來進一步定製。在去年的Hot Chip上，Mythic談論的是一款5000萬權值（weights）的初始產品。在最近的人工智慧硬體峰會上，Mike Henry表示，初始產品權值將達到1.2億，這比最初的計劃要多很多。在富士通的40nm製程中，近標線全尺寸晶片應具有約300M權值的容量，因此120M仍然是一個相當大的晶片。
IPU的作用是作為一個連接到主機的PCIe加速器。對於大型模型或多個模型，可以使用多個IPU。模型最初被加載到IPU中，並保持靜止。沒有DRAM和編程快閃記憶體相對較慢，因此模型應該能夠適應晶片與多個應用映射到同一晶片。這對於許多邊緣應用程式來說非常典型。在正常操作下，主機CPU將數據發送到IPU，並通過PCIe埠接收結果。
該晶片由DNN tiles構成網格。在一個tiles裡面是一個模擬矩陣乘法器，它建立在一個巨大的嵌入式快閃記憶體池的頂部，用來計算權值。嵌入式快閃記憶體單元使用浮動柵極通過存儲電荷、控制閾值電壓來存儲位。電晶體支持256級電導（G=1/R）之間的完全關閉和打開狀態，Mythic用它來表示8位值。
通過將所有神經元的權值映射到閃光電晶體上，他們可以利用歐姆定律自然地進行矩陣乘法運算。實現的方法是使用閃光電晶體將權值表示為可變電阻。這在計算之前執行一次。使用8位DAC，輸入矢量作為一組電壓通過可變電阻。根據歐姆定律，輸出電流是輸入數據與權值向量（I = V x G）相乘的結果。最後，一組adc將產生的電流轉換回數字值，成為輸出矢量。ReLu和其他各種非線性操作也由adc在那個時間點完成。
圍繞這個組件還有一些額外的邏輯。不管工作條件如何，DAC/ADC封裝器都會進行補償和校準，以獲得精確的8位計算—類似於今天的圖像傳感器所做的工作。
需要指出的是，這個方案沒有實際的內存訪問。矩陣相乘是在內存中完成的，利用歐姆定律，所以沒有權值訪問能量。使用固定權值時，也沒有批量大小或其他特殊處理。雖然固定容量可能會帶來一些問題。順便說一下，它們支持神經元稀疏，但不支持權值稀疏性。
有趣的是，Mythic說，對於他們的第一代，為了加快開發和上市時間，他們不會使用DAC作為輸入。相反，他們使用一個數字近似電路，由此分別計算每個輸入位，然後累加結果。他們將在將來用DAC消除這種情況，這有望為他們提供一些很好的改善。
責任編輯:tzh
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴