眾所周知,數字世界催生了一種趨勢,規模越小越好。那麼,為什麼在地球上有些人想逆轉航向,並使用大晶片呢?當然,我們沒有理由在一個iPad中用一個iPad大小的晶片,不過這樣的大晶片可能被證明是具有更具體的用途,如人工智慧和物理世界的模擬。
計算機晶片製造商Cerebras生產的晶圓—Cerebras晶圓級引擎無論以何種方式進行切割都非常龐大。該晶片的是8.5英寸,並裝有1.2萬億個電晶體。而排名第二大的晶片是NVIDIA的GPU A100,只有一英寸,電晶體數量也只有540億個。前者是新的晶片類型,基本上未經測試,到目前為止,他們推出的晶片也是唯一的一款。後者廣受喜愛,已大量生產,並在過去十年中接管了AI和超級計算的世界。
新晶片會引領一個新時代嗎?讓我們來細看一下。
超越人工智慧的大晶片
去年,當Cerebras的晶片首次脫穎而出時,該公司表示其將大大加快深度學習模型的訓練速度。
從那時起,WSE進入了少數超級計算實驗室,該公司的客戶正在不斷努力。其中一個實驗室,即國家能源技術實驗室,正在尋找它在人工智慧之外還能做什麼。
因此,在最近的一項試驗中,研究人員將晶片與流體動力學模擬中的超級計算機相提並論,該晶片位於一個稱為CS-1的一體式系統中。模擬流體的運動是一種通用的超級計算機應用程式,可用於解決諸如天氣預報和飛機機翼設計之類的複雜問題。
該試驗由Cerebras的Michael James和NETL的Dirk Van Essendelft領導的團隊進行,在他們撰寫的預印本論文作了描述,並在本周的SC20超級計算會議上發表。研究小組說,CS-1完成了電廠的燃燒模擬,任務的速度比Joule 2.0超級計算機快200倍。
CS-1實際上比實時更快。正如Cerebrus在博客文章中寫道: 「它可以告訴您未來將發生什麼,而物理定律不會產生相同的結果。」
研究人員說,CS-1的性能是任何數量的CPU和GPU都無法比擬的。該公告執行長兼聯合創始人 Andrew Feldman告訴VentureBeat,「無論超級計算機有多大,該理論都是正確的」。在某種程度上,對像Joule這樣的超級計算機進行擴展在這種問題上不再產生更好的結果。因此,Joule的仿真速度達到了16,384個內核的峰值,但這只是其全部86,400個內核的一小部分。
通過對兩臺機器的比較,可以得出結論。Jouel是世界上第81快的超級計算機,佔用數十個伺服器機架,消耗高達450千瓦的功耗,並且需要數千萬美元的建造費用。相比之下,CS-1安裝在伺服器機架的三分之一中,消耗20千瓦的功耗。
儘管這項任務非常小巧(但很有用),而且問題非常適合CS-1,但它仍然是一個非常驚人的結果。那他們怎麼做到的呢?這t全部都體現在設計中。
減少通信
計算機晶片的生命始於一個稱為晶圓的大矽片上。將多個晶片蝕刻到同一晶圓上,然後將晶圓切割成單個晶片。當WSE也被蝕刻到矽晶圓上時,該晶圓將作為一個單獨的操作單元完整保留。該晶圓級晶片包含近40萬個處理核心。每個內核都連接到其自己的專用存儲器及其四個相鄰內核。
將這麼多內核放在一個晶片上並為其提供自己的內存是WSE能做到這麼大的原因。這也是為什麼在這種情況下,晶片表現更好的原因。
大多數大型計算任務都依賴於大規模並行處理。研究人員在數百或數千個晶片中分配任務。這些晶片需要協同工作,因此它們之間保持著不斷的通信,來回傳遞信息。當信息在進行計算的處理器內核和共享內存之間存儲信息時,每個晶片內部都會發生類似的過程。
這是一個帶點兒懷舊的公司,在紙上做它的所有業務。
該公司使用快遞公司從鎮上其他分支機構和檔案中發送和收集文檔。快遞員知道穿過城市的最佳路線,但行程只需要最少的時間,具體取決於分支機構和檔案館之間的距離,快遞員的最高速度以及路上有多少其他快遞員。簡而言之,距離和交通會減慢速度。
現在,想像一下公司正在建造一座嶄新的閃亮摩天大樓。每個分支機構都搬進了新大樓,每個工人在辦公室裡都有一個小的文件櫃來存儲文件。現在,他們需要的任何文檔都可以在跨辦公室或穿過大廳到達鄰居辦公室所需的時間進行存儲和檢索。信息通信幾乎消失了,因為一切都在同一個房子裡。
而Cerebras的巨型晶片有點像那座摩天大樓。與需要聯網大量傳統晶片的傳統超級計算機相比,它傳遞信息的方式(通過其專門定製的編譯軟體進一步輔助)更加高效。
模擬世界的發展
值得注意的是,該晶片只能處理足夠小的問題以適合晶圓。但是,由於機器能夠實時進行高保真模擬,因此此類問題可能具有相當實際的應用。作者指出,該機器在理論上應該能夠準確地模擬試圖降落在駕駛艙上的直升機周圍的氣流,並使該過程半自動化-這是傳統晶片無法做到的。
他們指出,另一個機會是使用模擬作為輸入來訓練也駐留在晶片上的神經網絡。在一個引人入勝的相關示例中,最近證明,加州理工學院的機器學習技術在求解相同種類的偏微分方程以模擬流體動力學時,速度快了1000倍。
他們還指出,晶片的改進(以及其他類似的產品,如果有的話)將可完成工作的極限繼續往前推進。Cerebras已經搶先發布了其下一代晶片,該晶片將具有2.6萬億個電晶體,850,00個內核以及兩倍以上的內存。
當然,晶圓級計算是否真正起飛還有待觀察。這個想法已經存在了幾十年,但是Cerebras是第一個認真追求它的人。顯然,他們相信他們已經以一種有用且經濟的方式解決了這個問題。
其他新架構也正在實驗室中進行研究。例如,基於憶阻器的神經形態晶片通過將處理和記憶放入單個類似電晶體的組件中來模仿大腦。當然,量子計算機位於單獨的通道中,但是可以解決類似的問題。
可能其中一種技術最終興起來統治所有這些技術。或者,這似乎很有可能,計算可能會分裂成一堆怪異的基本晶片,根據情況將它們全部封裝在一起以充分利用每個晶片。
(以上內容整理自網絡,如有侵權請聯繫刪除!)