3倍谷歌速度!矽谷初創公司Cerebras發布史上最快AI計算機

2021-02-23 AI報導

AI在計算機算法上爭先恐後地角逐著,但都面對同一個瓶頸:培訓模型需要極長時間。谷歌、Facebook、OpenAI、騰訊、百度等許多其他科技巨頭都認為,如今人工智慧的基本限制是訓練模型需要很長時間。因此,縮短訓練時間等於消除整個行業進步的主要瓶頸。

而就在昨日(當地時間2019年11月19日),美國科羅拉多計算機展覽會SC19上,Cerebras Systems推出現有最快的人工智慧計算機系統CS-1,並宣布多學科科學和工程研究中心Argonne是第一個部署Cerebras CS-1系統的國家實驗室。相較於谷歌的TPU v3,CS-1功耗是它的五分之一,體積卻只有它的三十分之一,而速度是整個TPU v3的三倍。

圖丨來自Argonne國家實驗室

 

Cerebras與WSE


Cerebras Systems是一家初創僅3年的致力於加速人工智慧計算的矽谷晶片公司,團隊由頂尖計算機架構師、計算機科學家和深度學習研究人員組成,目標是構建一種新的計算機系統,可以將人工智慧加速到超越現有技術數量級水準。當外界不斷追求晶片小型化、低功耗時,這顆晶片企業反其道而行之,採取了一種新穎的方法,把所有的數據保存在一個巨大的晶片上,讓系統就可以更快地運行,該公司於今年8月推出了有史以來製造的最大的晶片-晶圓規模引擎(WSE)。WSE將邏輯運算、通訊和存儲器集成到單個矽片上,是一種專門用於深度學習的晶片。它創下了4項世界紀錄:電晶體數量最多(1.2萬億個電晶體)、晶片面積最大(46,225平方毫米)、片上緩存最大(18千兆字節)、運算核心最多(40萬個)。

在Cerebras WSE介紹的白皮書中,有這麼一句話——「通過加速人工智慧計算,WSE清除了阻礙人工智慧進步的最大障礙——時間。將訓練時間從幾個月縮減為幾分鐘,從幾周減少到幾秒。讓深度學習實踐者能更快地驗證自己的假設,從而不用去擔心一些體系機構導致無法測試或者太大風險。WSE降低了好奇心的成本,加速了人工智慧新思想和新技術的到來。」

 

Cerebras公司創始人兼執行長安德魯·費爾德曼(Fieldman)表示:「Cerebras WSE」專為人工智慧設計而設計,其中包含了不少基礎創新,解決了限制晶片尺寸的長達數十年的技術挑戰,如晶片良率、功率傳送、封裝等,推動了最先進技術的發展。每個架構決策都是為了優化AI工作性能。結果是,Cerebras WSE根據工作量提供了數百或數千倍的現有解決方案的性能,只需很小的功耗和空間。」 

 

僅有優異的處理器性能還遠不足夠。像WSE這樣的高級處理器必須與專用的軟體相結合才能實現破紀錄的性能。因此,Cerebras專門為這一巨型晶片開發了CS-1內置系統和軟體平臺,各方面都為加速人工智慧計算而專門設計。通過CS-1和配套的系統軟體, AI需要幾個月才能完成的工作現在可以在幾分鐘內完成,而需要幾個星期完成的工作可以在幾秒鐘內迅速完成。

圖丨Cerebras CS-1,圖片來源:Cerebras

CS-1是一個「完整解決方案」產品,旨在添加到數據中心以處理AI工作流程。它包括WSE(即實際處理核心)、運行處理器和將處理器集成到數據中心所需的所有冷卻、網絡、存儲和其他設備。它有26.25英寸高(15個機架單元),包括400,000個處理核心、18 GB的片上內存、每秒9 PB的片上內存帶寬、12 GB的乙太網連接、用於將數據移入和移出CS-1系統,並且僅消耗20千瓦的電力。Feldman把CS-1電腦形容為容納WSE賽車引擎的賽車底盤。他稱,CS-1比佔據多個機架的大型競爭系統更強大,同時由於巧妙的熱提取系統,消耗的電力也更少。巨大的大腦晶片後面有一塊銅色的塊,稱為冷板,它將熱量從晶片中傳導出去。那個冷盤是通過流過該盤的冷水管道冷卻的。CS-1不僅從根本上減少了訓練時間,而且還為降低延遲設立了新的標杆。對於深度神經網絡,單一圖像的分類可以在微秒內完成,比其他解決方案快幾千倍。

CS-1側面圖,可見冷水管道。圖片來源:Cerebras

「這是一臺由40萬個專用人工智慧處理器組成的人工智慧系統。」Feldman說。

 

利用CS-1解決深度學習計算和科學問題

 

CS-1使人工智慧從業者能夠回答更多的問題,並在更少的時間內探索更多的想法。CS-1為AI計算提供了創紀錄的性能和規模,其跨國家實驗室的部署使世界上最大的超級計算機站點能夠實現現有AI加速器從100到1000倍的改進。通過將超級計算能力與CS-1的AI處理能力相結合,Argonne現在可以加快深度學習模型的研究和開發,以解決現有系統無法解決的科學問題。早在2個月前(2019年9月17日),Cerebras Systems已經與美國能源部(DOE)籤署了合作協議,以推進其實驗室進行基礎科學、應用科學和應用醫學的大規模深度學習實驗。

 

Argonne實驗室的計算、環境和生命科學副實驗室主任Rick Stevens表示:「我們與Cerebras合作已有兩年多了,我們非常高興將新的AI系統引入Argonne。通過部署CS-1,我們極大地縮短了神經網絡的訓練時間,使我們的研究人員能夠大大提高工作效率,從而在癌症、顱腦外傷以及當今社會重要的許多其他領域的深度學習研究中取得重大進展。」

 

人工智慧正在低調但逐漸滲透式地觸及我們生活的各個方面。從推薦音樂或衣服、為信用卡保駕護航到協助導航,人工智慧已經無所不在。在科學和健康領域,人工智慧正被用於幫助研究人員更好地理解從分子動力學到宇宙學的廣泛主題,並幫助醫生更好地診斷和治療疾病。

 

Fieldman說:「我們很自豪能夠與Argonne國家實驗室合作,並利用CS-1的巨大計算能力來幫助解決世界上的許多科學問題。在Argonne,Cerebras CS-1正被用於更好地理解從癌症藥物相互作用到黑洞性質的一切。看到領先的研究人員使用CS-1解決醫療保健和基礎科學中的問題是非常有意義的,這也是我們發明技術的原因。」

圖片來源:Cerebras

CS-1有望攻克癌症難題


Argonne部署CS-1的第一個應用領域是癌症藥物反應預測,該項目是美國能源部和美國國家癌症研究所合作的一部分,旨在利用先進的計算和人工智慧解決癌症研究中的重大挑戰。Cerebras CS-1的加入支持擴展Argonne在高級計算領域的主要計劃,該計劃還利用了預計在2021年實現的Aurora exascale系統的人工智慧能力。

 

在Argonne實驗室,計算機儀錶盤顯示人工智慧正在工作。在各種大小的矩形中,就像一幅紅色的蒙德裡安油畫,數字熱圖描繪了神經網絡在思考藥物時的活動。在幾個小時的工作結束時,神經網絡將對各種藥物和腫瘤細胞之間的相關性進行評估,這可能會在某一天產生癌症的新療法。

 

大多數藥物研究都在尋找一小部分已知藥物和一系列細胞之間的相關性,以確定該藥物是否會減緩腫瘤生長。Argonne負責計算、環境和生命科學的副實驗室主任Stevens和他的團隊可以模擬所有藥物分子,以尋找他們從未想過檢查的疾病相關性。科學家們希望所揭示的是他們還未能預料到的聯繫。這使人工智慧進入了一個未知的時代。

 

Argonne部署CS-1是DOE和Cerebras系統之間多實驗室合作的第一部分。Cerebras還與美國能源部的勞倫斯·利弗莫爾國家實驗室合作,加快其人工智慧計劃,並利用CS-1的機器學習能力進一步增強其模擬實力。

 

能源部負責人工智慧與技術的副副部長Dimitri Kusnezov博士說:「在能源部,我們認為公私合作是加快美國人工智慧研究的重要組成部分,我們期待著與Cerebras的長期和富有成效的合作夥伴關係,這將有助於定義下一代人工智慧技術,並改變能源部的運營、業務和任務格局。」

 

對Feldman來說,這一切都證明了「讓事情變得更快可以讓你做以前做不到的事情,突然之間你得到了你以前沒有獲得的洞察力。」他把這個比喻為發電機的興起和工廠的電氣化。一百年前,發電機只是改進了現有的東西,如皮帶驅動的機器。幾十年過去了,由於發電機的緣故,工廠完全圍繞自動化過程控制進行了重組。製造業的性質發生了變化。」

 

該公司的下一個階段是實現規模化,並確保其晶片的穩定交付。該公司將晶片封裝為一個完整的系統「設備」,其中還包括其專有的冷卻技術。

 

CS-1可能會加速AI研究的速度,在諸如疾病研究的實驗方式上帶來變革,以及AI涉及的其他各個領域的轉變,不過其對人類生活帶來的影響目前很難評估。

 

信息出處:

https://spectrum.ieee.org/tech-talk/computing/hardware/cerebras-unveils-ai-supercomputer-argonne-national-lab-first-installation

https://www.anl.gov/article/argonne-national-laboratory-deploys-cerebras-cs1-the-worlds-fastest-artificial-intelligence-computer

https://fortune.com/2019/11/19/artificial-intelligence-cerebras-supercomputer/

https://techcrunch.com/2019/11/19/the-cerebras-cs-1-computes-deep-learning-ai-problems-by-being-bigger-bigger-and-bigger-than-any-other-chip/  

Step 1:長按下方二維碼,添加微信公眾號「AI報導「AI-Reporting」」Step 2:回復【2】免費獲取完整數據分析資料「包括SPSS\SAS\SQL\EXCEL\Project!」

相關焦點

  • 量子計算機巨頭D-Wave前創始人的神秘新機器人公司
    加拿大初創公司D-wave System之前推出的、處理特定問題速度比傳統計算機快上億倍的量子計算機原型機曾轟動技術界。
  • 谷歌發布TF新工具:計算速度提升2倍,減少無效參數
    這是谷歌特意為行動裝置和Web端開發的一系列新工具,可以在幾乎不影響AI模型推理準確性的同時,「修剪」模型大小,以提升模型推理速度。最好的情況下,能將AI模型的推理速度提升2倍,模型大小「縮水」一半。這是怎麼做到的?「抽掉」部分網絡權重這一過程,利用了AI、機器學習模型的稀疏性。
  • 簡介|初創公司Scale AI
    △🎧今日晚安曲……………………………………………………………………小編說 隨著自動駕駛行業的發展,近幾年裡誕生的初創公司非常多據不完全統計,僅中國就有100+與自動駕駛相關的初創公司。為了更好地把握行業動向,對各個初創公司的了解必不可少。這次,小編給大家帶來的初創公司是Scale AI(美)。
  • TensorFlow Lite發布重大更新!支持移動GPU、推斷速度提升4-6倍
    隨著 TensorFlow Lite GPU 後端開發者預覽版的發布,將能夠利用移動 GPU 來選擇模型訓練 (如下所示),對於不支持的部分,將自動使用 CPU 進行推理。新的後端利用了:目前 TensorFlow Lite 仍使用 CPU 浮點推斷進行人臉輪廓檢測 (非人臉識別)。
  • 川普鐵粉拿下五角大廈 AI 合約!爭議矽谷創業家變身權力的科技爪牙?
    計劃,又有新發展,由矽谷知名創業家、爭議人物 Palmer Luckey 所創立的 Anduril Industries 國防科技初創公司,已經拿下五角大廈合同,利用 AI 和虛擬實境(VR)技術,為前線士兵提供地形的三維視圖,以在戰爭中識別目標或無人駕駛戰車,此合同是 Project Maven 一部分。
  • 谷歌雲AI新掌門被曝與軍方有聯繫,4000員工白抗議了? | AI WORLD峰會議程曝光
    今年早些時候,谷歌參與Project Maven引起了公司內部的強烈反對,迫使CEO Sundar Pichai承諾谷歌將永遠不會從事AI增強武器的工作。張建中  英偉達全球副總裁、中國區總經理張建中先生於2005年5月加入英偉達公司,現任英偉達公司全球副總裁、中國區總經理。在加入英偉達公司之前,他曾就職於戴爾中國有限公司,任政府及教育事業部總經理。1992-2000年間,他還就職於中國惠普有限公司,擔任計算機系統事業部總經理。
  • 【CB Insights百頁AI報告】2017人工智慧現狀、創業圖景與未來(98PPT)
    來源:CB Insights翻譯:弗格森【新智元導讀】CB Insights發布了2017年最新的人工智慧全局報告,對AI發展現在進行概要介紹,包括谷歌等巨頭的收購、專利數量介紹。此外報告亮點還有:1.
  • 行業報告│《麻省理工科技評論》發布2016年「50大創新公司」
    最近,百度在矽谷組隊,進軍計算機視覺、機器人和傳感器等領域。關鍵詞:100百度計劃年末在加州招募100位自動駕駛領域的研究員和工程師。總部位置:以色列,耶穌撒冷業務範圍:計算機和通訊公司性質:已上市公司估值:80億美元傳統的汽車製造商要怎樣才能和Alphabet(谷歌的母公司)在汽車自動駕駛領域展開競爭呢?
  • 初創公司如何訓練大型深度學習模型
    作為一家初創公司,速度和成本是我們必須不斷優化的兩件事。這個問題的主要解決方法是在更多的 GPU 上訓練模型,但是這需要很高的成本,往往是初創公司無法承受的。近幾年來,我們學到了一些關於大型模型訓練的經驗,希望與大家分享。
  • 【創新】D-Wave的新項目結合了AI、機器人和穿「太空戰甲」的猴子
    插圖:IEEE波譜雜誌;圖片:通過谷歌PatentsA申請的美國專利US20160243701A1這個叫做Kindred的公司由量子計算機先驅創立,計劃開發一個先進的AI系統來控制和訓練機器人。如果量子計算機還不夠讓你興奮的話,D-Wave 的創始人現在有了另一個極具未來感的新想法:將人工智慧和外骨骼結合在一起,幫助人類,甚至是猴子,來訓練和調教智慧機器人。Geordie Rose 是加拿大公司D-Wave的創辦者之一和首席技術官,這家公司致力於研發具有更快速度的量子計算機,來解決傳統計算機無法解決的問題。
  • 3D視頻聊天、百萬比特量子計算機、十倍性能TPU:谷歌在I/O大會上讓我們看到了未來
    5 月 19 日凌晨,一年一度的谷歌 I/O 大會在線上召開,在谷歌園區戶外進行的開場 Keynote 上,這家公司發布了一系列引人矚目的全新產品。「我們的目標一直是構建一個能夠幫助所有人的谷歌,」谷歌執行長桑達爾 · 皮查伊說道。用 AI 為更多人提供便利是今天谷歌活動的主題。
  • 10歲女程式設計師,婉拒谷歌Offer,研發全球首款AI桌遊,現在是一名CEO
    這款遊戲的背後是一家名為CoderBunnyz的公司這家公司最特別的一點是老闆非常非常年輕公司CEO名叫薩美拉(Samaira Mehta)這款遊戲面世後不久就在微軟「女孩節」上亮相還引起了谷歌的注意在矽谷的一場研討會上谷歌首席文化官Stacy Sullivan看到了這款遊戲後給薩美拉小朋友發出了
  • 爭霸 | 一文盡觀英偉達、谷歌… 2018 決戰AI芯 !
    但對英偉達來說,圖靈架構才是本次發布的最大重磅,甚至被教主稱為「自2006年CUDA GPU發布以來的最大進步」,或者「英偉達十多年來在計算機圖形領域最重要的創新」。 據了解,圖靈架構包含能為實時光線追蹤提供硬體加速的RT核心,以及為AI運算加速的全新張量核心。
  • 剛剛,英偉達發布全球最強AI訓練器HGX-2,可替換300個CPU伺服器
    大數據文摘出品作者:魏子敏、龍牧雪還記得兩個月前英偉達黃教主在矽谷發布的全球最大黃教主當時稱,這一計算平臺在硬體和軟體上的改進,使得在六個月內,深度學習工作負載的性能提高了10倍。HGX-2實現了創紀錄的AI訓練速度。根據英偉達的聲明,GPU伺服器可以在ResNet-50訓練基準測試中每秒處理15,500個圖像,並且能夠替換多達300個CPU伺服器。
  • 中國科學家實現 「量子霸權」,計算速度比超級計算機快100萬億倍
    ●           ●           ●中國科學技術大學潘建偉、陸朝陽團隊構建的一套光量子計算系統,最近在高斯玻色採樣(Gaussian Boson Sampling)問題上取得重要突破,求解速度達到目前全球最快的超級計算機的一百萬億倍,遠遠超過經典計算機。
  • dSpace收購AI初創公司Neurocat部分股份
    而此次dSpace加入旨在支持基於雲的平臺「aidkit」的市場發布,並在未來使用新的解決方案來加強車輛AI算法保護。dSpace執行長Martin Goetzeler表示:「Neurocat的關鍵技術可保障AI應用程式的質量,從而增強對AI的信任。這一點對於dSpac及其客戶也非常重要、因此股份收購進一步完善了我們用於仿真和驗證的全面、AI驅動的解決方案產品。
  • buffer管理學:公司裡的「赤裸」遊戲
    通過公布 CEO 工資等手段,Buffer 成功地將 「透明」 一詞與自己緊密結合了起來,就和谷歌與 「高科技」一樣。將一個詞語根植於公司的企業文化中,將其作為解決所有問題的指導思想。這有利於在競爭中塑造品牌形象。不妨想想,你的那個詞語又是什麼?Buffer 成立於 2010 年,是一家提供社交媒體運營、管理工具的初創企業。
  • 谷歌發布最大語言模型:等於9個GPT-3,訓練成本卻低得多
    楊淨 發自 凹非寺 量子位 報導 | 公眾號 QbitAI今天,谷歌大腦聲稱,他們新技術能訓練萬億級參數的語言模型
  • 矽谷風雲:跌宕起伏的EDA大戰牽扯出那些年美國矽谷叢林不為人知的故事……
    EDA是CAD計算機輔助設計的一種,全名應該是自動化電路設計計算機輔助軟體,非常細分的行業軟體。EDA軟體設計中牽涉到大量的數學,圖論,物理,材料,工藝等等學科的知識。Arcsys就如同所有的初創小公司一樣,強大的生命力下是銷售能力的嚴重不足。Costello決定將這嬰兒敵人扼殺在搖籃中。於是1992年底,Costello派出了他最得力的助手徐建國領導來打這場針對Arcsys的戰爭。徐最喜愛以戰場來形容商場,並將中國《孫子兵法》中兵不厭詐做為行動指南。