背景
新類型的設備將導致數據爆炸,其中大部分還不存在。 數據是有價值的,因為人工智慧(ai)可以挖掘它的商業價值。 為了實現人工智慧,我們必須啟用新的計算模型。
關鍵信息
有兩個關鍵信息。首先,人工智慧工作量(即機器學習、深度學習)需要一種處理數據的新方法——我們稱之為新計算架構(即計算模型)。「計算架構」的含義以及人工智慧工作負載需要哪些類型的更改將在稍後詳細說明。其次,人工智慧計算架構需要材料工程的突破..我將討論一些我們遇到的突破類型的例子。在應用材料領域,我們很興奮地期待人工智慧將為材料工程帶來巨大的增長機會。
在這篇文章中,我的目標是總結計算架構需求AI工作量是這個行業的都已經熟悉了幾十年的傳統計算架構(如x86或ARM)的不同。我們將討論為什麼傳統的馮·諾伊曼計算架構人工智慧是不夠的。而從實證分析中,我們做了說明一種新的計算架構,如果我們不能夠人工智慧將無法實現。
人工智慧的工作量有什麼獨特之處?
有三個主要的區別,它們是相互關聯的。
首先,AI需要大量的內存,因為最流行的AI工作量操作了大量的數據,但內存也需要不同的組織。在流行的CPU中使用的傳統的多層緩存架構對於AI來說是不必要的,需要更直接和更快的內存訪問。對於通過將數據存儲在緩存中而重用數據的關注較少。
在人工智慧系統中輸入大量的數據是非常重要的。到谷歌翻譯翻譯服務,例如:2010年,谷歌聘請語言學家和專家實行從英語翻譯到中國的算法,最後的70%,其翻譯的準確率。這是好事,但不是很好。近日,谷歌已經採取了不同的方法:他們聘請了大量的數據科學家,數據科學家將在英國和中國的網站翻譯輸入每個可用以相對簡單的深度學習算法。這讓他們更好的結果,準確率高達98%!正如你所看到的,這裡的重點是使用一個簡單的算法使用更多的數據,這是由大量的驅動AI參數數據的支持。
其次,人工智慧涉及大量的並行計算。並行計算意味著您可以並行地處理工作負載的不同部分,而不必擔心相互依賴性。以圖像處理為例,對圖像的不同部分進行並行處理,最後對圖像進行拼接。因此,對於人工智慧來說,在所有傳統CPU中提供的複雜管道是不必要的。
第三,人工智慧需要很多低精度的計算,無論是浮點數還是整數。 這就是神經網絡的力量,它是機器學習或深度學習的核心。 傳統的 cpu 有64位的精度,在某些情況下可以達到512位。 大多數情況下,艾爾不需要這些。
因此,在這裡,我們有三個基本和重要的計算體系結構變化,AI工作負載需要。這就把我們帶到了同構和異構計算體系結構的話題..
同構計算與異構計算
在PC和移動時代,大多數應用程式(或工作負載)看在處理要求方面非常相似(即計算架構)。最初,所有的工作負載是由CPU處理,當我們開始用更多的圖片,視頻和遊戲,我們開始使用GPU。
在未來,我們的工作負載看起來會越來越不同,每個都有自己的計算需求。我們需要的是不同的體系結構,每個體系結構都針對特定類型的工作負載進行了優化。這就是我們所說的「硬體復興」,因為它推動了各種新工作負載的架構創新。
行業從同構計算轉向異構計算計算還有另外一個原因。 這與功率密度有關,它限制了傳統 cpu 的性能。 我們正處於使用現代多核 cpu 架構來提高性能的困難時期。 人工智慧工作負載最基本的要求是更高的功率效率(即每次操作消耗的功率)。 隨著 dennard 擴展的結束,實現這一點的唯一方法是構建一個特定於域或特定於工作負載的體系結構,從根本上提高計算效率。
實證分析:與數據生成相關的DRAM和NAND發貨..
為了理解數據的生成和計算需求之間的關係,我們將全年DRAM和NAND的出貨量和比較產生的年度數據。經驗表明,關係,DRAM和NAND出貨成長率比生成的數據的增長速度。在我們的分析中引入了數學關係是代表底層計算架構。
考慮到1%智能車使用率下數據生成量增加的影響,我們利用經驗關係做了一個思維實驗。假設每輛智能車每天產生約4tb的數據,我們發現到2020年,與之前的智能車水平相比,智能車產生的數據總量增加了5倍。
根據這一分析,使用傳統的計算模式,我們需要處理利用智能汽車的1%的25倍(2020年)的DRAM和NAND容量八倍容量。應用材料行業,我們絕對要做到這一點,但我們不認為這會發生。相比之下,該行業將需要根據新的材料和新的3D設計技術,以及新的計算架構的內存。
總之,傳統的vonneumann計算體系結構在處理人工智慧所需的大量數據時是不經濟的,甚至是不可行的。我們需要一個新的計算架構。