在Aspencore全球分析師共同發布的《2021年全球半導體行業10大技術趨勢》一文中，有一項提到了，HPC數據中心專用加速的趨勢遞進。其中特別提到英偉達的DPU，這種類型的硬體，幾乎可以代表數據中心的某一個發展方向。4iHednc
這個議題甚至恰好能夠解答，英偉達為何要收購Arm，以及AMD為何要收購賽靈思。在近期英偉達GTC China首日主題演講之後的圓桌論壇上，英偉達全球業務運營執行副總裁Jay Puri談到了有關英偉達收購Arm的問題。4iHednc
4iHednc
「Arm已經取得了巨大成功，但他們獲得的成功大部分集中在移動端，更多的機會在等待他們探索。Arm應當發揮顯著作用的地方，還包括數據中心與PC。但這個市場的涉足其實並不簡單，數據中心、雲和PC領域是另一回事。」Jay Puri提到，「從技術上來看，Arm在這一領域是完全沒問題的。很多探索中的例子都表明，技術不是問題。」4iHednc
「在市場方面，數據中心未來的重要工作是圍繞人工智慧、加速計算的。英偉達在這個平臺很成熟，我們有可用的完整堆棧，有所有必要的合作夥伴，生態系統龐大，有超過200萬開發者；很多初創企業、行業研究都在進行中。」「一旦Arm成為英偉達的一部分，我們將能夠促進Arm在數據中心取得成功。」4iHednc
「這樣一來，市場就會有x86之外可行的替代方案，不僅限於移動領域，數據中心、PC等領域都如此。競爭能夠促進進步、推動創新。」這番話實則已經非常明晰地交代了，Arm對於英偉達的主要價值在哪裡：數據中心（和可能的PC）。本文嘗試擴展HPC數據中心的專用加速趨勢這一話題，亦可從中看看英偉達的野心有多大。4iHednc
2020年，HPC領域在相關晶片架構層面發生過一件大事：富士通（Fujitsu）發布名為富嶽（Fugaku）的超算，其中的晶片為A64FX。這顆晶片在微架構層面其實是很有意思的。首先它整體上採用monolithic的設計，而不是現在流行的chiplet（比如AMD Epyc）。它既像CPU，又有點兒像GPU，而且片上還集成了HBM2存儲——這樣一來，A64FX的板卡就比較奇特：板卡上沒有RAM，因為已經集成在了片上（chip level）。4iHednc
4iHednc
我們來簡單看看這顆晶片微架構的獨特之處。從上面這張圖來看，核心周圍的4個die就是HBM2存儲，連接到四個HBM2 Interface之上，算是與核心靠得很近了，所以主內存到L2 cache的帶寬就會比一般的HPC系統要明顯更大（1024GB/s），單晶片的容量也達到了32GiB。4iHednc
核心部分，A64FX整體上是基於Arm v8.2A架構的，擴展了SVE（Scalable Vector Extensions）——這種擴展是專門針對HPC科學負載矢量化準備的，屬於NEON擴展指令集的補充。A64FX具體採用的是512bit SVE。這一點其實並沒有什麼。4iHednc
這顆晶片真正有意思的地方是，它並沒有什麼加速器，die上也沒有集成專門的GPU之類的處理器。其行為方式很像GPU，但卻是顆實實在在的通用CPU。A64FX內部總共分成4組，分別是4個CMG（core memory group），每組13個核心（所以總共是52個核心，其中48個是活躍核心，其餘4個為OS以及冗餘策略預留）。CMG內部每個核心依次連接，而不同CMG之間採用類似於Intel Skylake的那種Ring Bus環形總線連接。作為一顆通用處理器，A64FX就是可以跑常規作業系統的，雖然它內部看起來還挺像英偉達的GPU。4iHednc
4iHednc
這顆晶片在設計上就是為HPC負載準備的，尤其是科學模擬、數據分析等。現在比較主流的方案，是用GPU來加速這些活兒，主要是因為GPU能夠灌入大量數據，並做高度並行計算，然後同時輸出大量結果。事實上，HPC的存儲帶寬需求一直很大，包括氣象模擬、各種流體力學、量子力學等研究，以及計算機視覺、機器學習一類數據分析工作，都要求大量數據的遷移，在大量核心之間通訊、共享。4iHednc
A64FX從設計思路上，也能幹這樣的工作：持續做SIMD計算，而且還有不小的片上存儲資源和相當大的傳輸帶寬。另外富士通開發了一種名為「Tofu」的互聯方案，據說在能效、帶寬和延遲方面表現都非常好，宣傳上提到是顯著優於AMD和Intel的方案的（據說是比Xeon/Epic，有10倍的能效優勢）。此外，SVE矢量擴展，及其對FP16、FP32等數據類型計算的原生支持，都令其相當適用於HPC負載。4iHednc
從已公開的數據來看，A64FX單晶片在性能上也遠優於Intel Xeon Platnium 8168、NEC SX-Aurora這類方案，以及部分測試優於Nvidia上代的Tesla V100。其實相較傳統通用CPU的性能優勢還是意料之中的。因為A64FX從設計上來看，是明顯更偏向專門針對HPC做了"domain-specific"的優化的，與此同時還保有了CPU的通用性。4iHednc
4iHednc
用簡單的話來概括A64FX的思路，它很像把HPC方案中CPU+GPU+RAM的傳統組合凝聚到一起，另外也有比較全面的大規模擴展方案。這顆晶片預計2021年會出貨給亞馬遜、谷歌、微軟這些雲供應商。4iHednc
當然不能就性能、效率，以及其設計就簡單認定，A64FX就一定能夠在HPC領域掀起多大的浪，生態構建也屬於重要的工作。但很顯然，Arm在HPC、數據中心之上發光發熱，至少就技術、性能層面來看，是沒有任何問題的；而且Arm具備了相當的彈性，是x86平臺可能無法給予的；另一方面，Arm在端側正在對x86發起新一輪猛攻，這可能也將有助於Arm在數據中心的生態構建。4iHednc
富嶽以及A64FX的發展思路未必就代表了數據中心的未來，電子科技及半導體領域從來不是效率、性能說了算的，而且我個人也覺得A64FX在微架構層面雖然有創新，但它作為一種通用晶片，在專用計算的"domain-specific"這一點上仍然可輕易被超過；比如幾個月前，Graphcore二代IPU的發布會就特別提到了，算力相較A64FX的超越。4iHednc
老祖宗構建起來的架構，其實很難在短期內被輕鬆推翻。只不過傳統CPU+GPU+RAM的發展方向，本身就在不停發生變化。就好像多年前應該不會有太多人想到，GPU、FPGA加速卡這類硬體可以在數據中心活得這麼滋潤。4iHednc
英偉達最偉大的發明，大概就是CUDA和GPGPU了。這將GPU擴展到了更多市場。2016年黃仁勳在GeForce 1080 Ti發布會上提到最多的詞還是rendering和graphics；但在2020年GeForce 30系列GPU的發布會上，Graphics這個詞被提及的次數卻遠遠少於RT core、AI等。這表明英偉達的GPU市場，早就擴展到了遊戲、圖形計算之外。4iHednc
即便AMD剛剛發布的Radeon GPU在性能上將近做到與Ampere架構GeForce的齊頭並進，AMD Radeon的市場與英偉達依然是不可同日而語的。4iHednc
我在去年GTC China的報導中提到，2015-2019年英偉達的營收增長速度之快，令這家公司不像是個已經步入成熟期的企業。這主要是源於GPU在數據中心業務上的風光正盛。而且這個趨勢在2020年竟然還在持續，甚至可以用「飆車」來形容。4iHednc
4iHednc
英偉達數據中心業務雲霄飛車般的營收增長4iHednc
英偉達最新一季（FY2021Q3）的財報顯示，公司季度營收47.3億美元，上漲57%。值得注意的是，其中數據中心業務的營收同比增長達到了162%——而且這還是在持續多年增長之後的持續增長。在谷歌雲、微軟Azure之後，AWS、Oracle Cloud、阿里雲都相繼宣布了Nvidia A100可用；選擇英偉達平臺針對AI相關服務做AI inference越來越多；當然英偉達數據中心業務的強勢，也離不開Mellanox在InfiniBand等方面的增長。4iHednc
相較之下，英偉達遊戲業務37%的增速雖然也很亮眼，卻在增長性上相形見絀了。專業視覺以及汽車業務的營收下滑，也就顯得沒那麼重要了。去年的分析文章中，我曾大致估算數據中心業務佔到英偉達整體營收的1/4，僅次於營收佔比過半的遊戲業務。今年的情況預計又會發生較大變化。以這種成長速度，數據中心很快就會成為可與其遊戲業務相提並論、並駕齊驅的業務了。4iHednc
這其實很大程度上代表了數據中心市場，GPU這類型的硬體已經佔據了多重要的地位。可見市場對於性能和效率的渴求還是瘋狂的，何況數據中心市場客觀上還受到了新冠疫情的推動。4iHednc
那麼這和Arm又有什麼關係呢？4iHednc
英偉達也在GTC China期間宣布，多家中國頂級雲服務提供商及系統製造商採用其A100 Tensor Core GPU。阿里雲、百度智能雲、滴滴雲、騰訊雲等雲服務提供商都推出了搭載A100的雲服務及GPU實例。A100是英偉達這一代Ampere架構，定位在數據中心平臺的GPU產品，被英偉達稱作「最強性能的端到端AI以及HPC數據中心平臺」。4iHednc
Ampere架構是英偉達在2020年年中正式官宣的。消費端的GeForce 30系列，以及上述A100都可以說是Ampere架構產品。實際上英偉達如今在熱推的另一類產品，文首提到的DPU也有Ampere架構GPU的身影：BlueField-2X DPU板卡上就加入了一枚Ampere架構的GPU，用於AI加速。4iHednc
這裡的DPU是相當值得一談的。拋開Ampere架構不談，在前兩個月的GTC大會上，英偉達正式宣布了BlueField-2/2X DPU（data processing units）的推出。DPU這個概念最早應該是Mellanox提出的。英偉達在新聞稿中提到，DPU採用data-center-infrastructure-on-a-chip架構，「突破性的網絡、存儲和安全性能」。直譯過來，就是晶片上的數據中心基礎設施。4iHednc
本月GTC China期間，好幾篇來自英偉達的新聞稿都提到了DPU或相關信息：包括公有雲廠商Ucloud基於英偉達的BlueField DPU研發，「並於上半年推出的裸金屬物理雲1.0產品，通過DPU集成的多核Arm CPU快速將物理雲基礎架構軟體從x86遷移到DPU中」。而且「Ucloud進一步於下半年研發並推出裸金屬物理雲2.0產品」，其中也包含了BlueField DPU本身的更多特性。4iHednc
在Mellanox被英偉達收購之前，DPU實際上是Mellanox針對下一代SmartNIC的一個設想，將其networking的技術，和Arm做結合，分擔主系統的更多工作，包括軟體定義網絡、軟體定義存儲、專用加速引擎等。2019年BlueField產品很低調地發布了。英偉達後續對BlueField-2，也就是DPU二代產品的定位有了進一步的延展。4iHednc
4iHednc
所以今年發布的其實是二代DPU。BlueField 2晶片本身包含8個Arm Cortex-A72核心，以及兩個VLIW加速引擎；然後再加上Mellanox最拿手的針對網絡連接的ConnectX-6 DX NIC（網絡適配器）。4iHednc
簡單來說，DPU是數據中心的另一個domain-specific加速器，從主CPU分擔networking、存儲和安全負載。這其實是英偉達在GPU產品於數據中心市場大獲成功後的又一步擴張舉措。與此同時進一步消除x86 CPU在數據中心的重要性。4iHednc
4iHednc
用Mellanox的話來說，DPU是將計算功能，與數據靠得更近了（data-centric architecture），取代以前還要把數據專門移到計算所在位置的那種模式（compute-centric architecture）。4iHednc
更具體地說，BlueField-2相對而言是達成了這個目標的；而BlueField-2X則是在板卡上給DPU再加上了Ampere架構的GPU（和EGX A100好像有點類似）——英偉達稱其為AI-powered DPU。此處多加的GPU價值主要是實時的安全分析，包括識別異常流量，加密流量分析，識別惡意行為，以及動態安全組合、自動響應等。4iHednc
4iHednc
至此，其實英偉達已經有能力將整個系統，包括CPU、NIC、加速器、安全都放到一個SoC上，再搭配自家GPU，基本上是可以無視x86的存在的。從英偉達公布的DPU產品路線圖來看，後續還會有BlueField-3和4的問世。4iHednc
BlueField-3其實是加強版的BlueField-2。而BlueField-4則計劃在單晶片性能上就打敗現有DPU+GPU的組合。英偉達計劃BlueField-4應可提供400 TOPS的AI算力。如此一來，從GPU在數據中心做AI、數據分析及HPC，到如今DPU接管網絡、存儲、安全等關鍵任務，以及將來DPU可能把這些加速的活兒都幹了。4iHednc
4iHednc
DSP應用於網絡安全的一個例子：當兩名開發者使用Omnivers高吞吐流app進行實時的工作時，一臺設備是Vmware Cloud Foundation + BlueField-2 DPU，另一臺則是傳統架構，在遭遇DdoS攻擊時，兩種架構的CPU佔用率對比。右邊這臺伺服器會因為數據包泛紅，致工作被打斷；而左側伺服器，DPU自己就能夠識別並丟棄這些惡意數據包4iHednc
與此同時，英偉達也推出了配套的DOCA軟體棧，就類似於GPU世界的CUDA那樣。英偉達這兩年一直在宣稱自己是家軟體公司。那麼當為開發者提供SDK，這片市場的空前增長，就像現如今的GPU那樣，是為英偉達真正統領數據中心市場的野心所在。4iHednc
而且英偉達現有的軟體開發能力，還能持續為DOCA添磚加瓦，包括SDK擴展支持、各種庫的增加：眼見CUDA如此的興盛即知DPU將來的潛力了。與此相較，媒體渲染的什麼黃氏定律（Huang’s Law）都不過是為此服務的營銷宣傳罷了。4iHednc
4iHednc
Arm將在此間扮演什麼樣的角色？回想文首Jay Puri在GTC China首日的圓桌論壇上的發言，是否變得明朗許多？在DPU的版圖上，Mellanox早已是英偉達麾下一員，就剩Arm了。想到此處，感覺英特爾在現如今的時代格局下，還真是有點兒「誰都在針對我」的處境。4iHednc
這或許也能一定程度解釋，為何AMD要收購賽靈思。另外，Jay Puri發言中還提到了，Arm理應在PC領域也發光發熱，這是否是在暗示，英偉達或許還有在消費市場一搏的打算？4iHednc
責編：Luffy Liu4iHednc