世界最強超算晶片Fujitsu A64FX:繼承於SPARC64架構的Arm超級處理器

EETOP創芯網(易特創芯):國內著名的老牌電子工程師社區及半導體行業門戶網站(150萬會員)

www.eetop.cn bbs.eetop.cn

blog.eetop.cn edu.eetop.cn

來源：EETOP綜合整理自technews   作者：痴漢水球

最近ARM指令集相容處理器佔據不少新聞版面，除了千呼萬喚始出來、預定兩年內完全取代英特爾處理器的Apple Silicon，再來就是引起不少討論、先後在2019年11月Green500和2020年6月Top500奪下榜首的日本理化學研究所超級電腦「富嶽」（富士山的別稱）的關鍵技術核心：Fujitsu A64FX處理器。

整體來看，無論從哪個角度觀察，這應該是目前最高端的ARM 指令集兼容處理器了。其實Fujitsu 早在2018 年夏天的處理器業界盛事IEEE HotChips 30，就公開A64FX 的技術細節（其中部分內容更在4 月就先行披露），本質算是「電腦的語言」指令集架構從SPARC-v9 轉換成ARM-v8.2-A 的SPARC64fx 處理器（因衍生於高端伺服器專用的SPARC64，也繼承了諸多類似特色，如大型主機等級的數據可用性），採用臺積電7 納米製程生產，主存儲器使用近來因高端圖形晶片逐漸普及的HBM2，和運算核心由臺積電的2.5D 封裝CoWos 技術封裝成一顆，毋需外部的存儲器顆粒。講更精確點，Fujitsu A64FX 是「針對超級電腦量身訂做的ARM 指令集系統單晶片 SoC」（System-on-Chip，SoC），其概念更可追溯於2004 年11月，一舉趕下雄踞「世界最強超級電腦王座」超過兩年半（2002 年3 月到2004 年11 月）地球模擬器（Earth Simulator）的IBM BlueGene/L，體積僅有容納1,024 個運算節點和8TB 主存儲器的16座機櫃，反觀地球模擬器動用640 個運算節點，總共5,120 顆NEC SX-6 向量處理器和10TB 主存儲器，多達320 座運算機櫃，彰顯了追求建造速度的獨到思維與異質功能融合的潛在威力。後來勞倫斯利佛摩國家實驗室（LawrenceLivermore National Laboratory，LLNL）的BlueGene/L 持續擴充到104 座機櫃（478TeraFlops，峰值596TeraFlops），2008 年6 月被同樣出自IBM 的洛斯阿拉莫斯國家實驗室（ Los Alamos National Laboratory，LANL）的Roadrunner 超越，穩佔Top500 首位長達3 年半之久。後者是人類史上第一臺效能達1PetaFlops 的超級電腦。那年剛好微處理器論壇（MicroprocessorForum）首次在臺灣舉辦（新竹煙波大飯店），IBM 也在活動議程裡，充分闡述BlueGene/L 的技術細節與設計理念，筆者有幸坐在臺下躬逢其盛，富嶽和FujitsuA64FX 則讓筆者回憶起歷歷在目的往事。

於「日用品」堆砌超級電腦以外的另類系統單芯片路線

「世界最快的超級電腦」不但是國家科技能力的重大象徵，更是科技強權之間的國力較量，根據國家的Top500 進榜數與總效能「圓餅圖」，比重與趨勢或多或少反映了國家的影響力。前述的富嶽超級電腦，相關費用總計1,300 億日圓，其中1,100 億日圓由日本納稅人買單，日本政府「宣揚國威」的強烈動機，不言可喻。

自從個人電腦與集群運算環境（Cluster）普及後，超級電腦業界逐漸從特別客制化且量少價高向量處理器、系統控制與存儲器晶片，朝向採用市售的「日用品」（Commodity）或系出同源的衍生產品（如nVidia 的高階運算用GPU），除了降低購置與維護成本，亦可進一步提高超級電腦的可靠性與可用性。

也因此，Top500 清單早是滿滿一整排英特爾處理器與nVidia 加速卡（與很少的AMD 產品，以及根本沒有未來的英特爾Xeon Phi），偶見IBM 的高端Power 處理器與Fujitsu 的SPARC64fx。

畢竟不計成本導入特製化零件與特殊半導體製程（甚至像Cray-3和Fujitsu VPP500 還用到砷化鎵這麼獨特的材料）的「高階試作品」，自然遠不如消費性市場隨手可得的「成熟量產品」可靠。過於特殊的專屬規格處理器，也限制了應用軟體和開發平臺的選擇性，提高開發軟體的時間與成本。反之，投奔「開放規格」，即可享受到更多樣化的開源社群資源，並因更頻繁的技術交流，而加速技術演進。

但超級電腦市場較量的重點，並不只限於帳面效能和耗電，「研發時程」和「建造速度」也同樣舉足輕重。這也是IBM BlueGene/L 在十多年前可在超級電腦領域獨領風騷的秘密：延續現有Power處理器的研發成果，打造高度系統單晶片化的運算節點，實現更高的空間利用密度和更快的系統組裝速度。FujitsuA64FX 更承襲相同的思維，並藉由臺積電被眾多客戶千錘百鍊後的成熟製程、研發資源豐富的ARM 生態圈、拜顯示晶片市場之所賜而便宜可靠的HBM 存儲器，青出於藍勝於藍，相隔近16 年，重現系統單晶片一次奪下Top500 榜首的榮景。

相信熟悉超級電腦的讀者或許會想起，當時那臺IBM 與Livermore 實驗室合作的BlueGene/L 測試機，並非徹底施工完畢的超級電腦（這讓日本人頗不以為然），但在Livermore 國家實驗室，確實有部分應用程式跑在上頭，並打敗了地球模擬器保持的紀錄。問題來了，為何IBM 可以用這麼快的速度（當時可是震驚世人），建好一臺世上最快的超級電腦？

2004 年，BlueGene/L 可謂世界最大的嵌入式微處理器集合，揭示了「大處著眼，小處著手」觀念，將系統單晶片的價值，從微型系統帶到極大規模的超級電腦，技術核心為重新設計後的雙核PowerPC 440，具低耗電量和低發熱量等特點。利用諸多今日我們耳熟能詳的系統單晶片特色的BlueGene/L，有以下特點：

超級省電：相同的運算量，這臺BlueGene/L耗電量僅NEC地球模擬器的二十八分之一，自然也降低了發熱量。簡單清楚的系統架構：BlueGene/L不再有一大堆糾纏如「新竹米粉」的五顏六色線路和多如牛毛的網絡匯流排控制器，易於安裝與維護。快速完成產品設計：利用現有研發成果，透過系統單晶片整合額外功能，不必重新設計每個元件，可迅速兜成產品。即使這算是「專屬規格晶片」，但意義卻和過去不惜血本的燒錢做法截然不同。

BlueGene/L 的架構相當單純：

兩顆處理器晶片組成一張運算卡（Compute     Card），上面附有512MB 容量DDR 存儲器，耗電量只有20W。16 片計算卡構成一片節點卡（Node Board），32 個處理器晶片（64 核心），提供180GigaFlops 理論計算能力，8GB 存儲器。32 片節點卡裝在同一臺機箱，提供5.7TeraFlops     與256GB 存儲器。整個系統最大組態為65,536 個節點卡（64 個機箱），當全部處理器都設定成計算模式時，有高達360TFlops 的峰值運算量（2004 年底那臺是70.72TeraFlops）和16TB 存儲器。

所謂的超級電腦，就是指具巨大平行運算量的系統（有別於追求頂級可靠性和極致軟體相容性的商用大型主機），大多數並行處理程序，都必須在執行每個小單元，參考之前的單元計算結果，或是傳送結果到其他執行單元，帶來巨大的資料傳輸量。超級電腦的開發者幾乎都將一半精力耗費在資料傳輸網絡的設計。

BlueGene/L 系統組成極端乾淨，處理器晶片內建5 種功能相異的網絡控制器，讓不同類型的工作分而治之，只需要板子上的連接點組成整個系統，你也看不到拉來拉去的排線和到處安插的匯流排網絡控制器：

3D Torus網絡：每顆晶片有6個方向傳送資料到整個系統，具流量監控、計算最佳傳送路徑的功能。處理中斷與系統問題的低延遲高速網絡（Global     Barriers and Interrupts）。用來進行一般I/O和檔案存取的Gigabit乙太網絡。用來控制開機與設定的控制網絡（Control     Network）。

為何IBM 要讓BlueGene/L 同時用5 種網絡架構？起因於IBM 並未為了這臺「速食」超級電腦設計專用作業系統，直接修改Linux 來用，並BlueGene/L 是每顆運算節點（一顆處理器）都是獨立電腦的「Multicomputer」型態，單靠3D Torus 網絡不足以保證在最短時間內即時傳送所有資料，特別是和計算無關的控制管理訊號，所以動用多種拓樸網絡以保證面面俱到，是很正確的手段。

同場加映更誇張的設計：Sun 曾競標美國國防部先進研究計劃署（Defense Advance Research Projects Agency，DARPA）於2002 年初開始的High Productivity Computing System，日後更名為PetaFLOPS 的超級電腦計劃（略早於NEC 發表地球模擬器），提出驚世駭俗的「Hero」計劃，引進「Proximity Communication」研究成果，透過晶片彼此相鄰的「超高速無線傳輸」（別懷疑），一舉解決頻寬延遲的瓶頸和系統組裝的麻煩。很可惜這案子由IBM 和Cray 擊敗Sun 共同得標，無緣讓世人目睹這令人嘖嘖稱奇的世界奇觀。

雖然超級電腦的可靠性要求不如商業大型主機嚴謹，但看在巨大資料傳輸量的份上，假若自己的家用個人電腦可能一年內因一次訊號錯誤當機，套在超級電腦就可能變成一小時一次了。

也因此，IBM 在BlueGene/L 引入許多除錯技術，由小到大，從晶片（所有存儲器皆受到ECC 保護以修正單位元錯誤）到系統（所有節點和網絡都有自我錯誤監測，而最重要的3D Torus 網絡則動用超過4 種數學除錯方式以保障資料傳輸的正確性）。當然，低發熱量的系統單晶片，也降低超級電腦因過熱而不穩的可能性。

承繼IBM BlueGene/L 精神的Fujitsu A64FX

這些年來，伺服器大廠紛紛放棄開發自家處理器，改投向「開放系統」的懷抱，但Fujitsu 仍持之以恆研發高端處理器，如GS 系列大型主機、Unix 伺服器的SPARC64、因2011年「京」 （K-Computer）超級電腦專案誕生的SPARC64fx。

讓SPARC64fx 轉戰ARM 指令集的A64FX，堪稱三者集大成，也讓ARM 指令集兼容處理器，一步登天，擁有商用大型主機（Mainframe）的高可靠度、高端伺服器的高效能，與超級電腦最需要的低能耗比，身為「後京」（Post-K）時代的日系超級電腦心臟，性能目標是達到2011 年「京」的100 倍。富嶽搶下Top500 榜首就是成果，且計劃進度還比表訂的2021 年量產出貨提前甚多。

A64FX 主要特性如下：

ARM 的SVE 不僅「比英特爾AVX-512 更富有向量電腦的傳統風味」，也有個有趣的MOVPRFX 指令，用來彌補ARM 邁進64 位元後，為了提供32 個暫存器（需要5 位元指定一個暫存器，4 個就是20 位元）犧牲掉的FMA4 四運算元浮點乘積和（A×B＋C＝D）。一旦執行三運算元的FMA（A×B＋C＝C），會覆蓋掉一個暫存器的原始內容。

MOVPRFX 指令可預先經由前置碼（Prefix），「更名」運算目標暫存器，以保留其內容。而A64FX 的內部執行單元則會將接連的MOVPRFX 和FMA3 兩個指令合而為一，變相實作FMA4，掩蓋執行兩個指令的額外延遲。

「熱情擁抱現成資源」的弦外之音

Fujitsu 和理化學研究所在2019 年4 月15 日籤訂製造出貨安裝合約，11月富嶽試作機拿下Green500 第一名，12 月2 日就開始出貨6 個機櫃框體，全數396個在2020 年5 月13 日全部搬入理化學研究所，速度真的很快，當年IBM BlueGene/L 的「速食」風格，在Fujitsu A64FX 也一覽無遺。

況且，Fujitsu 還享用那時IBM 還體驗不到的「完整IP 授權、最佳化電子輔助設計工具與相關函式庫、專業晶圓代工」三位一體的成熟產業生態體系，大量引用「現成資源」加速產品研發與驗證，降低成本，不限硬體，一併擁抱蓬勃發展中的ARM 軟體資源，在「沿用市售標準品」和「拼死硬幹特規貨」中取得平衡點。這是Fujitsu在高效能運算處理器的「語言」，放棄SPARC 轉向ARM 背後最重要的弦外之音。

最後，順帶一提，如果臺積電繼續維持製程優勢，英特爾真的還有機會追上來嗎（官方預定2021 年7 納米、2023 年5 納米、2025 年3 納米、2027 年2 納米、2029年1.4 納米）？還是昔日傲視世界的半導體製造能力，將就此遭到毀滅性的打擊？值得拭目以待。

資料推薦

點擊閱讀原文進入eetop微信後臺，輸入「晶片」獲取！