編者按:
高性能計算機系統,還有一個更為人熟知的名字——超算。自2013年以來連續登陸全球最強超級計算機榜首,國產超算包括硬體、應用等在內的優越性能便廣為人知。
但很多人不了解,每天服務於我們生產生活的天氣預報對超算的需求多麼迫切和嚴苛。
預測天氣和氣候是世界上最複雜的問題之一。從20世紀50年代開始,數值模式預報方法取得了成功。然而,60多年來,人們所需的氣象預報時空精度越來越高,數值模式已經從一個簡單的正解方程發展到世界上最複雜的軟體項目之一,海量數據和數百萬條代碼總能輕易佔滿計算設備的所有可用資源。
在這樣迫切的時刻,2018年,中國氣象局迎來了國產高性能計算機系統「派-曙光」。2019年伊始,這套國產高性能計算機系統因在前期測試、試運行中表現良好,通過業務驗收,從此正式承擔起氣象業務運行及科研的重任,這也是首臺應用國產衛星數據,運行國產模式的國產氣象高性能計算機系統。
國產高性能計算機系統「派-曙光」
氣象預報需要的超算有多「硬核」?
中國氣象報記者 張格苗
對每一個普通人來說,手機是必備的電子產品,購買手機的時候,我們首先會看它的硬體配置,希望它處理器更強,打遊戲流暢無阻,存儲空間大,還能兼容市面上大多數應用程式,而且用起來省電,最好不要發熱。
對全球主要氣象機構來說,高性能計算機系統則是在數值模式預報方法為主流的今天不可或缺的技術支撐。他們對高性能計算機的需求與大多數普通人對手機的需求很是類似——架構更先進、計算能力更強、存儲容量更大、更加綠色節能,可有效支持海量數據的處理和眾多模式的運轉,幫助氣象部門更快地研究製作發布更加精準的天氣預報,惠及每一個普通公眾。
當然,和手機一樣,高性能計算機也有自己的「服役期限」,這個周期大約為6-8年,也正因如此,全球主要氣象機構高性能計算機更新換代的新聞頻頻見諸報端。2016年,在距離上一次引進進口高性能計算機系統4年之後,中國氣象局再次提升高性能計算能力。
經過評估分析業務需求,中國氣象局提出了這樣的建設要求:高性能計算系統峰值運算速度要不低於8000萬億次每秒;機器字長,即計算機進行一次整數運算所能處理的二進位數據的位數不小於64bit;內存容量每1個CPU核至少對應6GB內存;在線存儲容量要大於12.6PB,且可擴展;全系統可用度超過99%;作業系統為Unix/Linux,配套基礎軟體,並行語言及集成開發環境。
時值國產超算蓬勃發展,已接連在全球最強超級計算機榜單中拔得頭籌。這套國產高性能計算機系統以超出預期的性能令人眼前一亮——
峰值運算速度達到每秒8189.5萬億次,約為此前中國氣象局使用的進口高性能計算機系統的8倍;內存總容量達到690,432GB;在線存儲物理容量為23,088TB;全系統可用度超過99%;作業系統為Linux,配套基礎軟體,並行語言及集成開發環境。
在系統架構上,它有兩套子系統互相備份,計算資源相對獨立,共享存儲資源。如此一來,即便其中一套出現故障,另一套會提供同樣的支持,氣象業務可靠性大大提高。
除了這些厲害的配置,這套高性能計算機系統為散熱和降低能耗提供的解決方案也令人驚喜。巨型的高性能計算系統常常受此困擾,而這套國產高性能計算機系統晶片液冷技術可同時對主要發熱源CPU、內存進行液冷,實現部件級精確製冷,器件穩定性大幅提高。
這些強大的數據,意味著這套國產高性能計算機系統不僅擁有強大計算能力及存儲能力、高帶寬低延遲的網絡、穩定高效的軟體系統,也擁有計算和 I/O 平衡的、 可擴展的、 穩定可靠的綠色節能系統。
為了支持氣象新領域的研究和適應未來高性能計算機系統的發展,中國氣象局還在這套高性能計算系統中特意配置了小規模試驗子系統,支持GPU/眾核環境下氣象模式的研發與試驗,希望藉此為將來天氣氣候模式在異構平臺的移植提供實驗環境。
國產超算助力氣象業務運行,這不是第一次,也絕不是最後一次。氣象強國與國產超算的未來,值得期待。
造就一顆氣象「最強大腦」
中國氣象報記者 劉釗
硬體搭臺,軟體唱戲。要充分發揮這套高性能計算機系統強大的計算能力,軟體方面的優化必不可少。一方面,業務模式的移植、以及在新系統上效率的提升並不是一件簡單的事,另一方面,這麼多業務系統跑在這套國產高性能計算機系統上,如何合理調配資源,既不讓它們「打架」,又不讓計算資源浪費,同樣是一門大學問。
調度指揮盡顯靈活高效
在這套高性能計算機系統上,運行著眾多的氣象業務系統。它如同一個巨大的生產車間,而各個節點則相當於工人,一起在車間裡面勞動。這個車間的調度者需要一個高效率的指揮工具,這樣才能站在全局高度,指揮各個「工人」分工合作,發揮出最高的生產效率。這套高性能計算機系統的Gridview作業調度軟體就是這樣一個合格的指揮工具,它能夠提供靈活的調度策略、完整的業務流程監控。
國家氣象信息中心針對氣象部門超算使用的特點,為這個車間設定了獨具特色的計算資源管理策略。首先,將計算需求劃分為多個隊列,滿足不同性質作業的運行需求。如常規業務、業務研發、普通科研、特殊保障所需要的計算資源各不相同,常規業務需要的計算資源和佔用時間都比較穩定,而科研佔用的計算資源就有很大的不確定性。這套高性能計算機系統的計算資源管理策略通過搶佔、優先級等方式,優先確保業務和特殊保障的計算資源需要。
這樣的計算資源管理策略,還確保了普通研發和科研用戶使用資源的公平性。科研計算需求的波動性較大,如果用戶獨佔某個節點,在不活躍時將會導致計算資源的浪費。管理策略不允許用戶獨佔使用節點,提高了共享使用率。此外,管理系統可以通過綜合用戶一段時間內的CPU使用情況,確定作業的優先級,以便最大限度實現公平共享。此外人們也不必擔心這個車間裡出現某些工人「偷奸耍滑」,另一些則忙得半死的情況,因為負載均衡調度系統可以實時均衡節點負載,讓工作量合理地分配到每一位工人身上。
它已經有了挑起業務科研「大梁」的實力
氣象業務的計算量不可小覷,天氣預報、氣候預測、氣象科研,林林總總,加在一起可謂負擔繁重。因此,這套高性能計算機系統上崗前, 嚴格體檢和業務培訓總是少不了的。
近年來,國產數值模式有了長足進步,我們耳熟能詳的全球同化預報系統(GRAPES-GFS)、霧-霾預報系統(CUACE-Haze/Fog),大氣環流模式(BCC_AGCM)等國產模式都已經在各自領域內取得了優異成績,成為氣象業務的中堅力量。但國產數值模式如何在國產高性能計算機上順暢運行,還需要做大量的移植與調試工作。
國家氣象信息中心聯合各業務中心,對數值模式的移植做了大量工作,並進行了充分的測試及試運行。目前,14個模式都已經移植完畢先行測試。
以GRAPES為例,它為GRAPES模式帶來了可喜的進步。測試人員完成了GRAPES-GFS解析度為0.25°和0.125°的8天預報。測試結果令人振奮,當採用4096核進行計算,解析度為0.25°時,完成任務所需時間僅為我國上一代氣象超算的八分之一,當解析度進一步細化到0.125°,完成任務所需時間為原系統的五分之一多一點。而當這套高性能計算機系統開啟8192核,進一步提升性能時,完成0.125°解析度任務時間又縮短到了原來的不到七分之一。運行效率得到了巨大提升。
GRAPES全球四維變分同化系統(GRAPES_4DVAR)在這套國產高性能計算機系統上實現業務化運行。基於GRAPES_4DVAR的GRAPES全球預報在中短期時效內獲得全面改進;雨帶和大量級降水預報技巧提高;颱風路徑預報誤差明顯減小15%左右。
由於計算能力不足,GRAPES全球集合預報系統(GRAPES_GEPS)此前未能實現業務化運行,而這一點,也在這套國產高性能計算機系統上做到了。結果證明,31個集合預報成員的1-15天集合預報系統總體性能超過此前的T639全球集合預報系統。
值得一提的是,來自「風雲」系列國產氣象衛星的數據,也已經全面應用到這臺國產高性能計算機系統所支持的各項業務和科研作業中。
而在2018年9月到11月短暫的試運行期間,這套國產高性能計算機系統更是扛起了包括GRAPES全球四維變分同化系統、北京市氣象局冬奧睿圖模式運行,全國高解析度風能太陽能多源數值預報集成業務和全國水平解析度200m風能資源圖譜製作,全球大氣再分析產品研製等多項業務、科研重擔。
測試與試運行時間雖短,但它已經做出了許多貢獻。在2018年汛期實時環境下,這套國產高性能計算機系統已經默默參與到預報重任中,在「瑪麗亞」「安比」「山竹」等颱風預報中為全國會商提供了參考。上海合作組織青島峰會、上海進口博覽會的數值預報產品保障服務工作, 都有這套高性能計算機系統的貢獻的一份力量。科研人員還利用它開發了GRAPES-GFS全球衛星雲圖模擬產品、降水量級誤差訂正產品、平昌冬奧會預報產品。
計算能力的差異,帶來了模式運行效率的顯著提升,但它仍有提升空間。這是因為模式在新系統上的優化需要一個不斷改進的過程,未來,我們可以期待新系統更為優良的表現。
那些年我們用過的高性能計算機
·從1978年引進第一臺高性能計算機開始,全球高性能計算機不斷更新換代,特別是近十幾年來,性能迅速提升,運算能力呈幾何倍數增長,應用於氣象業務和科研的高性能計算機也呈現出同樣的趨勢。
·1978/1983/1985三年引進的高性能計算機由於運算速度數據缺失,因此暫計為0。
·由於前兩項的峰值運算速度太高,以至於其他高性能計算機的運算速度顯示不明顯。
世界主要氣象機構超算計算能力
製圖:劉釗
(來源:中國氣象報社)