國產超算×國產模式×國產數據 我們的天氣預報會更準嗎?

2020-12-06 中國氣象局

編者按:

高性能計算機系統,還有一個更為人熟知的名字——超算。自2013年以來連續登陸全球最強超級計算機榜首,國產超算包括硬體、應用等在內的優越性能便廣為人知。

但很多人不了解,每天服務於我們生產生活的天氣預報對超算的需求多麼迫切和嚴苛。

預測天氣和氣候是世界上最複雜的問題之一。從20世紀50年代開始,數值模式預報方法取得了成功。然而,60多年來,人們所需的氣象預報時空精度越來越高,數值模式已經從一個簡單的正解方程發展到世界上最複雜的軟體項目之一,海量數據和數百萬條代碼總能輕易佔滿計算設備的所有可用資源。

在這樣迫切的時刻,2018年,中國氣象局迎來了國產高性能計算機系統「派-曙光」。2019年伊始,這套國產高性能計算機系統因在前期測試、試運行中表現良好,通過業務驗收,從此正式承擔起氣象業務運行及科研的重任,這也是首臺應用國產衛星數據,運行國產模式的國產氣象高性能計算機系統。

國產高性能計算機系統「派-曙光」

氣象預報需要的超算有多「硬核」?

中國氣象報記者 張格苗

對每一個普通人來說,手機是必備的電子產品,購買手機的時候,我們首先會看它的硬體配置,希望它處理器更強,打遊戲流暢無阻,存儲空間大,還能兼容市面上大多數應用程式,而且用起來省電,最好不要發熱。

對全球主要氣象機構來說,高性能計算機系統則是在數值模式預報方法為主流的今天不可或缺的技術支撐。他們對高性能計算機的需求與大多數普通人對手機的需求很是類似——架構更先進、計算能力更強、存儲容量更大、更加綠色節能,可有效支持海量數據的處理和眾多模式的運轉,幫助氣象部門更快地研究製作發布更加精準的天氣預報,惠及每一個普通公眾。

當然,和手機一樣,高性能計算機也有自己的「服役期限」,這個周期大約為6-8年,也正因如此,全球主要氣象機構高性能計算機更新換代的新聞頻頻見諸報端。2016年,在距離上一次引進進口高性能計算機系統4年之後,中國氣象局再次提升高性能計算能力。

經過評估分析業務需求,中國氣象局提出了這樣的建設要求:高性能計算系統峰值運算速度要不低於8000萬億次每秒;機器字長,即計算機進行一次整數運算所能處理的二進位數據的位數不小於64bit;內存容量每1個CPU核至少對應6GB內存;在線存儲容量要大於12.6PB,且可擴展;全系統可用度超過99%;作業系統為Unix/Linux,配套基礎軟體,並行語言及集成開發環境。

時值國產超算蓬勃發展,已接連在全球最強超級計算機榜單中拔得頭籌。這套國產高性能計算機系統以超出預期的性能令人眼前一亮——

峰值運算速度達到每秒8189.5萬億次,約為此前中國氣象局使用的進口高性能計算機系統的8倍;內存總容量達到690,432GB;在線存儲物理容量為23,088TB;全系統可用度超過99%;作業系統為Linux,配套基礎軟體,並行語言及集成開發環境。

在系統架構上,它有兩套子系統互相備份,計算資源相對獨立,共享存儲資源。如此一來,即便其中一套出現故障,另一套會提供同樣的支持,氣象業務可靠性大大提高。

除了這些厲害的配置,這套高性能計算機系統為散熱和降低能耗提供的解決方案也令人驚喜。巨型的高性能計算系統常常受此困擾,而這套國產高性能計算機系統晶片液冷技術可同時對主要發熱源CPU、內存進行液冷,實現部件級精確製冷,器件穩定性大幅提高。

這些強大的數據,意味著這套國產高性能計算機系統不僅擁有強大計算能力及存儲能力、高帶寬低延遲的網絡、穩定高效的軟體系統,也擁有計算和 I/O 平衡的、 可擴展的、 穩定可靠的綠色節能系統。

為了支持氣象新領域的研究和適應未來高性能計算機系統的發展,中國氣象局還在這套高性能計算系統中特意配置了小規模試驗子系統,支持GPU/眾核環境下氣象模式的研發與試驗,希望藉此為將來天氣氣候模式在異構平臺的移植提供實驗環境。

國產超算助力氣象業務運行,這不是第一次,也絕不是最後一次。氣象強國與國產超算的未來,值得期待。

造就一顆氣象「最強大腦」

中國氣象報記者 劉釗

硬體搭臺,軟體唱戲。要充分發揮這套高性能計算機系統強大的計算能力,軟體方面的優化必不可少。一方面,業務模式的移植、以及在新系統上效率的提升並不是一件簡單的事,另一方面,這麼多業務系統跑在這套國產高性能計算機系統上,如何合理調配資源,既不讓它們「打架」,又不讓計算資源浪費,同樣是一門大學問。

調度指揮盡顯靈活高效

在這套高性能計算機系統上,運行著眾多的氣象業務系統。它如同一個巨大的生產車間,而各個節點則相當於工人,一起在車間裡面勞動。這個車間的調度者需要一個高效率的指揮工具,這樣才能站在全局高度,指揮各個「工人」分工合作,發揮出最高的生產效率。這套高性能計算機系統的Gridview作業調度軟體就是這樣一個合格的指揮工具,它能夠提供靈活的調度策略、完整的業務流程監控。

國家氣象信息中心針對氣象部門超算使用的特點,為這個車間設定了獨具特色的計算資源管理策略。首先,將計算需求劃分為多個隊列,滿足不同性質作業的運行需求。如常規業務、業務研發、普通科研、特殊保障所需要的計算資源各不相同,常規業務需要的計算資源和佔用時間都比較穩定,而科研佔用的計算資源就有很大的不確定性。這套高性能計算機系統的計算資源管理策略通過搶佔、優先級等方式,優先確保業務和特殊保障的計算資源需要。

這樣的計算資源管理策略,還確保了普通研發和科研用戶使用資源的公平性。科研計算需求的波動性較大,如果用戶獨佔某個節點,在不活躍時將會導致計算資源的浪費。管理策略不允許用戶獨佔使用節點,提高了共享使用率。此外,管理系統可以通過綜合用戶一段時間內的CPU使用情況,確定作業的優先級,以便最大限度實現公平共享。此外人們也不必擔心這個車間裡出現某些工人「偷奸耍滑」,另一些則忙得半死的情況,因為負載均衡調度系統可以實時均衡節點負載,讓工作量合理地分配到每一位工人身上。

它已經有了挑起業務科研「大梁」的實力

氣象業務的計算量不可小覷,天氣預報、氣候預測、氣象科研,林林總總,加在一起可謂負擔繁重。因此,這套高性能計算機系統上崗前, 嚴格體檢和業務培訓總是少不了的。

近年來,國產數值模式有了長足進步,我們耳熟能詳的全球同化預報系統(GRAPES-GFS)、霧-霾預報系統(CUACE-Haze/Fog),大氣環流模式(BCC_AGCM)等國產模式都已經在各自領域內取得了優異成績,成為氣象業務的中堅力量。但國產數值模式如何在國產高性能計算機上順暢運行,還需要做大量的移植與調試工作。

國家氣象信息中心聯合各業務中心,對數值模式的移植做了大量工作,並進行了充分的測試及試運行。目前,14個模式都已經移植完畢先行測試。

以GRAPES為例,它為GRAPES模式帶來了可喜的進步。測試人員完成了GRAPES-GFS解析度為0.25°和0.125°的8天預報。測試結果令人振奮,當採用4096核進行計算,解析度為0.25°時,完成任務所需時間僅為我國上一代氣象超算的八分之一,當解析度進一步細化到0.125°,完成任務所需時間為原系統的五分之一多一點。而當這套高性能計算機系統開啟8192核,進一步提升性能時,完成0.125°解析度任務時間又縮短到了原來的不到七分之一。運行效率得到了巨大提升。

GRAPES全球四維變分同化系統(GRAPES_4DVAR)在這套國產高性能計算機系統上實現業務化運行。基於GRAPES_4DVAR的GRAPES全球預報在中短期時效內獲得全面改進;雨帶和大量級降水預報技巧提高;颱風路徑預報誤差明顯減小15%左右。

由於計算能力不足,GRAPES全球集合預報系統(GRAPES_GEPS)此前未能實現業務化運行,而這一點,也在這套國產高性能計算機系統上做到了。結果證明,31個集合預報成員的1-15天集合預報系統總體性能超過此前的T639全球集合預報系統。

值得一提的是,來自「風雲」系列國產氣象衛星的數據,也已經全面應用到這臺國產高性能計算機系統所支持的各項業務和科研作業中。

而在2018年9月到11月短暫的試運行期間,這套國產高性能計算機系統更是扛起了包括GRAPES全球四維變分同化系統、北京市氣象局冬奧睿圖模式運行,全國高解析度風能太陽能多源數值預報集成業務和全國水平解析度200m風能資源圖譜製作,全球大氣再分析產品研製等多項業務、科研重擔。

測試與試運行時間雖短,但它已經做出了許多貢獻。在2018年汛期實時環境下,這套國產高性能計算機系統已經默默參與到預報重任中,在「瑪麗亞」「安比」「山竹」等颱風預報中為全國會商提供了參考。上海合作組織青島峰會、上海進口博覽會的數值預報產品保障服務工作, 都有這套高性能計算機系統的貢獻的一份力量。科研人員還利用它開發了GRAPES-GFS全球衛星雲圖模擬產品、降水量級誤差訂正產品、平昌冬奧會預報產品。

計算能力的差異,帶來了模式運行效率的顯著提升,但它仍有提升空間。這是因為模式在新系統上的優化需要一個不斷改進的過程,未來,我們可以期待新系統更為優良的表現。

那些年我們用過的高性能計算機

·從1978年引進第一臺高性能計算機開始,全球高性能計算機不斷更新換代,特別是近十幾年來,性能迅速提升,運算能力呈幾何倍數增長,應用於氣象業務和科研的高性能計算機也呈現出同樣的趨勢。

·1978/1983/1985三年引進的高性能計算機由於運算速度數據缺失,因此暫計為0。

·由於前兩項的峰值運算速度太高,以至於其他高性能計算機的運算速度顯示不明顯。

世界主要氣象機構超算計算能力

製圖:劉釗

(來源:中國氣象報社)

相關焦點

  • 國產超算×國產模式×國產數據 天氣預報會更準嗎-中國氣象局政府...
    自2013年以來連續登陸全球最強超級計算機榜首,國產超算包括硬體、應用等在內的優越性能便廣為人知。  但很多人不了解,每天服務於我們生產生活的天氣預報對超算的需求多麼迫切和嚴苛。  預測天氣和氣候是世界上最複雜的問題之一。從20世紀50年代開始,數值模式預報方法取得了成功。然而,60多年來,人們所需的氣象預報時空精度越來越高,數值模式已經從一個簡單的正解方程發展到世界上最複雜的軟體項目之一,海量數據和數百萬條代碼總能輕易佔滿計算設備的所有可用資源。
  • 科學網—「SaaS化」或為國產超算軟體未來出路
    事實上,中國的超算應用團隊已經連續兩年獲得超算應用領域的「諾獎」——戈登貝爾獎,但國產應用軟體——特指那些不僅可以自用、還能夠實現通用的軟體—— 一直並未打開局面。 並不是說我們做不出好的軟體。其實國家也有許多在軟體方面的投入,由於工作原因我所接觸的國內頂級應用軟體,有些問題很難突破,具體表現為很多國產軟體沒有用好甚至沒用上。
  • 天河二號世界超算五連冠:能讓天氣預報更精準!
    這是「天河二號」自2013年6月問世以來,連續5次位居世界超算500強榜首。國際超級計算機TOP500組織是發布全球已安裝的超級計算機性能排名的權威機構,以系統的實測速度(Linpack測試值)為基準進行排名,每年發布兩次。位居排行榜首位的超級計算機,代表了世界超算的頂尖水平。
  • 廣州「天河二號」超算天氣預報可精確到「1公裡」
    全年系統可用率超過99.99%,資源利用率平均達到75%,廣州超算中心服務用戶數量從2015年的691家提升到目前的4000餘家,與國內重點單位共建高通量計算與數據融合的新材料設計平臺、國產數字風洞、大數據系統軟體國家工程實驗室等重大科技合作平臺,為各領域的科技創新提供支撐。
  • 漲知識:這個「超級大腦」改變了中國的天氣預報!
    超級計算機,如今已是氣象工作不可或缺的利器,數值預報則是天氣預報的重要技術手段。兩者珠聯璧合,共同成就了當代天氣預報的主流方法。 當下,我國的氣象「超算」和數值天氣預報已較成熟。第一章  中期預報的艱難歲月20世紀80年代,數值預報已經成為國際天氣預報的主流發展趨勢,而我國的中期數值天氣預報系統尚未建立,已經成為制約預報能力提高的重要因素。
  • 國產系統?基於Linux研發的深度Deepin系統,到底算不算真國產
    但是,也引發了一些人的疑問:基於Linux研發的深度Deepin系統,算不算是真的國產作業系統?面對這個疑問,很多人都會糊裡糊塗地說「不是」!理由就是:Deepin系統是基於Linux內核研發的,而很多人都覺得Linux內核是「外國的」,那麼類似於Deepin等的作業系統,就「不算」國產。那麼,這個看似很有道理的理由成立嗎?
  • 國產凍齡女神,95年就職的她在天氣預報裡「長生不老」
    愛你所愛   歲月也不忍打擾   國產凍齡女神   央視實在藏龍臥虎   堪稱爆款製造機   地球不重啟我們不休息還印在腦子裡
  • 國產化妝品崛起?「國貨之光」銷售額兩小時破億、關注度超國際大牌...
    「Z世代」消費力崛起 國產美妝跑出加速度在北京一家銷售國產美妝的線下集合店,記者遇到了18歲的小陸。她今天來買自己人生中的第一套美妝產品。小陸的籃子裡一共裝了十多件不同品牌的彩妝產品,價格819元。算下來,每件彩妝產品的價格不足百元。小陸告訴記者,購買這些國產品牌一是看中了其平價,二來也是因為身邊朋友小陳的推薦。
  • 國產超低價單片機五宗罪
    如果你去找他理論,原廠卻可以拿著數據手冊理直氣壯拒絕負責。所以這種物超所值的便宜非但不敢佔,而且還會引起我們的警惕——你說的太少或太多,都會讓人更惶恐。 然而巧合的是,此前推出的另一個型號STM8S103,它的EEPROM就是640個字節,且在意法官宣中,這款003本就是用來替代103的。
  • 國產大豆「找不著北」了嗎
    然而,中國海關最新的統計數據顯示,2015年我國進口大豆8169萬噸,比上一年增加1029萬噸。蜂擁而來的進口大豆擠佔了上市不久的東北大豆的銷路。有人驚呼,進口大豆讓國產大豆「找不著北」了。首先來看大豆大量進口對我國糧食安全的影響。業內對糧食進口爭議的焦點在大豆。按我國統計口徑,大豆納入糧食的豆類,進口糧食的70%以上是大豆。按此算,我國糧食進口量就顯得多了。
  • 天氣就這樣被超算「算計」了
    前不久,英國政府宣布撥款12億英鎊(約合102億人民幣),用於研發新一代超級計算機,以便在2022年獲得全球性能最強的天氣預報超算。提到超算,人們自然而然會聯想到它被用於航天、勘探、生命科學等「高大上」的領域。
  • 中科院張輝造出國產「夸父量子」晶片
    現在,美國制裁中國中低端晶片,未來夸父高端量子晶片領先全世界,中科院張輝說:」夸父晶片除了機箱與制冷機,我們都能自主研發或者國內廠商替代量產」,夸父成功實現中國高端晶片地位,在所有國產晶片受到制裁時,夸父晶片不受實體清單幹擾。
  • 對比了一下國產牛奶蛋白質含量,我才知道國產牛奶有多優秀!
    那麼拋開10年前「國標」的標準不說,我們再來看看現在市場上的一些國產牛奶中蛋白質的含量到底是不是還是僅按照這個10年前的「國標」在生產的?為此,我專門去查訪了市場上售賣的一些國產牛奶的蛋白質含量。除了蒙牛、伊利兩家龍頭企業旗下的這幾款產品的蛋白質含量都遠超「國標」以外,根據農村農業部發布的數據圖中我們也可以看到,從2013年到2018年,我國生鮮乳乳蛋白含量在逐年提高的!
  • 上海試點天氣預報向影響預報和風險預警轉變 預報精度可細至3公裡...
    據了解,近年來,上海氣象部門建立了以高解析度數值模式為基礎,與用戶的承載力及決策過程相結合的氣象風險預警服務業務體系,這也是落實《上海市氣象災害防禦辦法》第二十一條要求:市和區氣象主管機構應當會同水務、交通、環保等部門針對氣象因素可能引發的城市積澇、道路擁堵、航班延誤、空氣汙染、健康損害等,組織開展影響預報和風險預警,引導社會科學防禦。
  • 漫說國產手機十年進化史:國產手機,穩了嗎?
    漫說國產手機十年進化史:國產手機,穩了嗎?2018-11-15 18:05 來源:澎湃新聞·澎湃號·湃客 全叔叨叨叨:       雖然國產手機成績喜人
  • 馬雲改穿國產品牌羽絨服,國產品牌如何崛起?
    這一次,馬雲終於沒有再穿國外的羽絨服品牌,而是脫下了國外進口的Moncler和加拿大鵝,穿上了有著四十餘年歷史的國產羽絨服老品牌波司登(3998.HK)。為何馬爸爸會改穿國產品牌羽絨服?這背後,可能和國貨正在「回潮」,以及阿里巴巴大力布局國民品牌有著很大的關係。
  • 國產示波器能用嗎_國產示波器哪種比較好
    也許你會覺得,生產設備不行那就換行的唄! 但事實上這個確實存在問題。一些設備是對中國禁運的,就算把這些設備弄回來了,生產的成本會很高,因為國人並非有國產的就一定會買它。所以國產示波器到底能不能用看你自己的選擇,畢竟一分價格一分貨,根據自己的預算來決定。
  • 國產蓄電池品牌排行榜,國產蓄電池介紹
    導讀:國產蓄電池品牌排行榜,國產蓄電池介紹在新能源汽車快速發展的情形下,對於新能源的追求一直是新能源汽車公司的最高目標,而電能在現在無疑是最理 想的新能源。下面就讓太平洋汽車網小編為大家介紹國產蓄電池品牌排行榜,國產蓄電池介紹吧!
  • 吸塵器賽道「塵土飛揚」:國產品牌「多強」迎戰「一超」戴森?
    畢竟是友商,對檀衝爆料的真實性我們不置可否,但火藥味我們是隔著屏幕都能嗅到,這背後以戴森為代表的國際品牌與國產吸塵器品牌之間的較量怕是已經開啟。大勢所趨:「一超」戴森,「多強」國產品牌英特爾總裁安迪·格魯夫曾經說過:每一個戰略轉折點都表現出10倍速變化,而每一個10倍速變化都會導致戰略轉折點。
  • 國家超算深圳中心:部署E級計算機 2年提升計算能力1千倍
    1000倍,為灣區基礎科學研究、雲計算、大數據和人工智慧提供支持。2009年,深圳超算中心獲批成立;2011年,投入運營。近10年來,深圳超算累計服務3萬個以上用戶團隊,完成各類計算任務逾千萬個,完成15億核小時計算。