國產超算×國產模式×國產數據 天氣預報會更準嗎_中國氣象局

2020-12-11 中國氣象局

  編者按:

  高性能計算機系統,還有一個更為人熟知的名字——超算。自2013年以來連續登陸全球最強超級計算機榜首,國產超算包括硬體、應用等在內的優越性能便廣為人知。

  但很多人不了解,每天服務於我們生產生活的天氣預報對超算的需求多麼迫切和嚴苛。

  預測天氣和氣候是世界上最複雜的問題之一。從20世紀50年代開始,數值模式預報方法取得了成功。然而,60多年來,人們所需的氣象預報時空精度越來越高,數值模式已經從一個簡單的正解方程發展到世界上最複雜的軟體項目之一,海量數據和數百萬條代碼總能輕易佔滿計算設備的所有可用資源。

  在這樣迫切的時刻,2018年,中國氣象局迎來了國產高性能計算機系統「派-曙光」。2019年伊始,這套國產高性能計算機系統因在前期測試、試運行中表現良好,通過業務驗收,從此正式承擔起氣象業務運行及科研的重任,這也是首臺應用國產衛星數據,運行國產模式的國產氣象高性能計算機系統。

國產高性能計算機系統「派-曙光」

氣象預報需要的超算有多「硬核」?

中國氣象報記者 張格苗

  對每一個普通人來說,手機是必備的電子產品,購買手機的時候,我們首先會看它的硬體配置,希望它處理器更強,打遊戲流暢無阻,存儲空間大,還能兼容市面上大多數應用程式,而且用起來省電,最好不要發熱。

  對全球主要氣象機構來說,高性能計算機系統則是在數值模式預報方法為主流的今天不可或缺的技術支撐。他們對高性能計算機的需求與大多數普通人對手機的需求很是類似——架構更先進、計算能力更強、存儲容量更大、更加綠色節能,可有效支持海量數據的處理和眾多模式的運轉,幫助氣象部門更快地研究製作發布更加精準的天氣預報,惠及每一個普通公眾。

  當然,和手機一樣,高性能計算機也有自己的「服役期限」,這個周期大約為6-8年,也正因如此,全球主要氣象機構高性能計算機更新換代的新聞頻頻見諸報端。2016年,在距離上一次引進進口高性能計算機系統4年之後,中國氣象局再次提升高性能計算能力。

  經過評估分析業務需求,中國氣象局提出了這樣的建設要求:高性能計算系統峰值運算速度要不低於8000萬億次每秒;機器字長,即計算機進行一次整數運算所能處理的二進位數據的位數不小於64bit;內存容量每1個CPU核至少對應6GB內存;在線存儲容量要大於12.6PB,且可擴展;全系統可用度超過99%;作業系統為Unix/Linux,配套基礎軟體,並行語言及集成開發環境。

  時值國產超算蓬勃發展,已接連在全球最強超級計算機榜單中拔得頭籌。這套國產高性能計算機系統以超出預期的性能令人眼前一亮——

  峰值運算速度達到每秒8189.5萬億次,約為此前中國氣象局使用的進口高性能計算機系統的8倍;內存總容量達到690,432GB;在線存儲物理容量為23,088TB;全系統可用度超過99%;作業系統為Linux,配套基礎軟體,並行語言及集成開發環境。

  在系統架構上,它有兩套子系統互相備份,計算資源相對獨立,共享存儲資源。如此一來,即便其中一套出現故障,另一套會提供同樣的支持,氣象業務可靠性大大提高。

  除了這些厲害的配置,這套高性能計算機系統為散熱和降低能耗提供的解決方案也令人驚喜。巨型的高性能計算系統常常受此困擾,而這套國產高性能計算機系統晶片液冷技術可同時對主要發熱源CPU、內存進行液冷,實現部件級精確製冷,器件穩定性大幅提高。

  這些強大的數據,意味著這套國產高性能計算機系統不僅擁有強大計算能力及存儲能力、高帶寬低延遲的網絡、穩定高效的軟體系統,也擁有計算和 I/O 平衡的、 可擴展的、 穩定可靠的綠色節能系統。

  為了支持氣象新領域的研究和適應未來高性能計算機系統的發展,中國氣象局還在這套高性能計算系統中特意配置了小規模試驗子系統,支持GPU/眾核環境下氣象模式的研發與試驗,希望藉此為將來天氣氣候模式在異構平臺的移植提供實驗環境。

  國產超算助力氣象業務運行,這不是第一次,也絕不是最後一次。氣象強國與國產超算的未來,值得期待。

造就一顆氣象「最強大腦」

中國氣象報記者 劉釗

  硬體搭臺,軟體唱戲。要充分發揮這套高性能計算機系統強大的計算能力,軟體方面的優化必不可少。一方面,業務模式的移植、以及在新系統上效率的提升並不是一件簡單的事,另一方面,這麼多業務系統跑在這套國產高性能計算機系統上,如何合理調配資源,既不讓它們「打架」,又不讓計算資源浪費,同樣是一門大學問。

  調度指揮盡顯靈活高效

  在這套高性能計算機系統上,運行著眾多的氣象業務系統。它如同一個巨大的生產車間,而各個節點則相當於工人,一起在車間裡面勞動。這個車間的調度者需要一個高效率的指揮工具,這樣才能站在全局高度,指揮各個「工人」分工合作,發揮出最高的生產效率。這套高性能計算機系統的Gridview作業調度軟體就是這樣一個合格的指揮工具,它能夠提供靈活的調度策略、完整的業務流程監控。

  國家氣象信息中心針對氣象部門超算使用的特點,為這個車間設定了獨具特色的計算資源管理策略。首先,將計算需求劃分為多個隊列,滿足不同性質作業的運行需求。如常規業務、業務研發、普通科研、特殊保障所需要的計算資源各不相同,常規業務需要的計算資源和佔用時間都比較穩定,而科研佔用的計算資源就有很大的不確定性。這套高性能計算機系統的計算資源管理策略通過搶佔、優先級等方式,優先確保業務和特殊保障的計算資源需要。

  這樣的計算資源管理策略,還確保了普通研發和科研用戶使用資源的公平性。科研計算需求的波動性較大,如果用戶獨佔某個節點,在不活躍時將會導致計算資源的浪費。管理策略不允許用戶獨佔使用節點,提高了共享使用率。此外,管理系統可以通過綜合用戶一段時間內的CPU使用情況,確定作業的優先級,以便最大限度實現公平共享。此外人們也不必擔心這個車間裡出現某些工人「偷奸耍滑」,另一些則忙得半死的情況,因為負載均衡調度系統可以實時均衡節點負載,讓工作量合理地分配到每一位工人身上。

  它已經有了挑起業務科研「大梁」的實力

  氣象業務的計算量不可小覷,天氣預報、氣候預測、氣象科研,林林總總,加在一起可謂負擔繁重。因此,這套高性能計算機系統上崗前, 嚴格體檢和業務培訓總是少不了的。

  近年來,國產數值模式有了長足進步,我們耳熟能詳的全球同化預報系統(GRAPES-GFS)、霧-霾預報系統(CUACE-Haze/Fog),大氣環流模式(BCC_AGCM)等國產模式都已經在各自領域內取得了優異成績,成為氣象業務的中堅力量。但國產數值模式如何在國產高性能計算機上順暢運行,還需要做大量的移植與調試工作。

  國家氣象信息中心聯合各業務中心,對數值模式的移植做了大量工作,並進行了充分的測試及試運行。目前,14個模式都已經移植完畢先行測試。

  以GRAPES為例,它為GRAPES模式帶來了可喜的進步。測試人員完成了GRAPES-GFS解析度為0.25°和0.125°的8天預報。測試結果令人振奮,當採用4096核進行計算,解析度為0.25°時,完成任務所需時間僅為我國上一代氣象超算的八分之一,當解析度進一步細化到0.125°,完成任務所需時間為原系統的五分之一多一點。而當這套高性能計算機系統開啟8192核,進一步提升性能時,完成0.125°解析度任務時間又縮短到了原來的不到七分之一。運行效率得到了巨大提升。

  GRAPES全球四維變分同化系統(GRAPES_4DVAR)在這套國產高性能計算機系統上實現業務化運行。基於GRAPES_4DVAR的GRAPES全球預報在中短期時效內獲得全面改進;雨帶和大量級降水預報技巧提高;颱風路徑預報誤差明顯減小15%左右。

  由於計算能力不足,GRAPES全球集合預報系統(GRAPES_GEPS)此前未能實現業務化運行,而這一點,也在這套國產高性能計算機系統上做到了。結果證明,31個集合預報成員的1-15天集合預報系統總體性能超過此前的T639全球集合預報系統。

  值得一提的是,來自「風雲」系列國產氣象衛星的數據,也已經全面應用到這臺國產高性能計算機系統所支持的各項業務和科研作業中。

  而在2018年9月到11月短暫的試運行期間,這套國產高性能計算機系統更是扛起了包括GRAPES全球四維變分同化系統、北京市氣象局冬奧睿圖模式運行,全國高解析度風能太陽能多源數值預報集成業務和全國水平解析度200m風能資源圖譜製作,全球大氣再分析產品研製等多項業務、科研重擔。

  測試與試運行時間雖短,但它已經做出了許多貢獻。在2018年汛期實時環境下,這套國產高性能計算機系統已經默默參與到預報重任中,在「瑪麗亞」「安比」「山竹」等颱風預報中為全國會商提供了參考。上海合作組織青島峰會、上海進口博覽會的數值預報產品保障服務工作, 都有這套高性能計算機系統的貢獻的一份力量。科研人員還利用它開發了GRAPES-GFS全球衛星雲圖模擬產品、降水量級誤差訂正產品、平昌冬奧會預報產品。

  計算能力的差異,帶來了模式運行效率的顯著提升,但它仍有提升空間。這是因為模式在新系統上的優化需要一個不斷改進的過程,未來,我們可以期待新系統更為優良的表現。

那些年我們用過的高性能計算機

  

  ·從1978年引進第一臺高性能計算機開始,全球高性能計算機不斷更新換代,特別是近十幾年來,性能迅速提升,運算能力呈幾何倍數增長,應用於氣象業務和科研的高性能計算機也呈現出同樣的趨勢。

  ·1978/1983/1985三年引進的高性能計算機由於運算速度數據缺失,因此暫計為0。

  ·由於前兩項的峰值運算速度太高,以至於其他高性能計算機的運算速度顯示不明顯。

世界主要氣象機構超算計算能力

  

  製圖:劉釗 

 

(責任編輯:欒菲)

  

  

相關焦點

  • 廣東天氣實驗室「超算+雲算」 突破天災預報瓶頸
    古人曰「看雲識天氣」,隨著數位化、大數據時代的到來,現在的天氣預報更多卻是「算」出來的,預報提前量與精細化能力的比拼,在一定程度上就是計算能力的比拼。  去年底,作為省部合作共建氣象現代化試點省的重要項目,廣東正式啟動區域數值天氣預報重點實驗室。
  • 英國砸12億英鎊研發天氣預報超級計算機 天氣是這樣被超算「算計」的
    前不久,英國政府宣布撥款12億英鎊(約合102億人民幣),用於研發新一代超級計算機,以便在2022年獲得全球性能最強的天氣預報超算。提到超算,人們自然而然會聯想到它被用於航天、勘探、生命科學等「高大上」的領域。
  • 代表「中國速度」的6家國家超算中心,你了解嗎?
    超級計算機主要特點包括:極大的數據存儲容量和極快速的數據處理速度,一個國家的高性能的超級計算機,是國家科技發展水平和綜合國力的重要標誌。從2009年起,中國已先後在天津、深圳、濟南、長沙、廣州、無錫建成6家國家級超算中心,現在就來了解一下。
  • 超前布局、跨界融合……超算全面國產化指日可待!
    超前布局、跨界融合……超算全面國產化指日可待!目前,我國正在加速研製E級超算。張雲泉認為,超算要全國產化,這是肯定會實現的目標。超算就像高鐵一樣,它的關鍵技術我們全部掌握,尤其是國產化之後,這個成本也會快速降低,價格也有優勢,然後服務水平也會接著上來。可以預見,將來國際上也會有很多中國造的超算機器,包括研製都可能會被中國給壟斷。儘管美國和日本不願意接受,但這無法阻擋我國超算發展的步伐,並將在未來引領世界超算的發展。
  • 國產化妝品崛起?國產美妝銷售額兩小時破億、關注度超國際大牌
    上周,被稱為中概股中「國產美妝第一股」的逸仙電商成功登陸紐交所。作為一家僅成立四年的企業,它快速發展的背後是中國年輕一代消費力的迅速崛起。算下來,每件彩妝產品的價格不足百元。小陸告訴記者,購買這些國產品牌一是看中了平價,二來也是因為身邊朋友小陳的推薦。
  • 你用的洗髮水,是國產的嗎?國產洗髮水之「殤」!
    悲哀的是,在這個競爭日益激烈的中國洗髮水市場,外國的洗髮水品牌逐漸佔了上風,擁有了70%以上的市場份額,雖說原因讓人特別地無能為力!但還是想問一下,你用的洗髮水,是國產的嗎?一些國產知名品牌一步步被國外公司收購,開始走下坡路,漸漸地被市場所遺忘。如今再逛商超你會發現,拉芳、蒂花之秀等老牌國產洗髮水難覓身影。
  • 英國砸12億英鎊……天氣就這樣被超算「算計」了
    以便在2022年獲得全球性能最強的天氣預報超算。提到超算,人們自然而然會聯想到它被用於航天、勘探、生命科學等「高大上」的領域。然而,鮮為人知的是,看似與超算風馬牛不相及的天氣預報,也是超算應用最廣泛的領域之一。
  • 英國砸12億英鎊 研發天氣預報超級計算機
    英國砸12億英鎊,研發天氣預報超級計算機  天氣就這樣被超算「算計」了  本報記者 付麗麗  前不久,英國政府宣布撥款12億英鎊(約合102億人民幣),用於研發新一代超級計算機,以便在2022年獲得全球性能最強的天氣預報超算。
  • 為什麼中國的大貨車都是國產的,而不是用進口的
    大家都知道,在中國的道路上跑的貨車都是國產的為什麼不用進口的,比如國產的有解放啊,紅巖啊,陝汽,福田啊,大貨車習慣稱為商用車,是做為生產資料工具,大多是營運性質。作為中國商用貨車,在改革開放引進30多年裡取得了長足發展和重大進步,目前出口世界數十個國家,同時在國外建廠及裝配線也有數家,得到外國用戶廣泛認可和好評,性價比超好!
  • 數值天氣預報背後的故事
    從零基礎到數值天氣預報專家  入職的第一周,孫啟龍便走上了數值天氣預報超算應用服務的道路。很快計算機專業背景的孫啟龍遇到了第一個問題——天氣預報背景知識匱乏。  閱讀大量天氣預報相關專業書籍、查閱數值天氣預報前沿文獻材料,孫啟龍在短時間內快速彌補自己的短板,對國內外數值天氣預報的發展現狀和趨勢有了清晰的認識。
  • 中國氣象局官員:天氣預報擬增可能引發病症預報
    京華時報訊(記者文靜實習記者樊瑞)昨天,中央十餘部委聯合召開高溫少雨乾旱應對協商會。在隨後舉行的發布會上,針對全國發生多起熱射病死亡案例,中國氣象局應急減災與公共服務司司長陳振林表示,今後天氣預報將進一步完善,預報出天氣可能引發的各種病症。
  • 【科技】天氣預報精確到一小時,氣象自主創新的路走對了!
    「當你打開手機查看天氣的APP,就會發現,現在我國的天氣預報已經能精確到一個小時;現在氣象主播在播報天氣預報時,也已經很少使用『局地有雨』這種說法……這些變化,說明我國氣象預報已經進入了精細化時代。」中國氣象局數值預報中心副主任、國家數值預報創新團隊負責人沈學順日前接受記者採訪時說,這一切源於我國氣象科技工作者近年來一直堅持自主創新,研發了風雲衛星和國家級數值預報業務體系。
  • 「飛鶴、君樂寶」們悄然壯大,但國產奶粉真的翻身了嗎?
    今年3月,石家莊君樂寶乳業有限公司(以下簡稱「君樂寶」)宣布完成超12億元戰略融資,投資方為紅杉資本中國基金,後者以15.26%的持股比例成為君樂寶最大的機構股東;去年11月,國產奶粉品牌中國飛鶴正式在港上市,發行價7.5港元,此後股價一路扶搖直上,歷史最高價達14.42港元,較發行價漲超92%。
  • 中國巧克力市場已被洋品牌瓜分 國產巧克力難覓
    實際上,巧克力消費的季節性非常強,春節、情人節、中秋節和聖誕節這幾個重要節日,巧克力的銷量會猛增,「主要就是靠這幾個大節日帶動,平時的銷量也很一般,像夏天基本上都賣不動。」工作人員說。  去年,英敏特公布了一份讓國產品牌巧克力「哭暈」的數據——被訪問的3000名消費者中,89.5%的用戶傾向於購買國外品牌,僅3.3%的用戶選擇國產品牌。「我實在找不到買國產品牌巧克力的理由!」
  • 國產化妝品崛起?「國貨之光」銷售額兩小時破億、關注度超國際大牌...
    逸仙電商首席營銷官 孫蕾:有統計數據顯示,「Z世代」的人群、千禧一代的人群佔中國總人口數的29%,而這一群人佔中國美妝消費的總人口數的59%,我們可以看到美妝產品在年輕人群中的滲透率會更高。溪木源聯合創始人 藍飛:我們發現要打動90後的女性消費者,產品的真材實料、包裝的高顏值以及產品價格的物超所值是至關重要的。 電商平臺數據顯示,國產新銳美妝品牌正迎高速增長。今年「雙十一」,完美日記蟬聯彩妝品類銷售額第一,花西子緊隨其後。
  • 15天天氣預報能信嗎?其實是電腦算出來的
    天氣預報一報給你報半個月,靠不靠譜?近期,一些天氣預報軟體和網站陸續推出了長達15天左右的天氣預報,短期天氣預報還未必準確,推出時效性如此長的預報,難免讓人感覺是「找抽」。記者比對後發現,半個月前對最近幾天的預報是中雨接著小雨,而實際情況是雨勢明顯減弱,高溫即將重臨。
  • 國產系統?基於Linux研發的深度Deepin系統,到底算不算真國產
    但是,也引發了一些人的疑問:基於Linux研發的深度Deepin系統,算不算是真的國產作業系統?面對這個疑問,很多人都會糊裡糊塗地說「不是」!理由就是:Deepin系統是基於Linux內核研發的,而很多人都覺得Linux內核是「外國的」,那麼類似於Deepin等的作業系統,就「不算」國產。
  • 合格率超99%,銷量大漲!國產奶粉的信任危機解除了?
    近日,君樂寶奶粉攜手拼多多,現場直播國產奶粉從奶源到工廠加工再到成品的全過程。當天直播圍觀人數超40萬,帶動了君樂寶奶粉銷量暴漲。 除此之外,國產奶粉銷量最高的飛鶴公司也於近期交出了一份頗為亮眼的業績,其上半年財報實現營業收入87.1億元,同比增長47.8%。這不由得讓人聯想到國產奶粉是要迎來春天了嗎?
  • 國產奶粉崛起:君樂寶國際品質護航中國寶寶口糧
    今年3月新推出的君樂寶優萃有機奶粉,試銷首月訂單超1.2億元。君樂寶對搜狐財經表示,越來越多的消費者認識到國產奶粉的價值。作為率先獲得「歐洲雙認證」的國產奶粉,君樂寶代表中國奶粉屢獲世界品質大獎,同時堅持「優質優價」戰略,復購率高達96%,遠超進口品牌。
  • 華為鯤鵬深度解析:定位中國Intel,重塑國產IT生態價值體系
    此前我國國產替代主要以中國軟體、中國長城、龍芯為代表的傳統信創體系。2019 年華為攜鯤鵬切入國產替代,憑藉華為強大的技術實力有望大大加速國產替代的進程。市場端:信創市場空間超 6000 億 從黨政軍到民生行業市場,國產替代市場空間巨大。