海納百川 風雲際會——氣象大數據云平臺「天擎」

2021-01-21 中國氣象局

中國氣象報記者 劉釗 谷星月

集億兆數據於一體,聚業務系統於一身,硬體、數據、流程、平臺、監控全部集約化管理,數據秒級同步、需求秒級響應……長期以來,這樣一個能夠整合氣象部門信息化資源,極大提高業務科研效率的平臺,都存在於構想中。而如今,這個夢想正在照進現實。

它,就是正在建設中的氣象大數據云平臺「天擎」。

今年年初,中國氣象局一號文件印發,聚焦推進氣象業務技術體制重點改革,明確要求構建以氣象大數據云平臺為「雲」、氣象業務系統為「端」的「雲+端」氣象業務技術體制。「天擎」的建設關係到研究型業務試點、氣象業務集約化發展、業務技術體制改革等黨組重點工作任務,可謂是中國氣象局關鍵共性核心技術平臺。那麼該平臺建成後將給現有業務帶來怎樣的變化?讓我們共同走近「天擎」,一覽「雲上風景」。

「天擎」因何而來?——適應大數據時代,推進氣象業務系統轉型升級

大數據時代的序幕已經開啟。當前,氣象部門已積累海量數據資源,隨著監測更加精密化和多源數據廣泛匯集,氣象數據持續爆炸式增長。初步預計,部門內外氣象數據到2022年將達到45PB,日增量40TB。與此同時,海量數據快速匯聚和加工、長序列數據在線分析、部門內外多源數據綜合應用、基於數據挖掘和機器學習而發展的智能預報和服務算法等都需要大數據技術支撐。

當前的氣象業務體制機制急需對接時代快軌。此前,全國綜合氣象信息共享平臺(CIMISS)解決了國省應用統一數據源的問題,但各業務單位、業務系統間的「信息孤島」「應用煙囪」問題仍未根本解決,建設氣象大數據云平臺是推動氣象數據資源整合共享、促進氣象業務集約化發展、推進業務流程優化再造的重要抓手之一。

在這樣的背景下,「天擎」應運而生,它將負責解決數據集約、業務集約問題,有效支撐氣象業務系統和各類數據應用,推進氣象業務和政務管理技術體系的轉型升級。「天擎」將採用雲計算、大數據、人工智慧等新型信息技術,提供「數算一體」的雲上計算服務,支持智能預報和服務系統研發,全面支撐「雲+端」生態運行。而與其同期建設的基礎設施雲平臺,將為「天擎」提供硬體支撐。

「天擎」將帶來哪些改變?——全鏈條效能提升,全流程業務優化

從繼承標準化建設成果、革新技術水平方面,「天擎」脫胎自CIMISS,但它大大擴展了業務範圍,以一個更加開放的「數算一體」和「雲+端」的姿態,成為氣象業務的總引擎。

「天擎」的本質特徵是「雲+端」,也是氣象業務技術體制的發展方向。「雲」即氣象大數據云平臺,統籌管理觀測、預報、服務、政務、行業、社會等完整權威的地球系統大數據,集成質量控制、統計加工、預報預警等全流程業務產品算法,統一產品加工流水線,提供「數據、算力、算法」三統一的平臺化服務。

「端」包括各類觀測、預報預測、服務、管理等業務系統,也包括計算機、手機、各種傳感器等硬體終端及其軟體終端程序。通過推進氣象業務系統與氣象大數據云平臺深度融合,減少中間環節,優化流程,實現數據、技術、業務融合,促進觀測、預報、服務、管理業務高效協同,推進氣象事業高質量發展。

「數算一體」是「天擎」最大的特色。「數」即氣象數據資源,「算」即算法資源,「數算一體」則是將數據和算法資源整合到一起。以往,各個氣象業務系統各自調用其所需數據,重複存儲、重複傳輸的現象非常普遍。而「數算一體」使得算法向數據靠攏,從而減少數據在網絡上的傳輸。算法開發和運行者不用關心數據在哪裡,只需開發和提交算法,就可運行出產品。「數算一體」的算力支撐和流水線調度運行,將使全局業務流程最優化,促進應用協同。

未來,「天擎」建設完成後,隨著氣象領域的數據孤島連成一體、應用煙囪逐個打破,「大」與「快」不再是「魚與熊掌不可兼得」。在100PB級海量數據在線存儲的同時,國省核心實時數據可實現秒級同步;全業務流程的加工算法將得到統一集成,可按業務自然時序,流水線調度運行;實時交互應用可實現亞秒級響應,歷史長序列分析和多維空間分析秒級響應;新的信息技術支撐,可帶動氣象預報和服務模型的智能化發展。

在這樣一個開放、應用融入、智慧財產權清晰的平臺上,氣象部門將形成共建共享的良性業務生態,極大降低研發門檻和工作量,促進研究型業務發展。

「天擎」如何擁抱未來?——開放架構,接納新技術新需求

2019年7月,初具規模的1.0版「天擎」在國家級氣象業務中上線測試運行。2020年7月,省級「天擎」完成部署,今年年底將在全國試運行。

這個版本的天擎雖然還不是「完全體」,但已經全面覆蓋CIMISS的數據管理和服務功能,並實現全流程提速。在此基礎上,「天擎」增設了算法庫與加工流水線,延長關鍵數據的歷史序列,提升實時和歷史數據質量。1.0版的「天擎」已經具備海量數據存儲、全業務貫通、數據高效應用的能力,可直接支撐天氣、氣候預測,大氣探測、公共服務、人工影響天氣等各類氣象業務應用的雲化融入,形成「雲+端」的生態環境。

而「天擎」不會止步於此,以開放性為特點的它,將能夠跟隨時代的進步不斷完善,接納最新的技術、滿足最新的需求。人工智慧、區塊鏈、5G……種種引發話題的新銳技術,都有可能通過開放接口在「天擎」上大顯身手。

以人工智慧為例,「天擎」能夠支撐氣象AI算法的訓練和構建,並提供可視化的訓練和評估流程。目前,國家氣象信息中心正在構建AI預報強對流的訓練數據集。在可以預見的未來,AI將通過「天擎」的孵化,在氣象事業中扮演越來越重要的角色。此外,還未大規模應用的5G通信技術,也在「天擎」中留有相應接口;區塊鏈技術也可能在保護版權、統計分析用戶需求等方面實現突破……

以需求為驅動,「天擎」正在不斷改進、演化。得益於海納百川的數據存儲規模以及效率第一的設計理念,「天擎」能夠迅速響應,一方面不額外消耗資源,一方面構建最適於用戶需求的資料庫乃至算法庫。

展望未來,「天擎」正走在與氣象事業共同高速發展的大道上,向著更智慧、更高效、更集約的明天篤定前行。

相關焦點

  • 民航氣象大數據共享與服務雲平臺上線運行
    中國氣象報記者王敬濤 通訊員張豐蘩報導 近日,面向航空安全和效率的氣象大數據共享與服務雲平臺上線運行。該平臺能為航空公司、空管、機場等運輸航空和通用航空主體提供基於網際網路的氣象大數據支持,進一步滿足航空安全和飛行效率對氣象數據的需求,提升氣象服務的及時性、便捷性和有效性。
  • 宇如聰要求抓實大數據云平臺建設
    中國氣象報記者谷星月報導 7月26日,中國氣象局預報與網絡司在京組織召開氣象大數據云平臺進展情況匯報會。中國氣象局副局長宇如聰肯定大數據云平臺前期建設取得的進展,並對下一步工作提出要求。
  • 空天地一體化氣象監測技術顯身手,颱風暴雨預警有望「早準快」
    光明日報9月14日報導,今年汛期,我國各級氣象部門堅持人民至上、生命至上的理念,立足防大汛、抗大洪、搶大險,利用各種高科技手段進一步強化氣象監測預警,充分應用氣象衛星、雷達和智能網格預報等現代化裝備和技術,進行空天地一體化氣象監測,準確預報出今年雨帶位置階段性變化,以及入汛以來23次大範圍強降雨的落區、強度和時間
  • 回看「十三五」期間氣象科技發展
    「十三五」期間,伴隨觀測站網布局繪就,自動化改革大幕也徐徐拉開——今年4月1日,全國地面氣象觀測站全面實現自動化觀測,中國氣象觀測事業踏上新徵程。與人工觀測相比,自動化觀測頻次約提高4倍到8倍,其中雲觀測站點數提高約3倍,數據量比人工觀測增加約10倍;觀測數據傳輸用時由分鐘級優化至秒級,到報完整率達99%以上,傳輸頻次從5分鐘提升至1分鐘,數據傳輸頻次與效率大幅提高。
  • 「風神」衛星數據來了,請接收
    「風神」衛星數據產品接入,相關服務已通過國家氣象業務內網接口和氣象大數據云平臺發布,提供國家級和省級氣象部門服務。1「風神」衛星數據「直通」中國今年5月,歐洲氣象衛星開發組織(EUMETSAT)開始為各國氣象機構提供大氣層中離地30公裡以內區域風垂直觀測數據,以用於天氣預測。該數據來源於歐洲空間局(ESA)發射的「風神」(Aeolus)衛星。
  • 助力智慧城市建設,雲&大數據平臺遍地開花 | 智慧城市周報
    合肥主展區將環繞大數據生命之樹分布展示內容規劃,包括智慧社區、智慧醫療、智慧交通、智慧環保、智慧教育、智能服務機器人等智慧城市解決方案和產品。在智慧城市建設過程中,合肥市發揮數據資源的開發利用在新型智慧城市建設中的作用,加快新型智慧城市和電子政務頂層設計,推動各大平臺建設,實現城市規劃、建設、管理、運行和服務各方面的均衡發展。
  • NOAA氣象衛星大會:風雲際會大舞臺
    為了配合這次大會的召開,從4月22日開始,衛星遙感跨機構工作組會議、GOES數據技術工作組會和NOAA GOES數據國際用戶培訓等在會前相繼舉辦,為大會的召開烘託了人氣,增加了技術含量。  會議分5個部分,安排了80餘個報告,使得整個會議內容充足且緊湊。特別是,大會的主題定位於「準備未來的環境衛星」,使得大會成為各氣象衛星國和組織爭相展示未來氣象衛星全貌的舞臺。
  • 華為雲WeLink助力中南地區疫情防控通用航空氣象服務平臺雲發布
    然而,冬春之交湖北等地低雲低能見度、降雪、空中積冰頻發,春雷萌動,對航空運輸飛行尤其是通航飛行造成了極大的影響。由於缺乏低空探測信息和精細化預報手段,通航氣象保障遇到不少的障礙。中國民用航空中南地區管理局(中南局)領導迅速做出緊急開發平臺的決定,補齊通航氣象保障短板,在各方通力合作高效協同下,終於迎來了成果。
  • 綜合氣象觀測業務運行信息化平臺投入運行
    1月1日8時,綜合氣象觀測業務運行信息化平臺(以下簡稱「觀測業務信息化平臺」)在全國正式業務運行,實現橫向覆蓋綜合氣象觀測全業務鏈條、縱向貫穿國省市縣四級業務應用,基本實現氣象觀測數據支撐、業務應用融合和產品應用一體化,將進一步保障綜合氣象觀測業務運行質量
  • 遷移到雲平臺需要解決大數據問題
    Denodo公司首席技術官Alberto Pan對於企業將業務遷移到雲平臺時克服大數據的難題進行了闡述。企業利用大數據仍然並非沒有障礙。對於許多企業而言,雲計算已經成為現實。多年來,它已成為實現最大敏捷性、靈活性和可擴展性的關鍵,因此享有聲譽。大數據等雲計算技術的好處已得到充分證明。採用它們的企業能夠根據需要擴展和縮減其數據存儲和計算能力。
  • 鄭州市啟動城市地質大數據云平臺建設
    9月4日,從省地礦局傳來消息,河南省地質調查院與鄭州市自然資源和規劃局日前籤訂「城市地質大數據云平臺建設」項目合同,標誌著鄭州市正式啟動城市地質大數據云平臺建設。河南省地質調查院院長張古彬介紹,鄭州市城市地質大數據云平臺包括一個中心、三大基礎系統和三大應用系統。一個中心即「地質大數據交換中心」,三大基礎系統即「雲平臺基礎系統」、「地質大數據基礎系統」和「雲平臺與地質大數據融合系統」。此外,在基礎系統之上開發三大應用系統,即「資源環境承載能力評價系統」、「地質空間資源開發利用管理系統」、「地質雲信息共享服務系統」。
  • 中國氣象局聯手阿里雲:海量氣象數據變「活數據」
    目前,我國每年新增的氣象數據達到PB量級(1PB=1024TB,1TB=1024GB),較上世紀90年代增長了數千倍,並仍在快速增長中。存儲和處理這些數據,需要海量的計算資源。阿里雲每天可支持上百PB的數據處理,是中國每天新增氣象數據量的數萬倍。採用雲計算服務,中國氣象局可以避免資金巨大、周期漫長的IT系統投入。
  • 鄭州啟動城市地質大數據云平臺建設
    近日,河南省地質調查院與鄭州市自然資源和規劃局籤訂「城市地質大數據云平臺建設」項目合同,標誌著鄭州市多要素城市地質調查工作邁入新階段。城市地質大數據云平臺包括:一個中心——地質大數據交換中心,三大基礎系統——雲平臺基礎系統、地質大數據基礎系統和雲平臺與地質大數據融合系統;並在基礎系統上開發三大應用系統——資源環境承載能力評價系統、地質空間資源開發利用管理系統和地質雲信息共享服務系統。
  • 海納百川、有容乃大,5G+XR助力產業騰飛
    是海納百川的協同利他?是與子同袍的社會責任感?華為-上海虹口5G+XR創新中心,給出了自己的答案。  強強聯手,共織美好雲圖  上海虹口區作為5G綜合應用先導示範區與全球雙千兆第一區,大力推進應用場景的資源開放,推動基於5G原創技術進行的商用模式探索。
  • 山東首個縣級時空大數據與雲平臺建成
    日前,山東省首個縣級時空大數據與雲平臺建設試點項目——智慧新泰時空大數據與雲平臺建設試點項目通過驗收。該試點項目由自然資源部、山東省自然資源廳和新泰市政府共同建設,2018年5月開始實施。該項目整合了全市域多類時空數據、公共專題數據,研製了時空大數據的快速計算和分析方法,搭建了時空信息在線服務超市,面向自然資源管理和各部門需求,開發了9項業務系統;具備專題信息加載、查詢統計、空間分析、可視輸出等服務功能,以及二次開發接口和大數據分析工具。專家認為,這個試點項目可為縣級時空大數據平臺建設提供可借鑑經驗。
  • 環保雲 讓汙染無處逃遁(大數據觀察·雲)
    作為江蘇環保雲平臺的子系統,該信息系統可以實時掌握汙染源信息,「診斷」企業潛在汙染問題。江蘇被列為首批生態環境大數據試點省份,通過建設雲平臺,匯聚全省十萬平方公裡區域內生態數據,助力環境管理與決策。    「南京市草場門,AQI指數是55,首要汙染物為PM10,類別為良。」點進江蘇省環保廳官網的數據中心,可以看到江蘇省內72個監測點實時的空氣品質指數等信息。
  • 這條「小白龍」,來氣象領域大顯神通了
    如今,面向深海大洋開展業務化觀測的白龍浮標,加入了氣象「資料庫」。觀測,可謂是氣象事業的「前線」。為了獲得準確的數據,地面、高空、雷達、衛星……氣象部門布下了「天羅地網」。當然,僅憑氣象部門一己之力,難以做到盡善盡美。國家氣象信息中心收集來自各行各業的氣象數據,作為氣象綜合觀測網絡的有效補充。
  • 當氣象遇上大數據-資訊-中國天氣網
    「算」,就是如何利用數據,來估計各種因素。數據,自古有之,人口普查、農業統計、兵力計算、政治權衡……,數據雖小,卻有助於治國安邦。隨著信息爆炸、互聯互通、智慧城市時代的到來,大數據以排山倒海之勢席捲全球,成為當前信息技術最受關注的概念之一,並躍升為國家戰略的前沿,以及產業競爭力和商業模式創新的源泉。數據之「大」,蘊含全新的能量,怎樣來「算」,挑戰人類的智慧。