中國氣象報記者 劉釗 谷星月
集億兆數據於一體,聚業務系統於一身,硬體、數據、流程、平臺、監控全部集約化管理,數據秒級同步、需求秒級響應……長期以來,這樣一個能夠整合氣象部門信息化資源,極大提高業務科研效率的平臺,都存在於構想中。而如今,這個夢想正在照進現實。
它,就是正在建設中的氣象大數據云平臺「天擎」。
今年年初,中國氣象局一號文件印發,聚焦推進氣象業務技術體制重點改革,明確要求構建以氣象大數據云平臺為「雲」、氣象業務系統為「端」的「雲+端」氣象業務技術體制。「天擎」的建設關係到研究型業務試點、氣象業務集約化發展、業務技術體制改革等黨組重點工作任務,可謂是中國氣象局關鍵共性核心技術平臺。那麼該平臺建成後將給現有業務帶來怎樣的變化?讓我們共同走近「天擎」,一覽「雲上風景」。
「天擎」因何而來?——適應大數據時代,推進氣象業務系統轉型升級
大數據時代的序幕已經開啟。當前,氣象部門已積累海量數據資源,隨著監測更加精密化和多源數據廣泛匯集,氣象數據持續爆炸式增長。初步預計,部門內外氣象數據到2022年將達到45PB,日增量40TB。與此同時,海量數據快速匯聚和加工、長序列數據在線分析、部門內外多源數據綜合應用、基於數據挖掘和機器學習而發展的智能預報和服務算法等都需要大數據技術支撐。
當前的氣象業務體制機制急需對接時代快軌。此前,全國綜合氣象信息共享平臺(CIMISS)解決了國省應用統一數據源的問題,但各業務單位、業務系統間的「信息孤島」「應用煙囪」問題仍未根本解決,建設氣象大數據云平臺是推動氣象數據資源整合共享、促進氣象業務集約化發展、推進業務流程優化再造的重要抓手之一。
在這樣的背景下,「天擎」應運而生,它將負責解決數據集約、業務集約問題,有效支撐氣象業務系統和各類數據應用,推進氣象業務和政務管理技術體系的轉型升級。「天擎」將採用雲計算、大數據、人工智慧等新型信息技術,提供「數算一體」的雲上計算服務,支持智能預報和服務系統研發,全面支撐「雲+端」生態運行。而與其同期建設的基礎設施雲平臺,將為「天擎」提供硬體支撐。
「天擎」將帶來哪些改變?——全鏈條效能提升,全流程業務優化
從繼承標準化建設成果、革新技術水平方面,「天擎」脫胎自CIMISS,但它大大擴展了業務範圍,以一個更加開放的「數算一體」和「雲+端」的姿態,成為氣象業務的總引擎。
「天擎」的本質特徵是「雲+端」,也是氣象業務技術體制的發展方向。「雲」即氣象大數據云平臺,統籌管理觀測、預報、服務、政務、行業、社會等完整權威的地球系統大數據,集成質量控制、統計加工、預報預警等全流程業務產品算法,統一產品加工流水線,提供「數據、算力、算法」三統一的平臺化服務。
「端」包括各類觀測、預報預測、服務、管理等業務系統,也包括計算機、手機、各種傳感器等硬體終端及其軟體終端程序。通過推進氣象業務系統與氣象大數據云平臺深度融合,減少中間環節,優化流程,實現數據、技術、業務融合,促進觀測、預報、服務、管理業務高效協同,推進氣象事業高質量發展。
「數算一體」是「天擎」最大的特色。「數」即氣象數據資源,「算」即算法資源,「數算一體」則是將數據和算法資源整合到一起。以往,各個氣象業務系統各自調用其所需數據,重複存儲、重複傳輸的現象非常普遍。而「數算一體」使得算法向數據靠攏,從而減少數據在網絡上的傳輸。算法開發和運行者不用關心數據在哪裡,只需開發和提交算法,就可運行出產品。「數算一體」的算力支撐和流水線調度運行,將使全局業務流程最優化,促進應用協同。
未來,「天擎」建設完成後,隨著氣象領域的數據孤島連成一體、應用煙囪逐個打破,「大」與「快」不再是「魚與熊掌不可兼得」。在100PB級海量數據在線存儲的同時,國省核心實時數據可實現秒級同步;全業務流程的加工算法將得到統一集成,可按業務自然時序,流水線調度運行;實時交互應用可實現亞秒級響應,歷史長序列分析和多維空間分析秒級響應;新的信息技術支撐,可帶動氣象預報和服務模型的智能化發展。
在這樣一個開放、應用融入、智慧財產權清晰的平臺上,氣象部門將形成共建共享的良性業務生態,極大降低研發門檻和工作量,促進研究型業務發展。
「天擎」如何擁抱未來?——開放架構,接納新技術新需求
2019年7月,初具規模的1.0版「天擎」在國家級氣象業務中上線測試運行。2020年7月,省級「天擎」完成部署,今年年底將在全國試運行。
這個版本的天擎雖然還不是「完全體」,但已經全面覆蓋CIMISS的數據管理和服務功能,並實現全流程提速。在此基礎上,「天擎」增設了算法庫與加工流水線,延長關鍵數據的歷史序列,提升實時和歷史數據質量。1.0版的「天擎」已經具備海量數據存儲、全業務貫通、數據高效應用的能力,可直接支撐天氣、氣候預測,大氣探測、公共服務、人工影響天氣等各類氣象業務應用的雲化融入,形成「雲+端」的生態環境。
而「天擎」不會止步於此,以開放性為特點的它,將能夠跟隨時代的進步不斷完善,接納最新的技術、滿足最新的需求。人工智慧、區塊鏈、5G……種種引發話題的新銳技術,都有可能通過開放接口在「天擎」上大顯身手。
以人工智慧為例,「天擎」能夠支撐氣象AI算法的訓練和構建,並提供可視化的訓練和評估流程。目前,國家氣象信息中心正在構建AI預報強對流的訓練數據集。在可以預見的未來,AI將通過「天擎」的孵化,在氣象事業中扮演越來越重要的角色。此外,還未大規模應用的5G通信技術,也在「天擎」中留有相應接口;區塊鏈技術也可能在保護版權、統計分析用戶需求等方面實現突破……
以需求為驅動,「天擎」正在不斷改進、演化。得益於海納百川的數據存儲規模以及效率第一的設計理念,「天擎」能夠迅速響應,一方面不額外消耗資源,一方面構建最適於用戶需求的資料庫乃至算法庫。
展望未來,「天擎」正走在與氣象事業共同高速發展的大道上,向著更智慧、更高效、更集約的明天篤定前行。