氣象錦囊——人工智慧賦能數值天氣預報

2021-01-09 我們的太空

天氣況狀瞬息萬變,令人難以捉摸,精準的天氣預報可為人們的生產生活提供科學準確的決策指導和服務,因此,最大限度的準確預測天氣一直是人們的不懈追求。數值天氣預報的誕生曾經給天氣預報領域帶來跨越式的發展,它是以氣象觀測資料為初值條件,通過巨型計算機進行數值計算,再用流體力學和熱力學的方程組進行求解,進而預測未來一定時段的大氣運動狀態。儘管現代氣象預測系統已經在數值預報模型上取得不錯的效果,但這種依賴人們對大氣物理理解的物理模型常會受到各種各樣隨機因素的幹擾,無法滿足氣候覆雜多變地區的預測需求。隨著智能化時代的到來,人們開始依託先進技術手段建立起各種預測天氣的方式,人工智慧技術的身影也在氣象預測領域日漸活躍。

天氣預報和人工智慧有著天然的耦合關係。天氣預報需要大量的、多種多樣的資料,而人工智慧天生就是處理大數據的工具;現有資料的時空數據密度均不夠,而人工智慧技術卻具有根據不完全不確定信息推斷的能力;人工智慧不僅可以總結專家知識經驗,提高平均預測水平,還可以充分利用統計與數值模式中無法利用的抽象預報知識。那麼人工智慧技術是如何在數值天氣預報中實現的呢?首先讓我們說說人工智慧的概念。

1、什麼是人工智慧?

「人工智慧(Artificial Intelligence,縮寫AI)一詞最早誕生於1956年Dartmouth學會上,它是研究、開發用於模擬、延伸和擴展人的智能理論、方法、技術及應用系統的一門新的技術科學,研究領域涉及到機器人、語言識別、圖像識別、自然語言處理和專家系統等。說到人工智慧,很容易就聯想到機器學習(Machine Learning)、數據挖掘(Data Mining)、模式識別(Pattern Recognition)、神經計算(Neuro Computing)、統計(Statistics)、資料庫(Databases)、知識發現(KDD)等概念,那麼它們之間又是怎樣的關係呢?為了更好的理解人工智慧與它們之間的關係,圖1中給出了人工智慧相關概念的交叉關係圖。其中,機器學習是人工智慧的一個重要子領域,而人工智慧又與更廣泛的數據挖掘、知識發現、神經計算、模式識別領域相交叉。

2、機器學習的基本過程和算法

機器學習是一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為,以獲取新的知識或技能,重新組織已有的知識結構使之不斷改善自身的性能。其基本過程可以用下圖2簡單表示,包括數據的搜集、特徵的提取、算法的選擇、模型的訓練、模型的評估、參數的微調、預測等幾個重要的步驟。

機器學習的經典算法包括(圖3):監督學習(Supervised Learning)、無監督學習(Unsupervised Learning, UL)、半監督學習(Semi-Supervised Learning)、強化學習(Reinforcement Learning, RL)、線性回歸、分類和回歸樹(CART)、邏輯回歸、樸素貝葉斯(Nave Bayesian)、k最近鄰(kNN)、AdaBoost、K-均值算法(K-Means)、支持向量機(SVM)、人工神經網絡ANN(Artificial Neural Network)。

3、人工智慧在數值預報領域的應用

人工智慧技術自80年代初期引入我國氣象部門,大致經歷了兩個階段。第一階段是1983-1987年,主要特點是初級專家系統的普及應用。這個期間,有90%以上的省級氣象臺、近50%的地、市級氣象臺進行了氣象專家系統的開發應用,內容涉及暴雨、大風、冰雹、霜凍等多種氣象災害的判別和預報。第二階段是1987年開始的氣象智能預報系統的開發,主要特點是將模式識別技術、傳統人工智慧與人工神經元網絡結合在一起。這個階段氣象部門就專家神經網絡系統(EANN)在預報業務中的實際應用進行了試驗,專家們運用人工神經網絡(ANN)的自適應性及容錯等功能和特性,彌補了專家系統在這方面的不足,彼此取長補短,較為有效地提高了災害性天氣預報的成功率。

在氣象預報方法上,人工智慧技術可以成為數值預報的有力補充。人工智慧技術作為數值預報的有力支撐,一是基於雷達、衛星圖像的深度學習在短臨預報中準確地預報出強對流信息和災害性天氣,二是通過深度學習算法對具有不確定性的混沌系統發展趨勢進行預測(這方面馬裡蘭大學、麻省理工學院已取得初步研究進展),三是對地球系統模式的數據同化和參數化進行最優擬合,四是對數值預報模式的海量預報結果進行最優集合和訂正。據歐洲中期天氣預報中心(ECMWF)最新一期的Newsletter報導(如圖4),目前人工智慧技術已覆蓋數值天氣預報業務的全流程,滲入到預報中的各個環節。

4、基於機器學習的智能預報案例

對於大數據機器學習領域而言,近年來,隨著計算機科學的發展,機器學習領域湧現出了很多新的方法,可以高效、快速地對數據進行挖掘分析,提取其中有用的信息。

其中,集成學習領域是一個重要的研究方向,使用一系列學習器進行學習,並使用某種規則把各個學習結果進行整合,從而獲得比單個學習器效果更好的一種機器學習方法。對於訓練數據, 將若干個個體學習器通過一定的聚合策略,就可以形成一個強學習器,以達到博採眾長的目的。也即研究如何將多個精度稍低的模型得到的結果進行融合、學習,得到預測精度更高的模型。

另一個重要的研究方向是深度學習領域,其核心思想是通過一定的方法來自動化提取數據內部特徵,從而消除了傳統特徵工程方法中對人為經驗的依賴性,避免了外界信息的幹擾。同時,這些方法在時間序列和空間格點類型的數據上相比於傳統方法具有更強有力的特徵提取能力,能夠發掘更深層次的信息。將這些新的方法應用於數值預報的歷史預報和對應時刻的客觀分析數據中,可以充分挖掘出數值預報在一定時空間範圍內誤差的規律性,從而可以對預報本身進行誤差訂正,得到精度更高的預報結果。

北京某科技有限公司通過建立多模式融合分析的集成學習模型,對數值預報產品進行智能網格的偏差訂正,實現強對流單體的智能識別和追蹤。圖5是他們以日本JAXA的雲分類產品和雲相態作為學習對象(即標準),利用卷積神經網絡挖掘JAXA雲分類特徵,建立訓練模型,並對葵花8衛星雲圖進行預測,識別、追蹤雲和雲相態的應用案例。

基於多模式融合分析的集成學習模型,還可以對衛星資料和雷達回波進行融合分析,進行偏差修正,得到更加準確的反演數據資料。圖6中所框選區域從亮溫圖上看對流強度不大,應該明顯低於福建和廣東區域,但實際雷達回波較強。通過建立多模式融合分析集成學習模型,對衛星和雷達資料進行融合反演,其修正後的強度分布與實際更加吻合。

通過對數值預報產品的歷史預報數據(2年左右)進行訓練,建立深度學習模型;以最近 15d-20d 的多模式預報產品和對應的實況產品匹配作為訓練樣本,更新深度學習模型參數,融合遴選出最優學習訂正模型;對預報結果進行二次訂正,可以得到高精度的短臨數值預報產品。圖7是對案例計算結果的定量評估分析,經二次訂正以後,2 小時外推雷達回波的均方根誤差在 2.0-8.0dbz 之間變化,2小時預報與實況的相關係數保持在 90% 之上,命中率在 80% 以上,預報效果得到有效提升。

來源:我們的太空知乎

作者:石文靜

相關焦點

  • 數值預報:有效提高數值天氣預報模式精度
    根據GRAPES的2020年至2040年發展計劃,全球同化預報系統模式水平解析度將高於5千米(歐洲中期天氣預報中心2025年目標是5千米),模式頂層將達到80千米或更高;區域水平解析度將高於1千米(2016年英國氣象局水平解析度達到1.5千米)。    要實現這一目標,數值預報模式所需要的觀測信息要同步發展。
  • 什麼叫數值天氣預報
    大氣預報,是氣象人員根據各地探測得來的地面和高空的氣象資料,繪製成各種天氣圖表,再結合從氣象衛星上接收到的衛星雲圖以及氣象雷達觀測得來的資料,進行綜合分析判斷作出來的。隨著電子計算機用於天氣預報,氣象預報人員經過研究,逐漸採用了一種新的預報方法——數值天氣預報方法。
  • 現代數值天氣預報之父
    這次被認為是世界上第一次數值天氣預報學術會議的組織者和主持人,不是當時著名的氣象學專家,卻是普林斯頓大學高級研究院的數學教授馮·諾依曼博士。  痴迷數學英才不辭年少約翰·馮·諾依曼(John von Neu-mann,1903-1957)1903年12月28日出生於匈牙利首都布達佩斯。他是當地一位小有成就和名氣的銀行家族中的第一個男孩。
  • 世界氣象日:院士暢談數值天氣預報演變史
    為提升公眾對於氣象科學的認識,第61屆國際氣象組織(IMO)獎獲得者、中國科學院大氣物理研究所曾慶存院士給200餘名「科學求真營」的師生做科普報告「大氣科學的前身、現代與未來」,講述天氣預報的發展歷史與未來。
  • 美國與歐洲數值天氣預報比較及對中國的啟示
    歐洲中期數值天氣預報中心(ECMWF)於1975年11月4日正式成立,1979年8月1日開始正式發布中期數值天氣預報。自那時起,逐步建立了在世界數值天氣預報技術領域中的領先地位,其產品的出色表現在與世界各國的競爭中獨領風騷,包括具有雄厚基礎科技實力的美國,在歐洲的成功面前,也不得不甘拜下風。  當2012年10月颶風「桑迪」重創美國東海岸後,為什麼美國的全球數值預報模式表現比不過ECMWF的結果再次引起了美國各界的關注。
  • 氣象專家為您詳細解釋:啥叫「數值天氣預報」
    追根溯源,上述微信的天氣預報大多來自中國天氣網等網站上的一周以上的天氣預報。對一周以上的天氣預報如何釋用,需要對氣象知識,特別是氣象預報知識有一定的了解,否則就容易產生誤讀和曲解、甚至斷章取義。一般來說,氣象臺發布的逐日天氣預報,一周以上的是由計算機計算的數值天氣預報。什麼是數值天氣預報?數值預報與人工預報有何區別聯繫?咱老百姓該如何看待數值預報?
  • 2020年珠三角數值天氣預報精細到公裡
    目標  建更精細的數值預報模式  天氣形勢複雜多變,預報能力的比拼一定程度上就是計算能力的比拼。對此,《規劃》提出加快建設廣東區域數值天氣預報國家重點實驗室。利用廣州超算中心和深圳超算中心升級改造廣東氣象高性能計算系統,增強數值模式的計算和存儲支撐能力,計算能力由目前的每秒400萬億次提升到「十三五」期末的每秒1000萬億次以上。爭取到2020年,區域數值模式預報能力達到世界先進水平。數值天氣模式預報區域拓展到東達關島、西至索馬利亞,覆蓋印度洋和太平洋地區,水平解析度達到9公裡,可用預報時效達到7天。
  • 氣象專家:中國數值天氣預報水平與國外相差10年
    這次氣象部門對大的雨雪天氣過程把握住了,但對大雪、暴雪的具體落區把握還不夠精細,比如預報員給出的5毫米以上降雪區域,與實況往往很一致,但再進一步劃出這個區域中的10毫米以上降雪區域,可能就有一些差錯,劃出的20毫米以上降雪區域可能誤差就會更大一些。  如果能做到定點、定量、定時的「三定」預報,那是一個完美的預報,但目前科技水平遠遠達不到。
  • 趨勢| 數值天氣預報能力未來將有多強?
    數值天氣預報模式2025年和2035年性能進步預測歐洲中期預報中心(ECMWF)在最新的2016—2025年戰略中,在預報方面明確提出了「2+4+1」戰略,即到2025年:高影響天氣的有效集合預報提前2周;大尺度形勢和機制轉化預報提前4周;全球尺度異常預測提前1年。
  • 廣東省和氣象局共建區域數值天氣預報重點實驗室
    12月24日, 廣東省政府和中國氣象局共建區域數值天氣預報重點實驗室座談會在廣州召開。會上正式啟動了該重點實驗室,該實驗室力爭在未來五年內成為有重要國際地位的熱帶區域模式研發中心和技術交流中心,數值預報能力達到國際先進、亞洲一流水平,向泛珠三角、東南亞國家和地區提供服務援助、輸出技術和產品。
  • 華南區域暨粵港澳數值天氣預報技術交流會在穗召開
    中國氣象報通訊員王洪 黃燕燕 記者楊群娜報導 9月1日,中國氣象局廣東省區域數值天氣預報重點實驗室在廣州組織召開了2015年度華南區域暨粵港澳數值天氣預報技術交流會。
  • 中央氣象臺首席預報員馬學款:數值天氣預報是「國之重器」 我國...
    馬學款眉頭緊鎖地坐在幾臺電腦前,忙著查閱各種資料、籤發各類天氣公報和預警信息,同時為每天早上8點雷打不動的全國天氣大會商做準備。8點整,會商準時開始,馬學款主持。中央氣象臺及山東、河南、安徽、江蘇4省氣象臺的預報員們,一同「會診」天氣變化和影響。最後,馬學款對未來幾天的天氣提出了中央氣象臺的預報意見。當天,中央氣象臺繼續發布暴雨黃色預警。
  • 繪製世界上第一張數值天氣預報圖,他讓中國的天氣預報越來越準
    繪製世界上第一張數值天氣預報圖,他讓中國的天氣預報越來越準 他是我國氣象預報事業的泰鬥,曾獲有氣象界「諾貝爾獎」之稱的國際氣象組織獎。
  • 中國氣象局與歐洲中期天氣預報中心舉行雙邊會議 加強數值預報等五...
    中國氣象報通訊員虞俊報導 2月14日至15日,中國氣象局與歐洲中期天氣預報中心(ECMWF)第三屆雙邊會議在英國裡丁舉行。中國氣象局副局長宇如聰率團出席會議,ECMWF主任弗洛倫斯·拉比耶女士率各部門主要負責人出席並主持雙邊會議。
  • 數值預報:我國有了清晰的路線圖
    無論是天氣預報還是氣候預測都離不開數值預報。數值預報是整個氣象業務的核心與基礎,也是當前制約氣象現代化的關鍵和瓶頸。為此,中國氣象局給予了大力支持,採取行政資源調配、改進鼓勵機制、完善考核指標等措施。2015年初,高解析度資料同化與數值天氣模式被確定為國家氣象科技創新工程三大攻關任務之一。  「從戰略上說,這是重要的方向。」
  • 國家最高科技獎獲得者曾慶存:中國數值天氣預報業務開創者
    曾慶存  出生年月:1935年5月  出生地:廣東省陽江市  主要成就:曾慶存是國際數值天氣預報奠基人之一,為現代大氣科學和氣象事業的兩大標誌——數值天氣預報和氣象衛星遙感做出了開創性貢獻。  天氣影響人們日常活動,氣象預報是災害預警的重要手段。
  • 天氣預報準確率能到80%?真的!
    預報準確率可達80%曾慶存介紹,目前的3天預報,在全球範圍可達70%至80%的準確度,如果是一定區域,比如我國華南地區的3天預報,準確度能高於80%。同時,國際上天氣預報的有效性已從早期的1—3天提高到5—7天。
  • 重慶最快超算能做什麼?500萬平方公裡高解析度數值天氣預報了解一下
    依託浪潮建造的重慶市最快超級計算機,中國科學院重慶綠色智能技術研究院(以下簡稱「重慶研究院」)完成了區域覆蓋面積超500萬平方公裡、水平解析度達1Km*1Km的高解析度數值天氣預報,為氣象業務提供了更加精準的天氣預報產品,達到了國內領先國際先進的水平。
  • 天氣預報能100%準確嗎
    大氣系統為非線性系統,正是由於混沌現象的存在,天氣預報不可能100%準確。 其次,地面氣象觀測臺站很有限且分布不均,以致實況信息(大氣的真實狀況)不完備,中小尺度天氣現象如雷暴、龍捲、冰雹等經常成為「漏網之魚」,也是影響預報準確性的重要因素。
  • 天氣預報將更準!我國天氣預報實現全面「中國芯」
    事實上,在與社會生活息息相關的天氣預報領域上,我國也曾一度受制於外國。在上個世紀,我國一度還需要使用美國、日本等多國衛星提供的各類監測數據,而來自歐洲中期天氣預報中心的數值預報模式還一度是我國預報員進行天氣預報的主要依據。在如今,數值預報已經成為了天氣預報的核心之一。而經過多年艱苦卓絕的奮鬥和攻堅,如今,我國已經擁有了全面自主的天氣預報系統。