氣象預測:從物理過程到深度學習

2021-02-15 氣象學家

2020年2月初一架飛機在Louisiana 墜毀,飛行員和兩名乘客不幸遇難,墜毀原因為飛機積冰。2019年12月27日,一架載有93名乘客和5名機組人員的哈薩克斯坦貝克航空公司客機由於積冰影響在哈南部城市阿拉木圖附近發生墜機事故,造成12人死亡,49人受傷。美國國家運輸安全委員會報告顯示,從1967到2010的航空事故中與氣象有關的事故佔據接近50%,且逐年上升。2006年,我國自主研發的第一款預警機空警-200進行電子系統測試過程中不幸遇到寒流,導致機翼結冰,最終撞上山頭(後來,這座山命名為英烈山,安徽省內),機上40人中,5名特種試飛員,1名通訊員,2名將軍級別工程師,32名一流電子專家全部遇難,損失慘重。若有高準確度的氣象預測,則由於天氣原因而造成傷亡和慘劇或可避免。圖片來源:https://www.spokesman.com/stories/2009/jan/27/crashed-fedex-plane-operated-cda-company/

數據文獻:Mazon, J., et al. "Influence of meteorologicalphenomena on worldwide aircraft accidents, 1967–2010." Meteorological Applications 25.2(2018): 236-245.

傳統(現在主要使用)的氣象預測方法為基於流體力學等物理方程的數值預報模型(NWP),使用大氣和海洋的數學模型基於當前天氣狀況預測天氣。基於相同物理原理的數學模型可用於生成短期天氣預報或長期氣候預報。如下圖,數值預報模型將全球或區域經過水平和垂直方向劃分得到三維網格,並利用當前觀測氣象數據作為輸入,利用動力學框架計算得到未來氣象預測結果(由於計算複雜通常使用超級計算機來完成)。一個基本的問題在於支配大氣的偏微分方程的混沌性質,不可能精確地求解這些方程,並且小誤差會隨著時間而增長(大約每五天增加一倍)。即使輸入數據準確且模型無誤,這種混沌性質也會將準確的預測限制在14天左右。圖片來源:https://www.climate.gov/maps-data/primer/climate-models

 

隨著近年來大數據及AI技術的不斷發展,基於數據驅動的AI技術將氣象預測問題看做黑盒進行預測。典型的預測方法有:1.基於時空網絡模型(以ConvLSTM,DeepRNN模型為代表)。2.基於GAN, VAE等生成模型。但這些技術全部都忽略了在氣象中普遍存在的物理過程的影響。
通常認為AI深度學習適合處理數據量非常龐大,且其中沒有非常明顯物理規律的任務。如果物理規律過強,那麼問題容易被簡化或者容易被理解,這也就意味著較小的數據量就可以描述問題。另一方面,如果沒有物理規律,那麼複雜問題的數據量通常都會很大(在大數據的場景下,一般很難通過統一的物理規律去描述)。對於氣象問題,我們認為是一個兼具物理規律且數據量龐大的複雜系統。雖然現代大氣科學已具有一套非常具有代表性的物理過程來描述天氣變化,但是我們仍然認為人類對於氣象的認識不夠充分,AI深度學習可能是更適合用來認識較為複雜天氣過程的工具。但是如果僅僅使用黑箱方法,用端到端的數據使用AI深度學習模型,模型的複雜程度會變得很高,同時從初步結果來看模型並不能很有效的避免一些因為數據分布而帶來的問題。引入物理方法到AI模型是一種樸素的對這個問題的想法,那麼如何將物理方法與AI相融合成為擺在氣象科學與AI科學面前最重要的問題。一種思路是使用神經網絡來對複雜的物理方程進行擬合學習,這樣不僅可以使用離散的方式對連續物理過程仿真預測,而且可以對現有數值方式進行加速。2019年4月Google在其文章「Learning data driven discretizations forpartial differential equations」中提出了一種基於已知基礎方程的實際解來離散化學習偏微分方程的優化逼近的方法。通過端到端神經網絡來估計微分的方法在低維網格中得到了很好的方程擬合效果,可以在時間上以比標準差分法粗4-8倍的解析度的空間維度上積分一組非線性方程。

 

圖片來源:Learning data driven discretizations for partialdifferential equations

 

另一種思路是使用神經網絡的方式將物理方程約束實現並添加在模型中。上海眼控科技股份有限公司人工智慧研究院在氣象及AI技術方面都有非常深厚的積累,基於以上思路提出了基於物理方程與AI技術相融合的大氣溫度預測模型:PGnet(Physics-Generation Network)。大氣的氣溫變化受很多因素(輻射,空氣運動等)的影響,在物理模型中通常使用對流擴散過程來對大氣的溫度變化進行建模,方程如下所示:

航空智慧氣象創新中心所提出的PGnet模型結構圖如下,為了充分利用物理過程和神經網絡的優勢,主要結構分為前部分的物理過程部分和後部分的神經網絡生成部分。其中物理過程部分主要由跳躍連結的CNN結構、移動場進化函數F、和形變網絡WarpNet組成。生成網絡部分由Encoder和Decoder結構的CNN網絡組成。使用輸入圖片(溫度場)首先通過跳躍連結的CNN網絡進行移動場預測,通過移動場進化函數來學習得到移動場時序特徵,最終得到預測移動場。通過形變網絡對輸入數據添加如上所述的對流擴散物理約束,生成網絡部分與物理過程部分形成互補作用,直接從監督學習的數據中挖掘物理方程所遺漏的特徵信息,最終生成未來的預測氣象圖。

現有機器學習深度學習具有「 黑匣子 」 的特點,這意味著複雜算法運作的「不可解釋性」,即使他們的設計者也無法解釋人工智慧為什麼會做出具體決定。PGnet模型由於在原始神經網絡中引入物理原理預測方法使得網絡具有了一定的物理可解釋性,例如通過移動場隨時間的變化可以推斷到不同位置的未來溫度場的變化趨勢,並使得預測結果可以被人類更容易直觀的理解。

 

相比於使用超級計算機進行預測的數值模式需要幾小時的時間來進行預測,使用我們所提出的深度學習+物理過程的PGnet進行預測只需要幾秒內就可以完成。圖片來源:https://www.dreamstime.com/illustration/illustration-slow.html在模型設計與訓練中,航空智慧氣象創新中心研究人員發現,雖然物理與深度學習融合方法已經能夠為我們帶來準確度上較大的提升,但由於多次迭代使用上一個時間步的輸出結果作為下一時間步的輸入導致誤差累積,預測結果會出現由於誤差累計帶來的偏差。針對這一問題,創新中心研究人員創造性的提出使用移動場來形變移動場,從而得到移動場疊加的效果,有效避免了誤差累積的問題,從而再次提升了預測的精準度。我們分別使用MSE、SSIM、PSNR評價指標對自主研發的PGnet模型與傳統的神經網絡模型進行了比較,發現PGnet模型對於大氣溫度的預測能力是最好的。

  

至今,物理方法與深度學習的融合相關研究仍然處於起步階段,有非常多的可能等待我們去實現。站在氣象與AI交叉學科風暴眼的航空智慧氣象創新中心將不忘初心,在人工智慧氣象領域砥礪前行,為我國智能氣象科技進步貢獻一份力量。航空智慧氣象創新中心是由華東空管局牽頭,與上海交通大學、上海眼控科技股份有限公司共同成立的全球首家將AI技術應用於航空氣象領域的研究機構,旨在通過AI技術深度賦能航空氣象領域,推動行業加速發展。

相關焦點

  • 眼控科技AI對流臨近天氣預報系統,助力航空氣象服務保障升級
    「天氣原因」簡單的四個字實際包含了很多種情況:出發地機場天氣情況不宜起飛、目的地機場天氣情況不宜降落、飛行航路上氣象狀況不宜飛越等。因此,對氣象狀況的準確監測預警成為保障航班正常運行的重要手段。  在航空業,0-2小時是航空用戶運行方案的最後決策時間,對氣象預報的準確度要求更高,也對航空運行戰術階段的對流天氣預測提出了更高要求。
  • 普林、DeepMind新研究:結合深度學習和符號回歸,從深度模型中看見...
    但深度神經網絡可以高效學習高維空間中的模式。那麼,問題來了,我們可以兼二者之所長嗎?來自普林斯頓大學和 DeepMind 等機構的研究者提出了一種通用方法,通過引入強歸納偏置來提取深度模型的符號表示。該方法的工作原理是:首先在監督設置下訓練 GNN,同時鼓勵稀疏潛在表示,然後對學得模型的組件應用符號回歸,從而提取顯式物理關係。
  • 「智慧氣象」深化AI氣象領域落地
    基於百度雲在人工智慧、大數據、雲計算等領域的技術積累,雙方將合力打造重慶國際領先的氣象AI深度學習平臺,建立氣象雲資源中心,深度開發智慧氣象應用,加速重慶氣象大數據智能化等智慧氣象發展,推進人工智慧等技術在氣象領域落地。
  • 深度學習提高蛋白質結構預測準確性
    深度學習提高蛋白質結構預測準確性 作者:小柯機器人 發布時間:2020/1/19 18:55:05 英國DeepMind公司Andrew W. Senior等研究人員利用深度學習實現對蛋白質結構預測的提高。
  • 什麼是深度學習(科普)
    使用Inception網絡結構,在ImageNet奪冠[5];2015年,ResNet在ILSVRC冠軍[6];到了2018年,MobileNetV2[7]的提出。對應監督學習是需要用給定有標籤的數據集進行訓練,訓練出來的模型,使用測試數據集進行測試,得到的誤差進行迭代測試,最終將模型調試成得到的預測數與實際的數據誤差更小的過程[7]。目的就是根據實際應用場景選擇合適的學習方法,然後使用對應的訓練和測試數據集進行模型的構造。
  • 中國氣象局廣州熱帶海洋氣象研究所(廣東省氣象科學研究所)
    中國氣象局廣州熱帶海洋氣象研究所(廣東省氣象科學研究所) 來源:廣東省氣象局網站   發布時間:2017年11月16日17:09
  • 深度學習助力蛋白質工程
    深度學習助力蛋白質工程 作者:小柯機器人 發布時間:2019/10/23 16:16:26 美國哈佛大學George M.
  • CNN是靠什麼線索學習到深度信息的?——一個經驗性探索
    作者 王乃巖丨圖森未來首席科學家今天給大家帶來一篇我很喜歡的風格的paper,詳細分析了基於深度學習的單目深度估計算法的局限性。雖然這文章沒有提出新的方法,但是對於我們理解CNN是如何學習到一些appearance cue來處理需要幾何模型的視覺問題大有裨益。
  • 世界氣象日:院士暢談數值天氣預報演變史
    為提升公眾對於氣象科學的認識,第61屆國際氣象組織(IMO)獎獲得者、中國科學院大氣物理研究所曾慶存院士給200餘名「科學求真營」的師生做科普報告「大氣科學的前身、現代與未來」,講述天氣預報的發展歷史與未來。
  • Deepmind "預測地圖"論文背後:神經科學或將助力深度學習迎來新突破
    我們認為,海馬體用它們預測到的未來狀態來展示代表每一種情況。例如,如果你要下班回家(你當前的狀態),你的海馬體可能會預測你很可能很快會通勤回家,到學校接孩子,或者更長遠一點——到家了。海馬體預測這些後期狀態來表現出當前的狀態,從而傳達了對未來事件的摘要表達,也就是我們正式說的「後續表徵」(Sucessor Representation)。
  • 「深度學習」運用多通道亞結構圖進行分子性質預測
    隨著人工智慧技術的發展,深度學習方法在藥物分子設計中的應用愈發廣泛。分子性質的預測在藥物發現過程中起著很大作用。為了對分子性質進行預測,首先需要對分子進行表徵。應用深度學習對分子進行表徵有多種途徑,例如SMILES將分子編碼成一個字符串序列,根據成環結構斷開的位置不同,同一分子可能得到不同的SMILES。
  • Engineering Geology:人工智慧地震信息挖掘——物理機制約束下的...
    圖1 物理機制約束(Physics-guided)下的深度學習求解圖示;常規方法(Typical way)僅關註解空間中的最小值點,而忽略具有物理一致性的解中國科學院地質與地球物理研究所博士後耿智與合作導師王彥飛研究員提出了一種引入地質力學信息約束的基於地震數據預測鑽探井壁失穩地質風險的深度學習方法。
  • 深度學習到頂,AI寒冬將至!
    然而,從12,13年甚囂塵上,到如今的塵埃落地,浪潮一再的退去。面對疲軟的風口,養肥的豬,人工智慧將何去何從?AI Winter Is Well On Its Way多年來,深度學習一直處於所謂的人工智慧革命的最前沿,許多人相信深度學習將帶領我們進入通用AI時代。
  • 聚焦核心素養 走向深度學習
    引領高階思維 促進深度學習康巴什區的課堂教學深度改革凸顯的兩個關鍵詞是「綜合」和「深度」,綜合就是從治理能力到課程改革全面構建,一體化推進;深度就是聚焦問題,點上突破。例如語文組通過建設開源、多態的語文課程體系在整合中促進教師的專業深入發展,促進了學生的深度學習;英語組以「簡約課堂」為抓手,精簡教學語言、精簡課堂問題、精簡教學環節等,讓課堂「瘦身」,從而引領學生深度學習與思考;物理組以導學案的編寫為抓手,在學案的問題引導下自主閱讀課本,學生把從課本中文字、圖片、表格、圖像提取的有用信息進行交流討論,進行初步釋疑,在老師的引導下用標準的物理語言提出問題,從而培養學生質疑創新的能力
  • 澳門天氣預測準確率達國際先進水平
    原標題:澳門天氣預測準確率達國際先進水平  中新社澳門7月8日電 (記者 王國安)澳門地球物理暨氣象局局長馮瑞權8日表示,目前該局對澳門天氣的預測準確率超過8成,達到國際先進水平。   當天,中國氣象局、澳門地球物理暨氣象局、葡萄牙海洋暨大氣所在澳門舉行氣象技術會議,希望推動三地在綜合氣象觀測業務、天氣預報預警技術、氣象服務、氣候與氣候變化等方面的研究和應用領域的發展。上述三方以及維德角、莫三比克的氣象專家共約20人參加了會議。   馮瑞權在致辭時表示,澳門地球物理暨氣象局一直十分重視與國家及葡萄牙氣象部門的交流合作。
  • 山西省發布12月氣象擴散條件及汙染過程預測
    央廣網太原12月7日消息(記者李楠)記者從山西省環境信息中心了解到,近期,山西省生態環境監測中心與省氣象部門對2020年12月氣象擴散條件及汙染過程進行了聯合會商。預計2020年12月上半月,山西省區域冷空氣作用頻繁,但強度一般,對於中東部和南部區域影響有限,大同、呂梁擴散條件整體較好,朔州受短時不利氣象條件影響,易出現中度或以上汙染過程,其他城市可能出現2天左右時長的重度汙染過程。下半月冷空氣活動減弱,且南部地區相對溼度較大,整體擴散條件一般,大同、呂梁易出現輕度汙染過程,朔州可能出現短時重度汙染過程,其餘城市可能出現較長時段的重度汙染過程。
  • 澳門地球物理暨氣象局訪問國家氣象中心
    澳門地球物理暨氣象局與國家氣象中心工作人員開展業務交流。劉爽 攝影  中國氣象報通訊員劉爽報導 5月10日至13日,澳門地球物理暨氣象局氣象處處長鄧耀民、資訊處處長譚志文訪問中國氣象局,這是自去年中國氣象局、澳門地球物理暨氣象局和葡萄牙氣象局三方第八次氣象技術會議以來,澳門氣象部門首次派員訪問國家氣象中心。
  • 市氣象局加快推進「旅遊+氣象」深度融合
    一是推廣旅遊氣象產品。研製推出觀日賞霞、觀浪海釣、賞花採摘等18個氣象景觀指數,豐富旅遊氣象指數產品,並開展花期、採摘期(收穫期)等物候景觀預測預報,形成節氣圖譜。指數、節氣圖譜在市縣氣象微信公眾號、旅遊氣象網發布。
  • 英國將投資12億英磅建「氣象超腦」,只為一個晴天
    更強大的氣象超腦,又能讓氣候預測升級到何種水平呢?洞察氣象的智慧大腦,到底有什麼意義?而伴隨著機器學習發展、摩爾定律被挑戰,人工智慧開始在應用端所向披靡,也讓氣象服務開始發生質的轉變。首先,見得更多。以往氣象預測不盡如人意,掣肘要素之一就是氣象數據過於龐雜且數據量大,無法被全部高效地處理。
  • 人臉檢測發展:從VJ到深度學習(下)
    從神經網絡到深度學習    深度學習本質上並不是一項新的技術,作為其物理核心的神經網絡早在上個世紀中葉就已經有人開始研究,並且在上世紀末已經經歷過一次研究高潮。        從「深度學習」這一字面上可以看到,神經網絡改頭換面重出江湖,關鍵在一個「深」字上。