歐洲中期天氣預報中心(ECMWF)攜機器學習洗牌預報模式

2021-02-07 氣象學家

近日,歐洲中期天氣預報中心(ECMWF,簡稱EC)邀請國際上知名的機器學習研究者,在線上舉辦機器學習應用於天氣預報和氣候研究系列講座,推動員工和學術界在研發中樹立應用機器學習技術的意識。這樣的舉動既是在培育新的交叉學科,又在藉助機器學習等新技術探索預報模式系統的發展方向。

  事實上,自今年年初起,EC就開始加快機器學習等人工智慧(AI)技術業務化應用的研發,今年10月還將與歐洲空間局(ESA)共同舉辦「地球系統觀測和預報中的機器學習」學術會議,屆時將對目前地球系統領域中以機器學習為代表的AI技術應用和潛力進行全面研究和評判。雖然與美國氣象學會開展系列AI學術活動35年的歷史相比,EC直到2019年才開展專題AI學術會議,但其藉助機器學習扛起AI大旗升級預報模式的戰略已經顯現。

  進入21世紀以來,大量氣象業務、研究和服務的關鍵領域與AI技術建立起聯繫。而機器學習作為AI和網絡化發展態勢中最核心的內容,其廣泛應用已經成為新工業時代的重要標籤。作為將研究與業務緊密結合的機構,EC扛起機器學習在氣象業務革命性改進進程中的大旗,具有重要的啟發意義。

  EC是世界上最重要的氣象預報中心之一,其模式產品領先全球。而數值天氣預報模式本身就屬於廣義上的AI技術,因此EC專家在捕捉AI趨勢方面早有準備。儘管如此,EC也是近年來才開始在業務領域中重點關注AI技術,尤其是機器學習技術。藉助一些科學活動,充分挖掘機器學習等技術的潛力在EC達成共識。

  2019年11月5日至8日,EC召開第一屆AI主題學術會議。藉助業界對大數據的深刻認識,此次會議梳理了EC數據的大數據理念,以及這些數據構建的AI技術應用業務環境。EC每天都在產生一套描述「孿生」數字地球的數據,這些數據涵蓋過去(監測氣候的再分析和驗證預報的再預報)、現狀(數位化預報)和未來(預報時效直至季節尺度的預報)。

  EC的AI和機器學習協調人彼得·杜本於2019年12月10日作了一次主題報告——《機器學習在天氣預報中將走向何處?》,講述了有關機器學習的主要應用案例,並給出了未來十年的技術發展路線圖。在這份提交給EC第95屆委員會的報告裡,杜本描述了質量控制、數據同化誤差訂正、仿真模式分量、量化不確定性和其他數值天氣預報可以受益於機器學習技術的方方面面。

  今年1月,EC召開內部學術交流會,進一步梳理了機構內機器學習相關項目進展和協同合作交流機會等。這次內部學術活動表明,EC學者日常用的很多方法都可以看作是機器學習的例子。此外,近年來新方法的衝擊也十分明顯,這些發展趨勢將給天氣預報業務中心帶來革命性改變。這些新方法,比如深度神經網絡的使用,能從數據中學習非常複雜的非線性系統動力學,這無疑是提升預報系統性能的關鍵所在。

  EC開展的機器學習相關研究活動貫穿其「觀測—數據同化—數值天氣預報—後處理和發布」整個工作流程。目前,EC有25個項目在利用或將要利用機器學習技術。這些項目涉及整個業務流程的不同節點,包括衛星觀測偏差訂正、數據同化中模式誤差學習、模式組成仿真以提升計算有效性、模式輸出局地降尺度以改進預報、IT設施監測。然而,各種應用項目所處的發展階段差異極大,從剛剛進入研究項目計劃階段(比如再分析產品監測和評估)一直到產品已經業務化(比如全球概率降水預報工具ecPoint和SMOS衛星觀測數據同化土壤溼度反演)。

  EC與歐洲氣象衛星開發組織(EUMETSAT)正在聯合開發的「歐洲天氣雲」(EuropeanWeatherCloud)或許將在未來開發機器學習的工具中發揮重要作用。研究者藉助「歐洲天氣雲」能夠方便地獲取來自資料庫的培訓數據,並且還能利用標準的機器學習軟體工具。這些工具一般為雲環境下的定製工具。目前EC還計劃對「歐洲天氣雲」的硬體進行更新,在已有系統中加入足夠的GPU資源,以支持機器學習應用中的培訓。

  EC圍繞機器學習開展系列活動雖然才剛剛起步,但很多做法和思路已經露出成功的跡象。面對新科技發展趨勢,EC先是在業務立項上給予傾斜,積累了一定經驗並進行內部研討後,再採取開放的方式藉助「外部大腦」(其他機構的頂級專家)輸入思路和方法。

  在現代化加速發展的時代,新技術的思想都有其發生、發展和成熟的一般規律。新技術創新一般會經歷觸發、期望值高峰、破滅之谷、希望之光再現和到達應用高地等階段,歷經2年至10年或更長時間。機器學習等AI技術也是如此,並且都將在氣象及相關地球科學領域佔據自己的位置。EC在很大程度上將預報系統的創新放在機器學習上,是明智之舉還是草率行動目前尚無法判斷,但其中面向新技術未來的做法是引領性的。耐心和積極地等待機器學習技術在氣象預報應用中經過數年時間逐漸發展成熟,是下一步的關鍵所在。

相關焦點

  • 歐洲中期天氣預報中心推進海浪預報
    隨著歐洲中期天氣預報中心(ECMWF)集合預報系統(IFS)2018年提升至IFS Cycle 46r1版本,ECMWF的高質量海浪預報有望進一步向前推進。海浪預報將從新的物理組合和預報變量(如近地面風)的改進中獲益。ECMWF的海浪預報與天氣、海洋預報都來自同一地球系統模式。預報產品為有效開展海浪高度、平均海浪期、平均海浪方向等變量預測提供了確定性和概率性信息。ECMWF還從測高儀等衛星儀器中同化數據,使得海浪預報初始條件更加精確。
  • 歐洲中期天氣預報中心主任弗洛倫斯·拉比耶:
    在氣象日來臨之際,歐洲中期天氣預報中心主任弗洛倫斯·拉比耶(Florence Rabier)接受了中國氣象報記者採訪,就氣象日主題的理解、ECMWF的做法、中歐氣象合作等問題闡述了自己的看法。  嘉賓:歐洲中期天氣預報中心主任弗洛倫斯·拉比耶  採訪人:中國氣象報記者郝靜
  • 劉雅鳴率團訪問歐洲中期天氣預報中心
    中國氣象報通訊員錢鑫報導 6月9日至10日,中國氣象局局長劉雅鳴率團訪問位於英國裡丁的歐洲中期天氣預報中心,並圍繞未來多領域合作與該中心主任弗洛倫斯·拉比爾進行交流。
  • 歐洲中期天氣預報中心TIGGE資料庫範圍擴大
    據歐洲中期天氣預報中心(ECMWF)5月4日網站消息,由其承擔的TIGGE(交互式全球大集合預報系統)集合預報資料庫迎來澳大利亞氣象局的重新加入。至此,ECMWF該系統資料庫中心的數據範圍進一步擴大,擁有11個全球預報中心的數據,可供全球研究人員隨時使用。  這11個全球預報中心主要包括澳大利亞氣象局、中國氣象局、巴西天氣預報和氣候研究中心、加拿大環境和氣候變化部、ECMWF、日本氣象廳、韓國氣象廳、法國氣象局、美國國家環境預報中心、印度國家中期天氣預報中心和英國氣象局。
  • 愛爾蘭競標將歐洲天氣預報中心從英國搬到都柏林
    愛爾蘭人最喜歡談論的事情莫過於天氣了,因此,愛爾蘭將正式競標把歐洲天氣預報中心從英國搬到都柏林也就不足為奇了。 英國脫歐的結果是,歐洲中期天氣預報中心(ECMWF)將不得不從目前位於英國Reading的位置搬到一個歐洲成員國。 內閣今天同意了政府的提議,將中心設在愛爾蘭。 如果成功,該中心將設在都柏林Cherrywood的一個新設施中。
  • InfiniBand 五倍提速歐洲中尺度天氣預報中心 (ECMWF) 新超算性能
    (納斯達克股票代碼:MLNX)是面向數據中心伺服器和存儲系統的高性能、端到端智能互連解決方案的領先供應商,該公司今天宣布,歐洲中尺度天氣預報中心 (ECMWF) 已選擇 200G HDR InfiniBand 來加速其新的世界領先的超級計算機,該超級計算機採用了 Atos 最新的 BullSequana XH2000 技術。
  • 美國與歐洲數值天氣預報比較及對中國的啟示
    歐洲中期數值天氣預報中心(ECMWF)於1975年11月4日正式成立,1979年8月1日開始正式發布中期數值天氣預報。細讀魯德的文章,所談到的美國數值天氣預報模式發展中存在的弱點,算不上新奇,也都是在中國常遇到的問題,只是魯德在分析時更具有針對性,將美國與歐洲的做法進行了對照分析,將問題揭示得簡明、清晰,令人信服。
  • 集合預報和多模式集成預報的應用
    近年來主要從事集合預報、多模式集成預報、統計降尺度預報技術研究。  主持人:中國氣象報記者劉釗  集合預報和多模式集成預報技術是天氣預報技術發展的一個主要方向,其豐富的數值產品已成為國際主流氣象機構預報的主要參考。世界氣象組織(WMO)對集合預報技術在全球的推廣應用也非常重視。中國氣象局也致力於推動集合預報技術的應用。
  • 基於機器學習的數值天氣預報風速訂正研究
    本文基於三種機器學習算法(LASSO回歸、隨機森林和深度學習),對數值天氣預報模式ECMW預測的華北地區近地面10m風速進行訂正。首先利用LASSO回歸算法提取對10m風速有重要影響的氣象要素特徵集,將其作為三種機器學習算法的輸入,建立相應模型對ECMWF預測的風速進行訂正。用提取後的氣象要素特徵集建模有助於減少計算量和存儲開銷,並減小模型的複雜性,從而提高模型的泛化能力。
  • 氣候變化監測的新裡程碑:歐洲中期天氣預報中心推出ERA5預覽版
    英格蘭雷丁2016年11月4日電 /美通社/ -- 《巴黎協定》(Paris Agreement)發布一年之後,歐洲中期天氣預報中心(ECMWF)推出了其迄今為止最強大的全球氣候監測工具ERA5。
  • FV3成美國天氣預報動力核心模式
    從6個候選模式中選出FV3作為美國下一代天氣預報模式的動力核心模式。  基於FV3的新預報系統將改進8到10以上預報的準確性;對颶風路徑和強度給出更好模式預報;將天氣預報延伸至14天。經過第一階段嚴格評測,該項目選出NCAR研製的MPAS(跨尺度預報模式)和GFDL的FV3模式,進入「決賽」階段。最終,FV3勝出,下一代預報系統研發全面啟動。  FV3的最終勝出,得益於該模式優良的特性。作為NOAA重要的實驗室之一,GFDL研發的FV3模式上個世紀90年代中期從美國國家航空航天局(NASA)的戈達德空間飛行中心(GSFC)引入,早期多用於大氣化學模擬和氣候模擬。
  • 預報天氣就像解數學題,來看中國的「答題」法
    日常氣象業務包括天氣預報、山洪地質災害預報、空氣品質預報、航空氣象預報等,都要運用數值預報技術進行測量。」中國氣象局數值預報中心副主任,國家重點領域數值預報創新團隊負責人沈學順告訴記者,無論是天氣預報還是氣候預測都離不開數值預報。可以說,數值預報是整個氣象業務的核心與基礎。
  • GRAPES:自主創新推動預報模式發展
    研究組分析了歐洲中期天氣預報中心和英國氣象局等單位的先進全球模式雲方案的理論框架和計算方法後,發現我國GRAPES全球模式雲方案在理論設計方面存在缺陷。「由於全球模式的解析度粗,以往直接沿用中尺度模式雲方案中水汽凝結成雲的計算方法會將雲『漏算』。我們也沒有考慮粗解析度全球模式在熱帶地區對流活躍,及次網格對流卷出過程對網格尺度雲的直接影響。」劉奇俊說。
  • 數值天氣預報的寂靜革命(譯文)
    圖片來此M·Bonavita(歐洲中期天氣預報中心)這些四維變分(4D-Var)資料同化方法的業務運行是全球業務數值天氣預報中的裡程碑。在歐洲中期天氣預報中心(ECMWF)這一方法與1997年開始運行,隨後是2000年的法國氣象局(Météo-France)、2004年的英國氣象辦公室(Met Office)、2005年的日本氣象廳(JMA)和加拿大環境部(Environment Canada)和2009年的美國海軍研究實驗室(NRL)。四維變分方法的發展和首次運行花費了超過10年時間,進一步的研究結果也在不斷地改進其主要成分。
  • 世界主要氣象中心預報業務核心能力量化指標分析
    數值天氣預報(NWP)全球業務模式核心指標目前業務數值天氣預報全球模式主要基於初始時間概率分布函數估計模型,通過集合系統對天氣演變進行預報。先進的全球集合預報系統大約有20到50個成員,模式的水平解析度在9至50公裡,垂直層數為100層左右。
  • 數值天氣預報:靜悄悄的革命
    我們因此有理由相信,這篇作者來自歐洲中期天氣預報中心和加拿大環境部的文章,應該是梳理NWP過去,併科學和建設性展望未來的重要論文,而其對科學界和公眾的意義以及「可視化」的效果(見封面圖)則是不言而喻的。
  • 數值天氣預報(GRAPES)發展規劃
    目前,歐洲中期數值預報中心(ECMWF)、英國氣象局、法國氣象局、加拿大氣象局、日本氣象廳、澳大利亞氣象局等發達國家都已經建立了氣象資料四維變分同化系統。(1)現狀及主要問題分析在GRAPES 系統發展過程中,開展了軟體系統功能規劃,著重圍繞軟體程序管理技術、數據處理與管理技術、數據可視化技術、中試平臺技術以及業務運行管理等技術,在逐步引進、吸收歐洲中期天氣預報中心的相關技術基礎上,同時兼顧美國環境預報中心(NCEP)等國際先進業務中心的軟體技術發展,進行本地化應用和改進
  • 15天天氣預報能信嗎?其實是電腦算出來的
    天氣預報一報給你報半個月,靠不靠譜?近期,一些天氣預報軟體和網站陸續推出了長達15天左右的天氣預報,短期天氣預報還未必準確,推出時效性如此長的預報,難免讓人感覺是「找抽」。記者比對後發現,半個月前對最近幾天的預報是中雨接著小雨,而實際情況是雨勢明顯減弱,高溫即將重臨。
  • 天氣預報的前景
    、計算機用於天氣預報、氣象衛星的出現以及天氣學和動力氣象學的發展都有關係。目前國外預報中心所發布的72小時數值預報天氣形勢圖並不很可靠,尤其當形勢有突然變化時,72小時的形勢預報圖就不能用了。就長期天氣預報的水平來說,根據對美國100個站5天溫度距平預報(距平意為對平均值的偏差)、1個月溫度距平預報、1個季的溫度距平預報的檢驗,其準確率分別為75%,61%,58%。降水距平預報的準確率較低,只有59%、52%、51%。這裡規定隨機預報的準確率為50%。
  • 強對流天氣如何預報
    嘉賓:國家氣象中心強天氣預報中心領班預報員 周康輝  採訪人:中國氣象報記者 王敬濤  強對流天氣是指發生突然、天氣劇烈、破壞力極大  從技術角度來說,先進的數值預報模式逐步使用和都卜勒天氣雷達網逐步完善,為強對流天氣的短時預報和臨近預報提供了最佳的預報手段和預報方法。