在電影《飛屋環遊記》中，男主人公用一大堆氣球將自己的小木屋帶上天空，並通過增減氣球、手動施力來改變氣球的飛行方向，去實現他未曾實現的夢想......
當然，電影世界具有一定的幻想色彩。但是，如今還真有這樣一種巨型氣球，它雖然不能帶著小木屋飛上天空，卻更加智能、用處更大——讓全自動環境實時監測成為可能。
平流層氣球（stratospheric balloon），又稱高空氣球，可以在大氣平流層中自主飛行數月，具有低成本、高效益的特點，這使其成為通信、地球觀測、收集氣象數據和許多其他應用的寵兒。但是，如何實現高空氣球的自主導航，一直是科學研究的一個難題。
近日，來自谷歌研究院（Google Research ）和 Alphabet 旗下公司 Loon 的研究人員組成的科研團隊，成功開發出的一種基於深度強化學習的高性能人工智慧控制器，能讓高空氣球一連數周待在原地，並根據環境因素進行實時決策並實現自主導航。這一研究結果提高了全自動環境監測成為現實的可能性，代表深度強化學習向現實世界應用邁進了非常重要的一步。
該研究成果以「Autonomous navigation of stratospheric balloons using reinforcement learning」為題，於 12 月 3 日在線發表在頂級期刊 Nature 上。
（來源：Nature）
續航瓶頸，無法滿足需求
高空氣球中應用最廣泛的當屬「超壓」氣球，氣球內填充氦氣，常被用來在高層大氣開展實驗。這些氣球遇到氣流風時，往往會偏離航道，之後便只能返回地面駐點。而此次研究所採用的深度強化學習方法，可以訓練人工智慧系統進行實時決策。對於超壓氣球來說，這些決策包括採取哪些行動來保持其在空中的位置不變。
Loon 超壓氣球是谷歌於 2013 年成立的高空氣球項目的成果之一，旨在將其作為通信中繼平臺，為還未接入網際網路的偏遠地區提供一種相對廉價的通信服務。傳統上，Loon 的上下垂直飛行通過泵出固定體積的氣囊來實現，而左右水平運動則由氣球所處位置的風向所決定。因此，為了實現導航目的，飛行控制器必須通過上升和下降的方式，以找到並跟隨對其有利的氣流。
（來源：Loon）
然而，這種簡單的導航方式無法滿足氣球長時間（有時長達幾個月）控制的目標。例如，傳統「控位法」（Station-keeping）需要將氣球固定在某個地面位置的正上方。為了完成這一任務，氣球就必須不斷地通過風場變化採取間接飛行路徑，以保證位置不變。
圖｜通過「控位法」保持超壓氣球位置。a) 超壓氣球在風場航行的原理圖。氣球通過不斷移動來保持在離駐點較近的地方。其高度範圍用上下虛線表示；b) 氣球飛行路徑平面示意圖。藍色區域表示駐點方圓 50 公裡範圍。陰影箭頭代表風場。風場不斷變化，要求氣球實時規劃路線。（來源：Nature）
不僅如此，氣球還需要在晝夜交替中管理自身電力，由於氣球下降時會使用存儲在電池中的太陽能，一旦電力不夠，氣球也就無法再自主控制飛行。另外，一個好的飛行控制器必須能夠權衡收集目標觀測結果的性價比。因此，上述傳統控制技術本身非智能化的性質就限制了其最終表現。
AI 賦能，帶來質的飛躍
為提高超壓氣球的續航能力，論文作者之一、谷歌研究院科學家 Marc Bellemare 及其合作者訓練了一種人工智慧控制器，這種控制器能根據風的歷史記錄、預報、局部風向觀測以及氦氣損失和電池疲勞等其他因素，來實時決定氣球是否需要移動。
首先，研究人員將 StationSeeker 算法用於這一人工智慧控制器中。該算法為控制器提供了較好的「洞察力」，StationSeeker 會憑藉風向與駐點形成的銳角來跟蹤風向，只要氣球處於駐點範圍內，它就會主動去尋找移動較為緩慢的氣流。
而後，研究人員對該控制器進行了模擬訓練，在模擬試驗中使用強化學習來訓練飛行控制器。強化學習擅長自動產生控制策略，可以處理高維度的異質數據，並在需要長期觀測時優化對應的控制策略。
為了獲得最先進的控制器，研究人員結合了深度強化學習領域的最新進展，即強調在學習過程中使用深度神經網絡。該控制器使用的神經網絡分為 7 層、每層具有 600 個校正線性單元，而且試驗證明，使用較小的網絡或非分布算法會使得性能降低。
圖｜神經網絡規模對 TWR50（氣球位於駐點 50 公裡以內範圍時節省的時間）的影響（來源：Nature）
此次模擬試驗包括對超壓氣球控制器在一個固定的位置上進行兩天模擬，在此期間，控制器以 3 分鐘的間隔接收輸入數據和發出命令。因此，飛行控制器能夠置身於晝夜循環場景中，這意味著氣球必須從艱難的夜間條件中恢復工作，且最終產生的飛行路徑則會接近真實場景。
最後，作者將該技術應用到分布於全球各地的 Loon 氣球上，包括一項在太平洋上空進行的為期 39 天的受控實驗（共 2884 飛行小時）。分析結果證明，受到 StationSeeker 控制的氣球能夠成功實現自主導航，一旦被吹偏航道，它們能以比傳統控制器控制的氣球更快的速度回到駐點。
其中，控制器最佳表現達到 55.1% TWR50。要知道，1% 的性能提升相當於節省 14.4 分鐘的返回時間，因此，這一差異相當於每 24 小時內的返回時間平均減少 3.5 小時。
毫無疑問，此次研究成功將人工智慧強化學習方法應用到了超壓氣球與環境的實時交互之中，拓寬了其在現實科學研究中的應用。
正如牛津大學物理系教授 Scott Osprey 所說：「Marc Bellemare 和同事的成果代表了強化學習在現實世界應用的一次巨大進步。」
參考資料：
https://www.nature.com/articles/s41586-020-2939-8