更長的飛行時間，更少的能量消耗，更複雜的飛行動作。
這是Google「氣球網際網路」項目「Project Loon」交回的最新成績單。
Google母公司Alphabet於2013年6月正式啟動Project Loon計劃，該計劃旨在將AI技術與超壓氣球相結合，為更多地區提供低價且高速的無線網際網路服務，尤其是與市中心相距甚遠的偏遠地區。
前段時間，Loon順利完成了最新一輪飛行測試。
昨日，最新分析結果顯示，在飛躍太平洋的39天裡，Loon氣球表現出了比以往更好的性能——基於最新人工智慧系統，它能夠更快地計算出氣球的最佳導航路徑；在目標區域上飛行的時間更長，消耗的能量更少，更關鍵的是，它還提出了研究團隊此前未曾想到過的新的導航動作。
而這一最新人工智慧系統正是基於強化學習（ Reinforcement-Learnin，RL）算法的AI系統。
研究人員稱，這是他們首次將RL系統應用到航空航天產品中。Loon取得成績，表明RL可以作為解決現實世界自主控制問題的有效解決方案。
目前，有關這項研究發現的論文成果已經登上了《Nature》雜誌。
接下來，我們來具體聊一下：Google為什麼要開展「氣球網際網路」計劃，以及強化學習系統到底解決了哪些難題。
「氣球網際網路」計劃
你可能難以想像，在網際網路如此普及的當下，全球還有一半的以上的用戶無法享受到這項服務。
2013年，為了讓30多億用戶所在的偏遠地區連接網際網路，Alphabet正式啟動了高空網際網路服務項目。之後幾年，陸續有不少科技公司也加入了這個隊伍，比如SpaceX、OneWeb等。
其中最值得一提的，是馬斯克的「太空網際網路」計劃，他計劃向太空發射42000顆通信衛星，在地球低空軌道創建一個巨型星座來完成與地面的通信任務。目前已經成功發射了近900顆衛星。
相比於馬斯克的「太空衛星」，Alpbet則把通信業務的核心放在了「高空氣球」。
具體來說，用「高空氣球」實現地面通信的過程如下：當氣球上升到高空平流層後（超過雲層12英裡高），利用「太陽能技術」吸收能量以作為電力支持，然後通過「算法系統控制（ Algorithmic Control）」讓氣球上下飄動，並根據風向捕捉風流信號，將氣球穩定在一個固定區域。
最後通過「網狀迴路（Mesh Networking）技術」，將網際網路數據包從一個氣球傳輸至另一個氣球；從氣球傳輸至在屋頂建立天線的家庭和企業用戶；最後將這些用戶的數據傳輸出去。
這一過程中，如果氣球在平流層飛行的時間越長，意味著Loon越可以在較低成本下為目標區域提供更長久的連通性，這也意味著網際網路服務將不僅可以覆蓋到更偏遠的地區，而且它的價格也會更便宜。
在近幾年的飛行測試中，Loon的平流層飛行時長不斷刷新著世界紀錄，目前最高成績已經達到312天，接近一整年。
這項最高飛行紀錄開始於2019年5月，Loon從波多黎各（Puerto Rico）起飛，進入秘魯（Peru），然後在那裡進行為期三個月的飛行測試。測試結束後，向南越過太平洋，於今年3月在墨西哥的巴哈（Baja）登錄。
這項記錄刷新了當時223天的最高記錄，Loon首席技術官Sal Candido在博客中表示，創紀錄的飛行成績是該公司努力發展技術，並以創新的方式推動硬體和軟體向不斷升級的結果。
當時Loon的軟體系統還並未引入RL。
目前，Loon已經在澳大利亞、昆士蘭、肯亞、紐西蘭、加州中央峽谷以及巴西利亞東北部等多個地區提供了Loon測試服務。去年，因受到颶風襲擊的影響，美國電信運營商還利用Project Loon為超過25萬的災民提供了網絡連接。
不過，在以上服務過程中，Loon的平流層導航問題依然面臨很大的挑戰。
此次，基於RL系統的提出為解決當前的挑戰提供了一種全新的解決方案，與原有的氣球導航系統相比，RL算法改善了飛行過程中的決策時間問題。
谷歌加拿大公司的研究科學家、論文一作馬克·貝勒馬爾（Marc Bellemare）表示，通過強化學習，我們可以根據數據決定該如何操作，AI不僅可以做出決策，而且可以根據移動的時間做出實時決策。
Loon：強化學習飛行控制器
如果在一個區域提供完全的網絡覆蓋，Loon一次至少要運行5到10個氣球。如果覆蓋範圍擴大，需要調用周圍的備用氣球，在空中組建一個更大的網狀網絡。
在這一過程中，氣球一般會出現以下狀況：一是因電池報廢等因素，導致氣球壽命縮短並自動降落。二是受颶風等惡劣天氣影響，氣球被吹出固定服務區；
三是最關鍵也是難度最高的氣球導航。
上文已經提到過，Loon的氣球導航是通過球體上下移動，尋找合適的氣流來進行導航。
如下圖（a）氣球通過在不同高度的風之間移動來接近它的指定位置。（b）顯示了氣球的飛行線路，藍色圓直徑代表50公裡，為氣球之間的最佳距離。
但氣流是不穩定的東西。靠風在天空中移動就像使用一個道路網，在那裡街道會改變方向、車道數和速度限制，甚至在不可預知的時間完全消失。
因此要做到這一點就需要一套更複雜的算法—強化學習。通過訓練飛行控制器，RL可以形成一套控制策略，以處理高維的、異質的輸入，並優化長期目標。比如，RL已經在Dota 2等即時策略性遊戲中多次戰勝人類頂級玩家，而且在長遠策略方面表現驚人。
而對於一個好的飛行控制器，需要確保三點：精準且豐富和數據集，最低負載消耗以及低計算成本。
在數據集方面，研究人員根據歐洲中期天氣預報中心（ECMWF）的全球再分析數據（ERA5）創建了可信的風數據集，並通過數據集的模型訓練重新解釋歷史天氣觀測的結果。（ERA5提供了用程序噪聲修改的基準風，通過產生高解析度風場改變驅動程序噪聲的隨機種子，可以提高控制器建模誤差的魯棒性。）
在最低負載消耗方面，研究人員將部署控制器的平均功率控制在了StationSeeker之下（之前的風控制系統），同時使用獎勵r對目標進行了編碼。當氣球距離保持在50公裡範圍內時，r=1為最大值。當然這種獎勵也與氣球的狀態有關，也就是說，它的響應隨時間t的變化而提供不同的指示（上升、下降或停留）
當係數小於1時，最優控制器將使未來回報的預測折現總和最大化，即「回報」。
其中E表示期望值。Rs表示飛行控制器從初始狀態形成的長期值。
最後，計算成本主要體現在風的測量上，研究人員使用高斯過程將氣球的測量結果與ECMWF的預報結果相結合，將風預報作為先驗平均值。後驗分布的方差量化了不同風估計的不確定性。作為控制器的輸入，對氣球正上方和下方的風大小和相對方位進行編碼，在181個氣壓等級下，範圍為5 kPa到14 kPa。
太平洋高空測試
基於以上RL控制器，研究人員在太平洋上空進行了為期39天的氣球導航測試。
從2019年12月17日—2020年1月25日，Loon累計飛行了約2884小時。這些數據被劃分為851個三小時時間，每個時間段作為一個獨立樣本。最終測試結果顯示，
RL控制器在平流層內飛行的時間更長（TWR50 79%對72%；U=850, 410.5，P<10-4）；高度控制使用的功率更少（29w對33w，U=1048,814，P<10-4）。
與StationSeeker相比，在50公裡射程內，RL控制器根據風況使用不同的策略，可以使其在25-50km射程內花費更多的時間（圖4b）；通過主動移動以返回目標區域，縮短了偏移時間（圖4c）。同時也讓它節省了更多能耗（圖d）最後，RL控制器利用海拔高度將電池容量過剩的太陽能轉化為了勢能（圖4e）。
這些結果表明，強化學習是解決現實世界中自主控制問題的有效解決方案，在傳統控制方法（StationSeeker）無法滿足要求的情況下，需要創建與真實動態環境持續交互的人工智慧體。