機器之心報導
參與：蛋醬、杜偉、小舟
在人類探索太空的徵途中，深度學習能做什麼？
在繞地球飛行了 19 個小時之後，Space X 的載人龍飛船與國際空間站成功對接了。
這次飛行堪稱載人航天史上的裡程碑事件：不僅是 Space X 的第一次載人飛行任務、全球商業航天史上的第一飛，也是近 9 年來，美國太空人第一次從本土乘坐國產火箭進入太空。
北京時間 5 月 31 日 3 時 23 分，龍飛船載著兩位 NASA 太空人成功進入太空，全世界為之矚目。
一切都按照計劃順利進行：升空約 2 分鐘後，完成一級火箭分離；9 分半鐘後，一級火箭成功在海上平臺著陸回收；第 12 分鐘，完成二級火箭分離。
當然，這對於馬斯克來說，也許只是計劃中的一部分。他真正的目標是「火星殖民計劃」，包括 Space X 一直以來在做的火箭回收——也是為了讓火箭變成和飛機一樣可重複利用的交通工具，最終實現往來太空與地球之間的大規模人口運輸。
相比於完全由政府主導的「軍用」航天時代，隨著模塊化衛星和商業航天領域的發展，更多的小型或私人機構得以參與到太空領域的探索工作中。與此同時，機器學習也在這一領域有著更加廣泛的應用，尤其是近年來興起的深度學習技術。
在今年 1 月份的一篇論文中，來自牛津大學和三星 AI 的研究者介紹了深度學習在太空探索實踐中的應用。
論文連結：https://arxiv.org/pdf/2001.10362.pdf
深度學習技術與太空的相遇
在人類探索太空的徵途中，深度學習能做什麼？
深度學習技術可以實現複雜的智能計算，在完成各項太空任務和降低操作成本方面是一個不錯的選擇。太空領域的深度學習應用也是移動和嵌入式機器學習的發展方向之一。
在這項研究中，研究者闡述了包括機器學習在太空數據處理方面的多項應用（比如衛星影像），並描述了深度學習在太空設備上如何改進飛船操作，比如通過降低通信成本或者促進導航等方式。
此外，研究者詳細介紹了衛星的計算平臺、嵌入式系統以及資源受限環境下的最新深度學習研究。
深度學習在太空領域的兩大應用範疇
深度學習在太空領域主要有兩方面的應用，首先是有效載荷數據的分析，具體又分為氣候和環境監測、植被和地被植物分類以及目標檢測和跟蹤。
地球觀測衛星，無論是高軌道衛星（GEO）還是低軌道衛星（LEO），軌道上所攜帶的傳感器包括用於雲層檢測的 RGB 成像儀，以及用於氣溫、溼度、風向以及氣態成分等其他大氣特性的傳感器。來自輻射和光譜傳感器的數據通常是在地面基站裡使用經典機器學習和手寫專用算法進行處理，地面和空間傳感器模態的相似性使得機器學習 / 深度學習能夠很好地適應有效載荷數據。
另一方面是太空飛行器的操作，同樣又分為通信以及自動控制和導航。
作業系統包括制導、導航與控制（GNC）系統以及通信、動力和推進系統。NASA 已經定義了 4 個層次的太空飛行器自主權，最低一層關聯的是地面控制任務，最高一層則期望能夠獨立地重新評估目標。當前自動化普遍是由機載控制應用程式（OBCPs）提供的。當在 Rosetta、Venus、Herschel & Planck 等衛星上被使用且檢測到事件時，OBCPs 初始化一系列預定義的行為。通過更好的事件檢測和後續計劃，深度學習能夠改進的不只是 OBCPs，還有跟進的系統。
深度學習在空間硬體和軟體方面的應用
計算資源通常已經被高度細化並緊密聯繫整體。相比於地面硬體系統，太空由於遠程且環境相對較差，計算系統要求高效、抗輻射，並且允許出現錯誤。另外，被送入太空的系統必須經過徹底驗證。因此，太空系統，尤其是硬體，大大落後於現代計算水平。
表 1：不同類型的空間硬體和配置。
首先是系統平臺，包括系統軟體和作業系統、內存和計算能力、功率預算。
太空飛行器的設計和任務獨立高度相關（上表 1），其中專門設計的硬體（ASICs）或高端微控制器為較老的太空任務提供動力。然而，這樣的系統成本高、無彈性且體積大。隨著時間的流逝，這樣的專門化在幾個方面（功率、成本、重量、體積）變得不可行。為了降低開發成本，越來越多的系統開始使用現成的組件（COTS）。在 CubeSats 等小型太空飛行器和大型太空飛行器中都有使用。
其次是抗輻射加固，又包括物理加固和基於電路的加固。
在太空中，設備不再處於地球大氣層的保護之下，因此會受到更多太陽輻射的影響，這可能會導致偽誤差（ spurious error）或者設備電路中的電晶體阻塞。輻射會通過累積方式（總電離輻射劑量，TID）或單粒子效應（SEE）來損壞硬體。
可恢復的 SEE 稱為單粒子翻轉（SEU），會影響內存的邏輯狀態。抗輻射加固則使得計算組件能夠承受此類錯誤。和常規組件相比，抗輻射組件的計算速度是常規組件的兩倍，並且價格是常規組件的很多倍。這就使得使用太空級 CPU 方面的開銷通常比 DSP 和 FPGA 產生的開銷大得多。
最後是對 DL 負載的適宜性。
目前，一些深度學習系統正在進行初步測試。Schartel[39] 訓練了 SqueezeNet 模型，旨在將其轉變成一個空間嵌入式系統；Buonaiuto et al.[5] 利用配置有 CUDA 深度神經網絡庫和 TensorRT 軟體的英偉達 TX1 硬體；此外還有 Xilinx Artix-7 和 Xilinx Zynq-7020 等現場可編程門陣列（FPGAs）等，用於神經形態晶片和圖像分析。首個專門針對深度學習有效負載的太空系統也已經投入生產。
案例分析：深度學習有助於捕獲設備衛星影像（On-device Satellite Imagery）
獲取衛星影像是太空飛行器硬體最普遍的用途之一，但發送和接收大量數據卻功耗極高。上文已經提到，研究人員正嘗試在太空飛行器的高度受限環境中使用深度學習方法加持的硬軟體以及算法。接下來研究者探討了這些深度學習方法如何選擇相關成像數據並進行壓縮，結果表明，深度學習至少可以節省一半功耗。
大多數成像傳感器可以捕獲橫跨電磁波譜的數個波段（通常在 IR 和 UV 之間）。現代化的傳感器能夠做到捕獲 31cm 物體可見的高解析度圖像，合成孔徑雷達（SAR）甚至可以捕獲更高解析度的圖像。人們現在也可以很容易地利用大量的原始和預處理高光譜數據集。
利用合成孔徑雷達（左）和光學傳感器（右）的成像圖。
捕獲的數據需要傳輸至地面衛星接收站進行匯總和分析，耗時且成本高昂。藉助深度學習技術，可實現數據的機載預處理，丟掉不相干的圖像區域（如被雲遮蓋的部分），使得衛星減少傳輸的數據量。此外，對於專門部署的衛星，如用於檢測船隻或鯨魚的衛星，神經網絡也可以幫助衛星完成主要任務，只傳輸任務相關的圖像。
未來的挑戰和機遇
探索太空領域的深度學習領域還有很長的路要走，研究者列舉了前進路上面臨的一些挑戰以及最有發展潛力的應用領域。
其一，地面深度學習視覺模型是為光學（窄頻）數據創建，而大多數太空圖像數據卻是高光譜的。因此，需要進一步開發適用於高光譜太空圖像數據的深度學習模型。除了單模態方法未被充分開發利用之外，多模態深度學習系統也因為計算缺乏而未進入太空應用領域。多模態方法將全方位地改進太空飛行器和有效負載操作，如融合磁強計、地面和太陽傳感器數據用於 GNC 操作，以及融合 SAR 和 HSD 用於地形特徵描述。
其二，太空飛行器深度學習模型的特徵描述必須不局限於準確率。模型的執行能力不僅取決於其結構，還與內存、功率、計算和可靠性受限的環境息息相關。因此，效率的定義必須擴展至硬體和情景感知特徵描述。計算單元上的深度學習模型效率必須進行多軸度量，並且要在整個太空飛行器運行的大背景下進行特徵描述。
其三，當前 ECSS-E-ST-10-02C Rev.1 和 ECSS-E-ST-40C 上列出的太空系統和軟體驗證標準對於太空飛行器深度學習系統來說是不足夠的。鑑定過程的核心包含四部分內容：分析、測試、檢查和證明，它們應用於深度學習系統時會出現較大的不同。因此，太空深度學習系統需要增加一些視角分析，如準確性、魯棒性、效率和可解釋性。