遙感中多模態和數據融合的挑戰和機遇

引用

Dalla Mura M, Prasad S, Pacifici F, et al. Challenges and opportunities of multimodality and data fusion in remote sensing[J]. Proceedings of the IEEE, 2015, 103(9): 1585-1601.

摘要

遙感是獲取有關地面和我們環境的相關信息的最常見方法之一。遙感採集可以通過有源（合成孔徑雷達、雷射雷達）和無源（光學和熱程、多光譜和高光譜）設備來完成。根據傳感器的不同，可以獲得地球表面的各種信息。

這些傳感器獲得的數據可以提供有關圖像中物體的結構（光學、合成孔徑雷達）、高程（雷射雷達）和物質含量（多光譜和高光譜）的信息。一旦將它們的互補性考慮在一起，就可以幫助確定土地使用的特點（城市分析、精準農業）、損害檢測（例如，在洪水、颶風、地震、海洋中的石油洩漏等自然災害中），並深入了解潛在的資源開發（油田、礦產）。此外，在不同時間重複採集一個場景，可以讓人們監測自然資源和環境變量（植被表象、積雪覆蓋）、人類學效應（城市擴張、森林砍伐）、氣候變化（荒漠化、海岸侵蝕）等等。在本文中，我們概述了當前利用多模式數據進行地面觀測有關的機遇和挑戰。這是通過利用電氣和電子工程師協會地球科學和遙感學會自 2006 年以來組織的數據融合競賽的成果來完成的。我們將報告這些競賽的成果，介紹每年向社會提供的多模態數據集、有針對性的應用以及對提交的方法和結果的分析。如何考慮多式聯運並將其納入處理鏈？融合提供了哪些改進/新的機會？需要解決的目標和報告的解決方案是什麼？由此產生的下一個挑戰是什麼？

1 介紹

遙感技術可用於觀測地球表面的不同方面，如特定區域內物體的空間組織、高度、組成物質的識別、物質表面的特徵、地下的構成等。通常情況下，一次遙感採集只能觀測到上述特徵中的一個（或最多幾個）。因此，可以通過數據融合(DF)實踐，將不同採集源得出的觀測數據進行耦合和聯合分析，以實現對現場更豐富的描述。因此，聯合利用不同的遙感源是對地球進行詳細和精確描述的一個關鍵方面。如今，多源信息的融合被認為是利用遙感數據的一個典型場景。被動光學傳感器已被廣泛用於繪製大尺度的土地覆蓋類型等水平結構圖，而合成孔徑雷達(SAR)系統則由於受到時間日和大氣條件的限制，以及地形和人造目標對雷達頻率的獨特反應，成為光學成像能力的補充。最近，光探測與測距（LiDAR）技術已被證明具有獨特的優勢，可以提供高度精確的結構垂直高度樣本測量（測量與接收傳輸脈衝回波的延遲相關），以及材料的反射特性信息（考慮反射信號的強度）。然而，它仍然受到高運行成本的限制。因此，光學/SAR/LiDAR 測量的互補性，如果將這些數據聯合起來考慮，可以更全面地描述被勘測的場景。從圖 1 可以一目了然地看出這三種模式的區別，圖 1 中列出了三種採集方式的構成。

融合不同模式的重要性在許多早期的工作中已經被指出，例如通過融合雷射雷達數據和熱圖像來識別人造物體，或者在聯合考慮光學和 SAR 圖像時進行場景解釋和圖像分類。自遙感衛星出現以來，由於周期性採集產生的數據量不斷增加，數據融合一直是一個非常活躍的研究領域。到目前為止，數據融合實踐已被廣泛地應用於許多應用性的遙感任務中，如城市測繪、森林相關研究、浮油檢測和表徵、災害管理、數字表面模型（DSM）和數字高程模型（DEM）生成等。由於工作在不同特性和採集方式的傳感器數量不斷增加，數據融合的潛力和成果也在不斷增加。因此，遙感界圍繞這一主題的興趣不斷增加。例如，請看專業協會中專門針對這一主題的活躍團體（如 IEEE 數據融合技術委員會和國際攝影測量和遙感學會 VII/6 工作組：遙感數據融合），幾乎所有遙感會議和講習班中都不斷出現專門討論數據融合的特別會議，甚至整個會議都專門討論數據融合（如城市地區遙感和數據融合國際專題討論會），以及遙感期刊中的特別問題（如 &34;）。2008 年《IEEE 交易和地球科學遙感》的 &34;和即將出版的《IEEE 地球科學和遙感雜誌》的專刊）。)

數據融合是與處理不同傳感器觀測到的數據有關的一種常見範式，並在眾多領域中找到了自己的位置。如果我們專注於遙感，數據融合的方法通常根據融合發生的處理鏈的層次分為三組。一般來說，融合可以在三個不同的處理層次上進行。

原始數據級。在某些情況下，不同模態的融合是在獲取數據的層面上進行的。在這種情況下，目的是將不同的數據源結合起來，以便合成一個新的模態，之後，它可以用於不同的應用。圖像銳化、超解析度和從二維視圖重建三維模型都是具有相同目的的應用實例。

特徵級。DF 在特徵層面的目標是指考慮到屬於不同來源的數據，生成一組增強的觀測數據。融合的結果可以共同作為後續決策步驟的輸入。專注於土地覆蓋分類，可能最直接的方法是將一種類型的數據疊加在另一種類型的數據上，然後用這個新的數據集來餵養分類器。在其他情況下，可以從一個或多個數據源中提取不同的特徵集（如線性特徵或空間特徵等圖像基元），並將其組合在一起，以分別降低不確定性或實現更豐富的描述。

決策級。對來自不同來源的信息進行組合，要分別考慮每種模態得到的結果進行組合。如果數據為所考慮的應用提供了互補的信息，則可以期望通過融合從每個模態獨立獲得的結果來提高決策的魯棒性。這是因為在融合的結果中，一致的單個決策由於其共識而得到確認，而不一致的決策則被合併（例如，通過多數投票），以減少誤差。同樣的概念也可以通過模式識別中的集合學習來實現。

圖 1. 從左至右，是在美國舊金山市上空獲取的光學數據（亞米空間解析度的真彩色構圖[3 個波段圖像]）、SAR（反向散射的振幅[標度圖像]）和雷射雷達高程數據[通過柵格化三維點雲獲得的標度圖像]的構成。

2 IEEE 數據融合競賽

為了促進數據融合這一重要課題的研究，自 2006 年以來，IEEE 地球科學與遙感學會數據融合技術委員會（DFTC）每年都會舉辦數據融合競賽。DFTC 是一個全球性、多學科的地理空間數據融合網絡，目的是連接人與資源，教育學生和專業人員，促進數據融合應用的最佳實踐。舉辦競賽的目的是評估研究或操作層面的現有方法，以便利用多傳感器數據解決遙感問題。競賽為對一類數據融合問題感興趣的研究人員提供了一個基準，從競賽開始，然後讓數據和結果作為參考，供 DFTC 內外最廣泛的社區使用。每個競賽都是針對遙感應用背景下數據融合的不同方面。

2014 年版數據融合大賽提出了在不同光譜範圍和空間解析度下獲取的圖像之間進行融合。具體而言，所掌握的數據是在同一地區獲得的較粗解析度長波紅外高光譜圖像（84 個通道，覆蓋 7.8 和 11.5 納米之間的熱域波長，空間解析度為 1 米）和在可見光光譜中獲得的高空間解析度數據（RGB 通道，空間解析度為 20 釐米）。至於 2013 年的競賽，提出了兩個不同的挑戰。一項涉及土地覆被分類，另一項涉及最佳論文挑戰（即開放申請）。

3 遙感中的數據融合問題

本節旨在介紹競賽所處理的與遙感有關的任務，其中採用了數據融合。

3.1 泛銳化

所謂的超高解析度（VHR）衛星，如 IKONOS、QuickBird 和最近的 WorldView-2 和 WorldView-3，能夠用全色（PAN）和多光譜（MS）波段對景物進行成像。前者是一個單色傳感器，獲取場景在可見光和近紅外（VNIR）光譜（典型的 450-800 納米區間）的輻射度，空間解析度為亞米級。空間解析度用地面採樣間隔（Ground Sampling Interval，GSI）來衡量，GSI 是指兩個相鄰像素中心之間在地面上的距離，非正式地可以與 &34;相關聯。目前，商業衛星最高的空間解析度由 WorldView-3 給出。多光譜傳感器在電磁波譜的不同區間採集，從而提供由多個光譜通道組成的圖像。術語 &34;一般用於表示傳感器感測光譜的能力（光譜帶的數量和光譜域中採集間隔的寬度）。最典型的配置是四個頻段，（三個在可見光，對應紅、綠、藍三色的波長，一個在近紅外域）即使最新的傳感器已經擴大了通道數。圖 2 描述了安裝在 Worldview-2 衛星上的傳感器的相對光譜響應。

圖 2. 安裝在 Worldview-2 衛星上的傳感器的相對光譜反應。

圖 3 顯示了競賽中提交的的泛銳化結果的實例。通過觀察該圖可以注意到，融合的產品在輻射測量學（如顏色）和幾何學（即空間細節的呈現）方面都存在差異。由於沒有進行空間濾波，CS 技術在一般情況下會產生具有精確空間細節的融合產品，但通常會產生光譜失真，這在融合圖像中可以看到某個顏色成分的飽和度過高或過低。MRA 方法得到的結果通常能較好地保存光譜內容，但卻損害了細節的空間保真度。事實上，提取細節注入的空間濾波在某些情況下會產生空間偽影或模糊區域。在比賽中考慮的算法中，MRA 家族的兩個算法獲得了最好的結果（無論是視覺還是定量分析）。圖 3 中的 GLP-CBD 和 AWLP 這兩種平移銳化技術通過對 PAN 的多解析度分解提取空間細節，前者採用高斯金字塔，後者採用小波濾波器。即使兩個濾波器不同，它們的頻率響應也非常相似，可以看作是傳感器的調製傳遞函數（即光學系統的傳遞函數）的近似。

圖 3. 2006 年泛銳化數據融合競賽的結果(括號內為泛銳化系列)。(a)加權和圖像銳化，WSIS(CS)；(b)帶有權衡參數的廣義強度色調飽和度，GIHS-TP(CS)；(c)帶有基於上下文的決策的廣義拉普拉斯金字塔，GLP-CBD(MRA)；(d)快速光譜響應函數，FSRF(CS)。(e)驗證中用作參考的原始圖像；(f)加性小波亮度比例，AWLP(MRA)；(g)新不倫瑞克大學(UNB)-Pansharp(CS)；(h)遺傳算法的廣義強度色調飽和度，GIHS-GA(CS)；(i)全色圖像。

3.2 變化檢測

變化檢測（CD）是指分析在不同時間在同一地區獲取的兩張或多張圖像（即多時圖像），以檢測在兩次獲取圖像之間土地覆蓋類型發生變化的區域。變化檢測方法的應用範圍很廣，如城市和環境監測、農業和森林調查、災害管理等。一般來說，CD 技術假定多時態圖像是由同一傳感器採集的，並且可能採用相同的採集方式（如視角），以減少圖像之間的共同登記問題，並儘量減少圖像中存在的非土地覆被實際變化引起的差異。在自然災害和搜救行動中，由於時間有限，而且可用數據通常是零散的、不完整的或不詳盡的，因此必須使用從不同傳感器獲取的圖像進行分析。目前，CD 遇到了更大的挑戰，其準確性取決於處理不同模式的方式。

3.3 分類

新興的深度學習提供了一種通過深度神經網絡系統化、層次化學習數據集中底層結構的方法。近年來，深度層次神經模型被提出來學習特徵層次結構--從輸入圖像到後端分類器。通常在這樣的架構中，圖像補丁與濾波器進行卷積，響應反覆次採樣，並進行再過濾--當通過足夠多的卷積層、次採樣層（以及通過激活函數進行非線性映射）時，預計並通過真實數據觀察到，由此產生的前饋網絡對圖像分析非常有效。儘管深度學習已經成功地應用於許多計算機視覺應用，但其對單傳感器和多傳感器遙感數據的實用性非常有限，雖然這對多傳感器數據融合的潛在好處是巨大的。

4 討論

正如第一節介紹的那樣，從提出的挑戰來看，數據融合可以在旨在從數據中提取信息的通用方案中的不同層次上進行。

原始數據級。通常在具體的任務中，有一些約束條件來約束分析。特別是，可以依靠數據之間的一些模擬來融合。例如在考慮分析多角度數據的時候，採集中使用的傳感器是一樣的。類似地，對於全景銳化，全色和多光譜傳感器被安裝在同一平臺上（這使得圖像之間的空間註冊沒有必要），並具有可忽略的時滯。

特徵級。在特徵層面的融合發生在幾個提出的技術中，解決了諸如類別化和變化檢測等任務。特徵由一個或多個模態提取，隨後進行融合，以組成一個新的豐富的特徵集。例如，當結合光譜與空間特徵時，在單一模態上融合的演示被給出。

決策級。決策的融合發生在最高語義層面。根據結果，即使是簡單的融合策略（如多數票），DF 在這個層面也被證明是非常有效的。

通過本文的回顧與分析，可以提出一些一般性建議：

對於某些應用，通過 DF 範式利用多種模式是進行分析的唯一途徑。當融合發生在原始層面時，就是這種情況。 同樣，這種對觀察到的世界更完整的描述可以使某些操作成為可能。在分類中，只有在考慮多模態數據的情況下，才有可能對幾個類別進行區分。

有必要考慮傳感器和數據特徵。特別是當數據在採集過程中表現出極度不同的解析度或顯著不同的幾何形狀時。例如，通過考慮 SAR 和光學圖像之間的融合，SAR 圖像中物體在場景中的貢獻位置取決於它們與傳感器的距離，而光學圖像則反映了它們在地面上的位置。此外，SAR 圖像可以顯示出在光學圖像中找不到對應的模式（例如由於雙彈、重疊和陰影效應造成的模式）。在這種情況下，VHR 光學圖像和 SAR 圖像的瑣碎像素組合可能會導致無意義的結果。

儘管數據融合可以帶來明顯的好處，但也會帶來一些重要的挑戰。從不同來源獲取的數據可能以完全不同的格式出現。例如，成像傳感器在一個網格上提供數據，而雷射雷達則產生一組稀疏和非均勻間隔的採集數據。此外，光學圖像中的像素和雷射雷達中的數據是多變量實值，而雷達圖像則是複雜值。不得不將數據轉換為通用格式以便共同處理，會使數據中的測量值相對於每種單一模式固有的測量值產生額外的不確定性(例如，由於量化和插值等操作而產生更大的誤差)。當多模態數據之間的對應關係無法建立時，融合的結果可能會呈現缺失的信息（對於某些模態）。這就給處理缺失數據的方式帶來了理論和算法上的挑戰。

5 討論

從上一節恢復的現狀來看，我們將在此說明遙感中 DF 仍然存在的挑戰和新的前景。

短期內即將發射的新衛星數量不斷增加，衛星平臺的特點也越來越多樣化。例如，DigitalGlobe 公司最近發射的 WorldView-3 就包括了 VNIR-SWIR 區域光譜的 29 個波段，解析度從 30 釐米到 30 米不等。這兩個方面導致了由大量不同的傳感器所獲取的數據的產生，因此將產生越來越多的 DF 分析需求，以充分利用這些數據。從這個角度來看，我們可以認為對傳感器依賴性較小的 DF 方法具有優勢，因為應用範圍較大。

目前我們看到的另一個趨勢是傳感器解析度的提高（幾何、光譜或輻射測量）。這無疑是一個非常有利的特徵，但它會引起分析工作的增加。更高的解析度數據能夠更精細地感知場景（即提供更多的幾何/光譜/輻射細節），增加了對特定任務有意義的信息量，可以被提取出來，但使得從數據中處理信息的過程更加複雜。這適用於單一模式，當融合多種信息源時，挖掘的潛力和難度也會相應增加。此外，由于越來越多的衛星以較小的重訪時間在地球表面提供更大的覆蓋範圍，以及檔案數據的可用性，可以處理潛在的大量數據。對能夠處理如此大量數據的高效算法的需求將越來越多地成為對新的 DF 方法的需求。

在過去幾年裡，遙感市場不僅考慮到由政府空間組織或大型地球觀測公司發射的大型衛星所獲得的數據。技術進步已允許生產微型衛星平臺，如微型（10-100 公斤）、納米（1-10 公斤）、皮米（0.1-1 公斤）甚至 femto 衛星（<0.1 公斤）。由於較小的平臺與大型平臺（>500 公斤）所需的成本相比大幅降低，發射衛星已成為一種負擔得起的業務，甚至大學也可以獲得。此外，地面無人駕駛飛行器已基本普及，無疑也成為 EO 應用的一種資產。現成的飛行平臺成本低，而且有可能配備消費級儀器（如小型照相機），這使得更多的業餘愛好者也能使用 EO。小型衛星和地面地球觀測平臺的日益增多，將提供大量多樣化的數據，從而進一步拓寬了 DF 的範圍。顯然，與安裝在大型衛星或專業機載採集系統上的儀器相比，有效載荷的儀器(如傳感器、全球定位系統接收器和慣性系統)的性能明顯較差。這些數據的質量較低，如果在分析中沒有適當考慮到，會直接影響 DF 的結果。

從更大的角度看，我們還設想在不久的將來，將利用更多的信息源進行融合。到目前為止，用於 EO 的 DF 幾乎完全基於遙感數據（如主動和被動圖像）。例如，從地理信息系統（GIS）中獲得的信息，如道路網、地籍層中的建築足跡、土地覆蓋圖等，對 EO 應用具有根本的重要性。遙感數據和 GIS 圖層之間的融合已經有了一些例子，但在遙感研究界還沒有廣泛起步，即使，這兩種信息源的耦合已經被證明是成功的。GIS 圖層和遙感數據融合缺乏成熟的 DF 技術的一個原因，或許可以歸結為這兩種信息源的本質特徵不同。在許多情況下，GIS 圖層不能直接與遙感數據融合，因為它們是以矢量格式出現的，它們可能包含描述性數據（即地理定位的文本信息），它們處理的是本機的語義對象而不是像素，而且與遙感圖像的重合可能是一個嚴重的問題。然而，由於市政當局所掌握的地方信息系統或 OpenStreetMap 等世界性資料庫，基本上可以獲得 GIS 數據。此外，從地理信息系統發布的一些信息可以涵蓋遙感檔案中首次獲取之前的時期，因此成為某些應用的唯一可用信息。由於其可用性大，且與傳統遙感影像具有互補性的特點，我們相信 GIS 與遙感數據的融合會有越來越大的推動力。

在同樣的研究方向上，我們也認為非傳統的傳感器對某些應用是有益的。例如，利用地面信息（如手機圖像、街景、GPS 傳感器的高度值）、機會型傳感器（如作為基於 GPS 信號的被動傳感器），甚至是地理分布的遙感數據源，如地理標記的推文、從新聞中提取的位置、軌跡點等。將這些異構數據考慮在一起，對 DF 來說無疑是一個新的挑戰。可供融合的數據的異質性（在解析度、特徵、來源和一致性方面）不斷增加，將極大地影響 DF 算法的方法論發展，我們認為，DF 算法將越來越多地由應用驅動。事實上，通用的 DF 策略將不可能處理數據的不同特性，也不可能對幾個任務有足夠的有效性。具體的應用將定義哪些來源與融合相關，以及如何將它們結合起來。例如，在城市遙感的框架下，城市區域的模型（如建築、區或鎮級）或所研究的現象（如檢測城市熱島或空氣汙染）將被隱含或明確地限制使用哪些數據以及在哪個空間和時間尺度上。

特別是在處理不完善、缺失和衝突數據的方式上，顯然缺乏一個普遍認可的框架，在考慮到這些不同特點的情況下，正確地進行融合。概率論、模糊集理論、可能性理論、粗糙集理論和 Dempster-Shafer 證據理論已經部分解決了這個問題，但這些方法都沒有在 DF 問題中得到廣泛的應用，因此這仍然是一個有待解決的挑戰。這方面的重要性肯定會增加，因為正如本節前文所述，由於 EO 的新興趨勢，將有大量具有異質特性和質量的數據可用。

另一個基本的挑戰是與結果的驗證有關。這是一個常年的問題，對於沒有參考資料的任務。然而，普遍認可的驗證範式對於定量評估新提出的算法是至關重要的。

6 總結

通過回顧 DFTC 舉辦的競賽結果，可以看出他們的主要貢獻，例如：一) 促進了每個競賽主題的方法學發展。二）向社會提供數據集--有時這些數據集是很有價值的，因為在實際作業場景中，從不同傳感器獲取如此多的、具有如此高空間解析度的數據可能是不尋常的，如 2012 年的競賽（甚高解析度輻射、不同傳感器的甚高解析度輻射光學和雷射雷達）和 2011 年的競賽（甚高解析度輻射多角圖像）。三）鼓勵基於競賽數據的新應用或研究方向的出現。從大賽的角度分析遙感數據融合的不同方面，可以明確指出，數據融合確實是提取信息的方式。事實上，對於某些任務和應用來說，它是進行分析的唯一手段。

以分類為例，這也許是數據融合所能影響的最活躍的任務之一：對於一個目標（將數據分割成若干感興趣的類），數據融合可以通過提供補充信息、加強我們對結果的信念或解決模糊/衝突的情況來改善分類性能。這對於各種應用中的土地覆蓋/土地利用繪圖問題尤其有用。多模態在其他一些情況下也是有益的，可以嘗試提供一個更好的物理現實世界的描述。每一種模式都提供了複雜物理世界的一種投影。使用多模態是以一種精細的方式獲取這種複雜性的方法，但以一種高效可靠的方式結合這些投影是一個挑戰。具體來說，正如我們在前面的討論中所看到的那樣，數據融合也從技術和方法論的角度提出了一些獨特的挑戰，需要研究界繼續研究。

致謝

本文由南京大學軟體學院 2019 級碩士劉佳瑋轉述