衛星影像識別技術在高德數據建設中的探索與實踐

導讀

對於地圖服務而言，地圖數據的準確率和覆蓋率是服務質量的關鍵因素，而地圖數據的更新，依賴於多種信息源，如軌跡熱力，實採圖像，衛星影像等。近年來，由於遙感衛星數量的增多及高解析度光譜相機的出現，以及衛星影像圖自身覆蓋廣、視角好、信息豐富的特點，衛星影像作為地圖數據更新的信息源起到了越來越重要的作用。

對於衛星影像的使用方式，高德經歷了由前端用戶展示，到人工數據作業參考，再到主動發現更新地圖數據的進化過程，這同時也是我們不斷挖掘影像數據價值的過程。本文會介紹高德視覺團隊將衛星影像從被動參考升級為主動發現的過程中的探索和實踐。

衛星影像關鍵元素

按照幾何結構劃分，影像元素可分為三大類：道路元素(road)，地物元素(region)，建築物元素(building)：

道路元素：包含普通道路，精細道路（主/輔路/非機動車道，提前右轉路），連接點（貫穿路、出入口、掉頭口、路口等）。

地物元素：包含建築區域、拆遷區域、水域、農田、山區、林地、大棚等。

建築物元素：建築物樓塊。

衛星影像在數據更新上的優勢

路網是地圖數據的基礎，所有的道路屬性、動態事件、POI引導都需要基於準確的路網數據信息。而衛星影像由於具有上帝視角，對區域內路網的連接關係、複雜的路口關係、平立交關係的判斷具有全局而豐富的信息支撐。同時，由於衛星影像覆蓋廣、成本低的特點，對於熱力稀疏或者採集車難以覆蓋的區域，可以進行很好的路網數據補充。

路網三大信息源：熱力、衛星影像、實採

作為用戶導航的終點，POI（「Point of interest」的縮寫，在地圖數據中，一個POI可以是一棟房子、一個商鋪、一個公交站等）坐標位置的準確性十分重要。通過高德POI中Top1000w的統計，70%的POI需要與樓塊進行綁定，POI到達點與沿街樓塊具有強依賴關係。

POI與樓塊強相關性

衛星影像識別技術探索實踐

衛星影像精細語義分割(Semantic)

在語義分割上，為了提升算法精度，我們將主要方向聚焦在上下文信息的結合，如使用了U-Net結構、ASPP、Non-local等對信息的聚合具有作用的結構。同時引入了Attention加強了網絡對圖像顯著區域，即當前分割任務所關注的類別進行了注意力聚焦，使得效果達到進一步提升。

• U-Net結構

由於影像圖像語義較為簡單、結構較為固定，高級語義信息和低級特徵都顯得很重要，因此我們選用了U-Net作為網絡的基礎結構。Encoder-Decoder分別下採樣4次+上採樣4次，將Encoder得到的高級語義特徵圖恢復到原圖片的解析度。

相比於FCN和Deeplab等，U-Net共進行了4次上採樣，並在同一個Stage使用了Skip Connection，而不是直接在高級語義特徵上進行監督和Loss反傳，這樣就保證了最後恢復出來的特徵圖融合了更多Low-Level的Feature，也使得不同Scale的Feature得到了融合，從而可以進行多尺度預測和DeepSupervision。4次上採樣也使得分割圖恢復邊緣等信息更加精細。

• ASPP

使用不同擴張率的擴張卷積，並進行特徵結合，得到多尺度特徵，同時得到全局信息和局部信息。

• Attention

關注圖像顯著區域，將U-Net的淺層和對應的深層進行信息結合後，得到Attention的參數，再作用於當前深層，得到最終Attention的結果輸出。

• Non-local

特定層的卷積核在原圖上的感受野(local)是有限的，Non-local通過將空間中不同像素間的關係編碼到當前層的輸出，從而將全局信息加入到輸出結果中，就能很好地解決local操作無法看清全局的情況，為後面的層帶去更豐富的信息。

U-Net結構（左上） Attention(左下) Non-local(右上) ASPP(右下)

影像樓塊實例分割(Instance)

實例分割有兩種主流方法，第一種是基於目標檢測，在得到目標檢測框之後再在框內做語義分割前景和背景，由於這種方法需要藉助目標檢測中的區域提議，因此該方法稱為Proposal-Based方法。

另一種方法是，在語義分割圖的基礎上，將像素聚集到不同的實例上，這種被稱為Proposal-Free方法。我們對兩種主流方法進行了對比實驗，由於樓塊具有多樣性、「矮胖結構」的特點，Proposal-Based方法效果要優於Proposal-Free方法。

對於樓塊數據而言，重要的表達內容是樓塊的底座位置及其形狀。然而由於影像拍攝視角問題，部分高樓在視覺上呈現斜射的效果，部分基座邊緣被遮擋，為識別造成了極大的難度。

經過數據分析與推算，我們發現絕大多數的樓塊底座形狀是和樓頂形狀一致的，因此我們採用了樓頂分割+樓頂到基座偏移量的多任務學習方案，將分割出的樓頂形狀加上一個樓頂到基座的偏移向量，對基座的形狀和位置進行了一個比較理想的還原。

多元素識別效果展示

針對衛星影像不同元素的圖像特徵與拓撲結構關係，我們設計了多個識別模型，包含普通道路識別、精細路網識別、地物分類識別、樓塊識別等，作用於高德多種類別的數據更新。

普通道路識別（左上） 精細路識別(右上) 地物分類(左下) 樓塊識別(右下)

未來展望&挑戰

• 路網數據的準確/快速更新

用戶在使用導航過程中可能會遇到一些場景：比如為什麼這裡有條新路卻給導航了一條繞遠的路？為什麼導航了一條已經不能走的路？為什麼本來這裡可以掉頭卻還要往前多走幾公裡才能掉頭？這些由路網數據錯誤導致的導航偏差，是我們未來需要解決的核心問題，也是業界的難題。未來我們期望通過視覺算法層面的優化，通過多採集源的融合預測，通過提前發現建設中道路等一系列手段，來快速感知到現實世界中發生的路網變化。

• 數字城市中的樓塊與AOI建設

對於數字城市來說，樓塊和AOI（興趣區，Area Of interest）是重要的元素之一：如用戶想要前往某個店鋪，實際導航的到達點是店鋪所在的樓塊；用戶想要前往某個小區的某個樓，實際導航的到達點是小區的入口，因此樓塊與AOI的準確與完備直接影響到用戶導航最後幾百米的使用感受。同時結合最近的疫情防控，數字城市中的樓塊和AOI信息可以對寫字樓、小區等區域的疫情防控提供有力的數據支持。未來我們期望通過結合衛星影像的發現能力，進一步完善數字城市的數據建設，連接真實世界，讓出行更美好。