全新訓練及數據採樣&增強策略,FB全景分割實現新SOTA

選自arXiv

作者：Lorenzo Porzi等

機器之心編譯

編輯：陳萍、杜偉

高解析度圖像上的全景分割面臨著大量的挑戰，當處理很大或者很小的物體時可能會遇到很多困難。來自 Facebook 的研究者通過引入實例 scale-uniform 採樣策略與 crop-aware 邊框回歸損失，能夠在所有尺度上改善全景分割效果，並在多個數據集上實現 SOTA 性能。

全景分割網絡可以應對很多任務（目標檢測、實例分割和語義分割），利用多批全尺寸圖像進行訓練。然而，隨著任務的日益複雜和網絡主幹容量的不斷增大，儘管在訓練過程中採用了諸如 [25,20,11,14] 這樣的節約內存的策略，全圖像訓練還是會被可用的 GPU 內存所抑制。明顯的緩解策略包括減少訓練批次大小、縮小高解析度訓練圖像，或者使用低容量的主幹。不幸的是，這些解決方法引入了其他問題：1) 小批次大小可能導致梯度出現較大的方差，從而降低批歸一化的有效性 [13]，降低模型的性能 ；2）圖像解析度的降低會導致精細結構的丟失，這些精細結構與標籤分布的長尾目標密切相關；3）最近的一些工作[28,5,31] 表明，與容量較低的主幹相比，具有複雜策略的更大的主幹可以提高全景分割的結果。

克服上述問題的一個可能策略是從基於全圖像的訓練轉向基於 crop 的訓練。這被成功地用於傳統的語義分割[25，3，2]。由於任務被限定在逐像素的分類問題，整個問題變得更加簡單。通過固定某個 crop 的大小，精細結構的細節得以保留。而且，在給定的內存預算下，可以將多個 crop 堆疊起來，形成大小合理的訓練批次。但對於更複雜的任務，如全景分割，簡單的 cropping 策略也會影響目標檢測的性能，進而影響實例分割的性能。具體來說，在訓練過程中，從圖像中提取固定大小的 crop 會引入對大目標進行截取的偏置，在對完整圖像進行推斷時低估這些目標的實際邊界框大小（參見圖 1 左）。

為了解決這一問題，Facebook 的研究者進行了以下兩方面的改進。首先，他們提出了一種基於 crop 的訓練策略，該策略可以利用 crop-aware 損失函數（crop-aware bounding box, CABB）來解決裁剪大型目標的問題；其次，他們利用 instance scale-uniform sampling（ISUS）作為數據增強策略來解決訓練數據中目標尺度不平衡的問題。

論文連結：https://arxiv.org/abs/2012.07717

研究者表示，他們的解決方案擁有上述從基於 crop 訓練中得到的所有益處。此外，crop-aware 損失還會鼓勵模型預測出與被裁剪目標可視部分一致的邊界框，同時又不過分懲罰超出 crop 區域的預測。

背後的原理非常簡單：雖然一個目標邊界框的大小在裁剪後發生了變化，但實際的目標邊界框可能比模型在訓練過程中看到的還要大。對於超出 crop 可視範圍但仍在實際大小範圍內的預測採取不懲罰的做法，這有助於更好地對原始訓練數據給出的邊界框大小分布進行建模。通過 ISUS，研究者引入了一種有效的數據增強策略，以改進多個尺度上用於目標檢測的特徵金字塔狀表示。該策略的目的是在訓練過程中更均勻地在金字塔尺度上分布目標實例監督，從而在推理過程中提高所有尺度實例的識別準確率。

實驗結果表明，研究者提出的 crop-aware 損失函數對具有挑戰性的 Mapillary Vistas、Indian Driving 或 Cityscapes 數據集中的高解析度圖像特別有效。總體來說，研究者的解決方案在這些數據集上實現了 SOTA 性能。其中，在 MVD 數據集上，PQ 和 mAP 分別比之前的 SOTA 結果高出 4.5% 和 5.2%。

算法介紹

實例 Scale-Uniform 採樣 (ISUS)

研究者對 Samuel Rota Bulo 等人提出的 Class-Uniform 採樣（CUS）方法進行了擴展，創建了全新的 Instance Scale-Uniform 採樣（ISUS）方法。標準的 CUS 數據準備過程遵循四個步驟：1）以均勻的概率對語義類進行採樣；2）加載包含該類的圖像並重新縮放，使其最短邊與預定義大小 s_0 匹配；3）數據增強（例如翻轉、隨機縮放）；4）從所選類可見的圖像區域中生成隨機 crop。

在 ISUS 方法中，研究者遵循與 CUS 相同的步驟，只是尺度增強過程是 instance-aware 的。具體地，當在步驟 1 中選擇「thing」類（ 可數的 objects，如 people, animals, tools 等），並在完成步驟 2 之後，研究者還從圖像和隨機特徵金字塔層級中採樣該類的隨機實例。然後在第 3 步中，他們計算了一個縮放因子σ，這樣所選實例將根據訓練網絡採用的啟發式方法分配到所選層級。

為了避免出現過大或過小的縮放因子，研究者將σ限制在有限範圍 r_th 中。當在步驟 1 中選擇「stuff」類（相同或相似紋理或材料的不規則區域，如 grass、sky、road 等）時，他們遵循標準的尺度增強過程，即從一個範圍 r_st 均勻採樣 σ。從長遠來看，ISUS 具有平滑目標尺度分布的效果，在所有尺度上提供更統一的監督。

Crop-Aware 邊界框 (CABB)

在 crop 操作之後，研究者將真值邊界框 G 的概念放寬為一組與 G|_C 一致的真值框。用ρ（G，C）函數計算給定真值框 G 和 cropping 面積 C，公式如下

其中 X 覆蓋所有可能的邊界框Β。研究者將 ρ(G, C) 作為 Crop-Aware 邊框（CABB），它實際上是一組邊框（參見下圖 3）。如果真值邊框 G 嚴格地包含在 crop 區域中，那麼 CABB 歸結為原始真值，在這種情況下 ρ(G, C) = {G}。

Crop-aware 邊框損失：該研究對給定的真值框 G、anchor 框 A 和 crop 區域 C 引入了以下新的損失函數：

實驗

研究者在以下三個公開高解析度全景分割數據集上評估了 CABB 損失：它們分別是 Mapillary Vistas（MVD）、Indian Driving Dataset（IDD）和 Cityscapes（CS）。

網絡與訓練細節

該研究遵循無縫場景分割（Seamless-Scene-Segmentation）[23]框架，並進行了修改。首先，研究者用 HRNetV2-W48+[28，6]替換 ResNet-50 主體，前者是一種專門的骨幹網絡，它保存從圖像到網絡最後階段的高解析度信息；其次，研究者將 [23] 中的 Mini-DL 分割頭替換為 DeepLabV3+[4]模塊，該模塊連接到 HRNetV2-W48 + 主幹。最後將同步的 InPlace-ABN [25]應用於整個網絡，並在候選區域和目標檢測模塊中使用 CABB 損失替換標準邊界框回歸損失。

具體流程如下圖所示：

與 SOTA 結果進行比較

下表 1 頂部的 MVD 結果表明，CROP 在所有指標上均優於 FULL，這證明了基於 crop 訓練的優勢。除此以外，即使是該網絡變體中最弱的，也超過了所有的 PQ 基準，唯一的例外是基於 HRNet-W48 的 Panooptic Deeplab 版本。

表 1 中間的 IDD 實驗得到了類似的結果：CROP 在大多數指標上優於 FULL，而 CABB+ISUS 帶來了進一步改進，在 PC 中最為顯著。與之前的工作相比，該研究觀察到 mAP 分數和 SOTA PQ 都有了很大的提高，而分割指標有點落後。

表 1 底部的 Cityscapes 結果呈現相同趨勢，儘管邊際損失（margin）有所下降。需要注意，Cityscapes 是比 IDD 和 MVD 都小的數據集，在某些度量標準中，SOTA 結果接近 90％，因此預計會有較小的改進。儘管如此，與以前最佳方法相比，CROP+CABB+ISUS 在 mAP 上實現了 1.5％以上的顯著提升。

實驗細節

上表 1 為均在 1024×1024 crop 上訓練的兩種設置的結果：從其原始代碼中複製（Seamless + CROP）的未修改網絡 [23]，以及結合 CABB 損失和 ISUS 網絡（Seamless+CABB+ISUS）的同一網絡。

與該研究的其他結果一致，基於 crop 訓練的引入相較基準實現了一致改進，特別是在檢測指標方面，同時 CABB 損失和 ISUS 進一步提高了分數，在 PQ w.r.t.Seamelss 上提升了 2.8% 以上。

下圖 6 展示了在具有大型目標的 12Mpixels Mapillary Vistas 驗證圖像上，CROP 與 CROP+CABB+ISUS 的輸出之間的對比情況：