弱監督語義分割算法 | DSRG方法詳解

2021-01-10 AI深度學習求索

論文：Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing

會議：CVPR2018

DSRG方法遵循SEC方法的三個規則，具體見參考更多中SEC的詳解文章（以前的一篇文章）

SEC原則

1）Seed:利用分類網絡獲取物體定位信息，生成segmentation seeds

2）Expand:通過網絡訓練以及迭代擴展seed 區域

3）Constrain:限制segmentation map的邊界，輸出分割結果

4）迭代訓練：迭代過程中不斷優化分割結果（DSRG）

DSRG方法介紹

DSRG 方法與相關技術中提到的SEC 方法類似，是在SEC方法的基礎上進行改進得到的。由於SEC方法在訓練過程中種子區域始終是初始種子區域，屬於靜態監督設置，偏離了語義分割任務的要求，因需要準確和完整的對象區域來訓練分割模型。

所以DSRG提出動態監督的方法，在訓練過程中，使用迭代訓練，每一次迭代中均使用種子區域擴展方法擴展種子區域，下一次迭代時使用擴展後的種子區域作為新的待擴展區域。同時也是用條件隨機場方法限制邊界。

生成種子區域

使用與SEC方法相似的生成種子區域方法，使用 CAM方法 [10] 和顯著性檢測方法分別得到前景和背景的種子區域。

細節：CAM方法詳解見歷史文章

根據實驗結果評測，通過CAM方法，圖片中大約 40% 的像素有了確定的 label ，作為初始種子區域。

網絡架構

網絡基於 VGG16 或者 Resnet101 網絡，改全連接層為卷積層，對每一個像素進行分類，預測分類分值。網絡輸入為一張圖片，輸出為圖片分割結果圖。 N 個 H*W 的 feature maps ，上面的值為預測每一個像素屬於某一個類別的可能性。

損失函數

在獲得種子區域之後，開始介紹如何使用種子線索訓練圖像語義分割網絡。考慮到前景和背景種子區域的不均衡分布，與 SEC 方法中提出的種子損失不同，本文中提出的平衡播種損失分別具有前景和背景的兩個歸一化係數，鼓勵對分割網絡的預測僅匹配由分類網絡給出的種子提示，同時忽略圖像中的其餘像素。

定義C是圖像中存在的類別集（背景除外），c-是背景。假設Sc是一組分類為c 類的種子區域。然後，平衡種子損失lseed的定義如下：

其中,Hu,c表示分割圖H中位置u處像素預測為c類的概率。

此外，我們使用SEC方法中提出的基於CRF的邊界損失lboundary鼓勵分割圖與對象邊界的匹配。最終，通過最小化損失函數來優化分段網絡：

DSRG方法擴增種子區域

觀察得到的種子區域，可以發現種子區域定位準確但十分稀疏，在實踐中，大約有 40 ％的像素具有標籤。

為了改善靜態監督的結果，希望通過迭代訓練，在訓練過程中通過種子區域增長方法擴展種子區域，每一次迭代使用上一次訓練後擴展的種子區域作為初始種子區域，進行訓練，並以這個種子區域作為基礎進行擴展，直到兩次迭代過程的結果不再更新為止 。

種子區域增長的理論基礎是在圖像中存在小的均勻區域，其中像素應該具有相同的標記，即位置相鄰的像素通常具有相同的類別標籤。

如何擴展種子區域？

首先，根據分割網絡生成的分割圖 H 中像素的預測概率值與設定閾值的大小關係定義相似性標準P，公式如下：

其中,Hu,c指的是指預測分割圖中位置u的像素預測為c類的概率值。θ是設定的概率閾值。實驗中，設置前景類別閾值為θb,背景類閾值為θb.

其次，將分割圖H和種子區域S作為輸入來執行區域增長DSRG。DSRG是針對每個類的迭代過程，我們將類c的迭代增長過程表示為Vc,C∈[0,|C|]其中,c=0表示背景類。

在Vc的每次迭代中，將訪問Sc中的所有位置，當訪問像素Q時，將Q的8連通性鄰域中的未標記像素集表示為R.對於Ru∈R.其類c的概率如上所述表示為Hu,c。然後根據P對Ru進行分類如下，更新種子區域：

最後，在訪問所有位置後，我們根據規則將所有新標記的像素堆加到Sc，生成新的種子區域。更改Sc後，我們將再次訪問更新的Sc。否則，Vc停止。隨著分割網絡能力的增加，未標記像素的數量減少，並且對象範圍被正確的標籤覆蓋。最終，當Sc不再更新時停止更新。

實驗結果

PASCAL VOC2012 數據集包含訓練集（1464 圖像），驗證集（1449 圖像）和測試集（1456圖像）三個部分。

DSRG方法基本上優於使用圖像級標籤進行弱監督的所有先前技術，獲得了目前PASCAL VOC2012 數據集上目前最好結果。

定性結果最後一行給出了一種失敗模式。對於弱監督系統來說，如果沒有完整的信息，強烈共存的類別（如火車和鐵路，雪地和雪）就無法分開。

點擊關注，了解更多AI論文

相關焦點

  • 弱監督語義分割|經典之作SEC
    論文:SEC-Seed, Expand and Constrain: Three Principlesfor Weakly-Supervised Image Segmentation1、總體架構論文主題：這篇論文主要講了弱監督語義分割的一般方法，即三個基本的原則
  • 用於半監督語義分割的基於掩碼的數據增強
    提出的ComplexMix方法在一個標準的語義分割數據集上進行了評估，並與其他最先進的技術進行了比較。實驗結果表明，作者的方法在標準數據集的語義圖像分割方面優於最先進的方法。本文提出的方法屬於對無監督混合樣本進行一致性預測的範疇。
  • 語義分割入門的總結
    基於該技術的一種分割方法是 Split and Merge 算法. 該算法是通過遞歸地將圖像分割為子區域，直到可以分配標籤；然後再合併具有相同標籤的相鄰子區域。這種方法的問題是規則必須是硬編碼的. 而且，僅使用灰度級信息是很難表示比如人類等複雜類別的. 因此，需要特徵提取和優化技術來正確地學習複雜類別的特徵表示。
  • 2019 語義分割指南
    of a Deep Convolutional Network for Semantic Image Segmentation (用於語義分割的弱監督和半監督的深度神經網絡)Fully Convolutional Networks for Semantic Segmentation (用於語義分割的全卷積神經網絡)
  • 語義分割入門的一點總結
    基於該技術的一種分割方法是 Split and Merge 算法. 該算法是通過遞歸地將圖像分割為子區域，直到可以分配標籤；然後再合併具有相同標籤的相鄰子區域。這種方法的問題是規則必須是硬編碼的. 而且，僅使用灰度級信息是很難表示比如人類等複雜類別的. 因此，需要特徵提取和優化技術來正確地學習複雜類別的特徵表示。
  • 入門 | 一文了解什麼是語義分割及常用的語義分割方法有哪些
    來源：Zhao 等人的 ICNet（2017）：語義分割的演示視頻。雖然像聚類這樣的無監督方法可以用於分割，但其結果不一定是有語義的。這些方法無法對它們訓練的類進行細分，但是在搜索區域界限方面更加擅長。與圖像分類或目標檢測相比，語義分割使我們對圖像有更加細緻的了解。這種了解在諸如自動駕駛、機器人以及圖像搜尋引擎等許多領域都是非常重要的。
  • 入門| 一文了解什麼是語義分割及常用的語義分割方法有哪些
    語義分割是計算機視覺中的基礎任務，我們通常會使用基於 CNN 加 CRF 的方法或直接使用對抗性的訓練實現端到端的分割。本文簡要介紹了這兩種方法及它們的特點。人類是如何描述場景的？我們可能會說「窗戶下有一張桌子」，或者「沙發右邊有一盞燈」。
  • 語義分割該如何走下去?
    這裡引出的一個有趣的推論是，人對ADE20K資料庫上場景的分割至多能達到80%多的像素準確度，那這很可能也就是語義分割算法能達到的upper bound，並不是大家想像的100%，是不是有點出乎意料？這個annotation consistency問題和算法能達到的upper bound的問題在很多資料庫上都被忽視了，比如說COCO資料庫。
  • 語義分割最新指南2019版
    導讀：網上曾經流傳深度學習語義分割指南2017版（A 2017 Guide to Semantic Segmentation with Deep Learning http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review），總結了當年各個具有代表性的語義分割算法與相關貢獻，對把握該領域研究進展脈絡起到了提綱挈領的作用
  • 實時語義分割算法大盤點
    帶有定位的分類，對分類任務的一個擴展，使用邊界框將對象框起來在分類；實例分割，是語義分割的擴展，在實例分割中，相同類型的不同對象被視為不同的對象；全景分割，結合語義分割和實例分割，所有像素被分配一個類標籤，所有對象實例都被獨立分割《A Comparative Study of Real-time Semantic Segmentation for Autonomous Driving》https:/
  • 香港中大-商湯科技聯合實驗室AAAI錄用論文詳解:自監督語義分割的混合與匹配調節
    在此過程中學習到帶有某種程度語義的圖像描述子，並將之通過微調應用在最終的語義分割任務上。自監督學習展現出其強大的學習能力，即使在沒有標註的數據上，也能獲得不錯的初始化效果，大大超越了隨機初始化的模型。儘管自監督學習很有前景，但目前其表現結果還遠不如有監督的初始化。
  • 全監督語義分割訓練新範式「像素對比學習」,蘇黎世聯邦理工等出品
    當前，語義分割算法的本質是通過深度神經網絡將圖像像素映射到一個高度非線性的特徵空間。然而，現有算法大多只關注於局部上下文信息（單個圖像內、像素之間的位置和語義依賴性），卻忽略了訓練數據集的全局上下文信息（跨圖像的、像素之間的語義相關性），因而難以從整體的角度對習得的特徵空間進行約束，進而限制了語義分割模型的性能。
  • 基於深度學習的語義分割綜述
    文獻中已經開發了許多圖像分割算法，從最早的方法，如閾值化、基於直方圖的方法、區域劃分、k-均值聚類、分水嶺，到更先進的算法，如活動輪廓、基於Graph的分割、馬爾可夫隨機場和稀疏方法。然而，在過去的幾年裡，深度學習網絡已經產生了新一代的圖像分割模型，其性能得到了顯著的提高——通常在流行的基準上達到了最高的準確率——這導致了許多人認為是該領域的範式轉變。
  • 語義分割的經典學習方法和深度學習方法綜述
    語義分割和實例分割之間的比較本文將探討一些使用經典和基於深度學習的方法來執行語義分割的方法。此外，還將討論常用的損失函數的選擇和應用。經典方法在深度學習時代到來之前，大量的圖像處理技術被用來將圖像分割成感興趣的區域。下面列出了一些常用的方法。灰度分割最簡單的語義分段形式涉及分配區域必須滿足的硬編碼規則或屬性，以便為其分配特定標籤。規則可以根據像素的屬性（例如灰度級強度）來構建。使用此技術的一種方法是拆分（Split）和合併（Merge）算法。
  • CVPR 2019 Oral 論文解讀 | 無監督域適應語義分割
    該論文提出了一種從「虛擬域」泛化到「現實域」的無監督語義分割算法，旨在利用易獲取的虛擬場景標註數據來完成對標註成本高昂的現實場景數據的語義分割，大大減少了人工標註成本。 本文是論文作者之一羅亞威為雷鋒網 AI 科技評論提供的論文解讀。
  • 語義分割中優化特徵融合方法-Exfuse
    其性能超越 DeepLabv3，在 PASCAL VOC 2012 分割任務中也有比較好的效果。低級特徵空間信息豐富，但是缺乏語義信息；高級特徵語義信息豐富但是缺乏一些精確的細節信息比如邊緣等。作者又分析了「純」低級特徵，它編碼低級概念比如點、線或者邊緣。高級特徵雖然需要底層的一些細節，但是與這些「純」低級特徵的融合意義不大，因為噪音太多，無法提供高解析度的語義信息引導。
  • ECCV 2020 論文大盤點-語義分割篇
    用正常圖像作為訓練樣本訓練得到的語義分割模型。作者認為將一幅圖像先經過語義分割，然後用分割圖重建原圖，如果得到的重建圖和原圖差異不大，則不存在缺陷和異常，反之則存在明顯的問題。作者為此任務設計了含語義分割模塊、圖像合成模塊、比較模塊的系統，實驗證明在幾個主流數據集上都取得了最好的效果。
  • Deeplab語義分割的發展
    「經典圖像分割方法—基於深度學習的語義分割—Deeplab及其變形」在計算機視覺中，簡單的圖像分割是將數字圖像分為多個段（像素集）的過程。圖像分割是一個長期存在的計算機視覺問題。但是，語義分割是在像素級別「理解」圖像的圖像分割技術。換句話說，語義分割是將每個像素分析和分類為多個類別（標籤）。
  • 語義分割雙料冠軍!微軟 OCRNet化解語義分割上下文信息缺失難題|ECCV 2020
    圖像分類、物體檢測和語義分割可以並列為傳統計算機視覺感知領域的3大基礎問題，它們也是各種複雜視覺任務的基礎。這些問題在日常生活中隨處可見，例如，短視頻軟體內提供的一鍵特效功能可以讓普通用戶也能輕鬆製作出大片效果，這背後的底層算法就可能涉及到了對人體的語義分割。此外，無人駕駛技術裡的底層視覺算法則通常會涉及到對街景的語義分割。
  • 國際權威弱監督學習賽事開幕!冠軍團隊將受邀百度CVPR LID workshop
    而本屆大會中，由百度主辦的Learning from Imperfect Data研討會正是聚焦當前領域內熱議的弱監督學習，這也是對百度視覺技術實力及前沿探索的極大認可。弱監督學習，即通過較弱的監督信號來構建預測模型，已成為該領域內的熱門課題。