語義分割入門的總結

2021-02-23 新機器視覺

點擊上方「新機器視覺」，選擇加"星標"或「置頂」

重磅乾貨，第一時間送達

作者：Yanpeng Sun

https://zhuanlan.zhihu.com/p/74318967

聲明：僅做學術分享，侵刪

語義分割

目的：給定一張圖像，我們要對這張圖像上的每個pixel逐一進行分類，結果展示如下圖：

上圖中的實例分割是語義分割的延伸，要區別出相同類別的不同個體。

應用場景：無人駕駛、輔助醫療等。

語義分割方法發展過程：

1.灰度分割(Gray Level Segmentation)

語義分割的最簡單形式是對一個區域設定必須滿足的硬編碼規則或屬性，進而指定特定類別標籤. 編碼規則可以根據像素的屬性來構建，如灰度級強度(gray level intensity). 基於該技術的一種分割方法是 Split and Merge 算法. 該算法是通過遞歸地將圖像分割為子區域，直到可以分配標籤；然後再合併具有相同標籤的相鄰子區域。

這種方法的問題是規則必須是硬編碼的. 而且，僅使用灰度級信息是很難表示比如人類等複雜類別的. 因此，需要特徵提取和優化技術來正確地學習複雜類別的特徵表示。

2.條件隨機場(Conditional Random Fields)

CRFs 是一類用於結構化預測的統計建模方法. 不同於分類算法，CRFs 在進行預測前，會考慮像素的鄰近信息(neighboring context)，如像素間的關係. 這使得 CRFs 成為語義分割的理想候選者. 這裡介紹下 CRFs 在語義分割中的應用.

圖像中的每個像素都是與有限的可能狀態集相關. 在語義分割中，target 類別標籤就是可能狀態集. 將一個狀態(或，label u) 分配給的單個像素 x 的成本(cost) 被稱為一元成本(unary cost). 為了對像素間的關係進行建模， 還進一步考慮將一對標籤(labels (u, v)) 分配給一對像素 (x, y)，其被成為成對成本(pairwise cost). 可以採用直接相鄰的像素對作為像素對(Grid CRF)；也可以採用圖像中所有的像素構建像素對(Denser CRF)。

圖像中所有 unary cost 和 pairwise cost 的相加和作為 CRF 的能量函數(或損失函數，loss). 求解最小化即可得到較好的分割輸出。

深度學習極大地簡化了語義分割的流程(pipeline)，並得到了較高質量的分割結果

3.FCN

FCN方法的提出成功的將深度學習方法成功的引入到了語義分割領域，由於要預測的圖像是一個二維的表示，因此提出了全卷積網絡用來抽取圖像中的特徵，將得到的高級語義特徵上採樣到指定的維度，從而得到了最終的預測結果，從而自然的形成了Encoder-Decoder框架，這也成為了語義分割領域中通用框架之一。

具體的模型圖如下：

由於在Encoder中獲取到圖像的高級語義，但是其並不是最終分割的結果，因此作者採用轉置卷積的方法將該高級特徵上採樣到指定的維度，從而得到最終的分割結果。由於直接上採樣之後的結果並不好，因此在改論文中引入了跳躍模型就是將不同卷積層下獲取到的特徵相融合，從而改善模型的效果，其具體結構如下所示：

4.U-NET, SegNet 等

為了改善FCN中的弊端，隨後提出了很多模型最經典的是U-Net，SegNet，但是他們的本質上並沒有改變Encoder-Decoder模型的架構。

5.DeepLab系列

DeepLab的出現帶來了一個新的方法就是擴展卷積（空洞卷積）方法，卷積層引入了一個稱為 「擴張率(dilation rate)」的新參數，該參數定義了卷積核處理數據時各值的間距。其目的是為了擴大模型的感受野，使其能夠感受到更大範圍下的特徵信息。具體的體現如下所示：

擴展卷積方法的提出讓人們可以去除Encoder-Decoder框架的限制。隨後deeplab算法的改進也提出了例如多尺度學習的通則紅描述方法（ASPP等）

6.NOW

面對監督式方法---最近的方法大家更注重於實時的語義分割任務，也就是輕量級的語義分割網絡的設計。當然還有一些其他的方法，例如針對不同的領域設計不同的語義分割網絡、改進上採樣方法等。

面對弱監督方法---目前出現了很多弱監督方法，就是通過學習圖像分類的數據集（image-level tag）中的信息，來完成語義分割這種密度預測的任務。當然還有使用框架注釋來標註數據(bounding-boxes tag)的。

語義分割領域中困難的地方：

1、數據問題：分割不像檢測等任務，只需要標註一個類別就可以拿來使用，分割需要精確的像素級標註，包括每一個目標的輪廓等信息，因此使得製作數據集成本過高；

2、計算資源問題：現在想要得到較高的精度的語義分割模型就需要使用類似於ResNet101等深網絡。同時，分割預測了每一個像素，這就要求feature map的解析度儘可能的高，這都說明了計算資源的問題，雖然也有一些輕量級的網絡，但精度還是太低了；

3、精細分割：目前的方法中對於圖像中的大體積的東西能夠很好的分類，但是對於細小的類別，由於其輪廓太小，從而無法精確的定位輪廓，造成精度較低；

4、上下文信息：分割中上下文信息很重要，否則會造成一個目標被分成多個part，或者不同類別目標分類成相同類別；

評價指標：

1、執行時間：速度或運行時間是一個非常有價值的度量，因為大多數系統需要保證推理時間可以滿足硬實時的需求。然而在通常的實驗中其影響是很不明顯的，並且該指標非常依賴硬體設備及後臺實現，致使一些比較是無用的。

2、內存佔用：在運行時間相同的情況下，記錄系統運行狀態下內存佔用的極值和均值是及其有價值的。

3、精確度：這裡指的是逐像素標記的精度測量，假設共有k個類（從l0到lk其中有一個類別是屬於背景的。），Pij表示本屬於i類但是被預測為j類的像素個數，Pii表示為真正分對類的數量，而Pij與Pji分別被稱為假正樣本和假負樣本。

1）Pixel Accuracy（PA，像素精度）：標記正確的像素佔總像素的比例

2）Mean Pixel Accuracy(MPA，平均像素精度)：計算每個類內被正確分類像素數比例，之後求所有類的平均數。

3）Mean Intersection over Union(MIoU，均交並比)：為語義分割的標準度量，其計算兩個集合的交集和併集之比，這兩個集合分別為ground truth 與predicted segmentation,在每個類上計算IoU，之後將其求平均。

IoU即真正樣本數量/（真正樣本數量+假正樣本數量+假負樣本數量）

4）Frequency weighted Intersection over Union(FWIoU,頻權交並)：是MIoU的一種提升，這種方法根據每個類出現的頻率為期設置權重。

 End 

聲明：部分內容來源於網絡，僅供讀者學術交流之目的。文章版權歸原作者所有。如有不妥，請聯繫刪除。

相關焦點

  • 語義分割入門的一點總結
    這使得 CRFs 成為語義分割的理想候選者. 這裡介紹下 CRFs 在語義分割中的應用.圖像中的每個像素都是與有限的可能狀態集相關. 在語義分割中，target 類別標籤就是可能狀態集. 將一個狀態(或，label u) 分配給的單個像素 x 的成本(cost) 被稱為一元成本(unary cost).
  • 圖像語義分割入門:FCN/U-Net網絡解析
    語義分割即是對圖像中每一個像素點進行分類，確定每個點的類別（如屬於背景、人或車等），從而進行區域劃分。目前，語義分割已經被廣泛應用於自動駕駛、無人機落點判定等場景中。與分類不同的是，語義分割需要判斷圖像每個像素點的類別，進行精確分割。圖像語義分割是像素級別的！
  • 2019 語義分割指南
    語義分割是指將圖像中的每個像素歸於類標籤的過程，這些類標籤可以包括一個人、汽車、鮮花、一件家具等。我們可以將語義分割認為是像素級別的圖像分類。例如，在有許多汽車的圖像中，分割會將所有對象標記為汽車對象。然後，一個稱為實例分割的模型能夠標記一個出現在圖像中的物體的獨立實例。
  • 入門 | 一文了解什麼是語義分割及常用的語義分割方法有哪些
    我們已經開始發展自動駕駛汽車和智慧機器人，這些都需要深入理解周圍環境，因此精確分割實體變得越來越重要。什麼是語義分割？語義分割是計算機視覺中的基本任務，在語義分割中我們需要將視覺輸入分為不同的語義可解釋類別，「語義的可解釋性」即分類類別在真實世界中是有意義的。
  • 入門| 一文了解什麼是語義分割及常用的語義分割方法有哪些
    我們已經開始發展自動駕駛汽車和智慧機器人，這些都需要深入理解周圍環境，因此精確分割實體變得越來越重要。什麼是語義分割？語義分割是計算機視覺中的基本任務，在語義分割中我們需要將視覺輸入分為不同的語義可解釋類別，「語義的可解釋性」即分類類別在真實世界中是有意義的。
  • 一文總結圖像語義分割模型
    連結：https://zhuanlan.zhihu.com/p/133268053語義分割是圖像分割中的基本任務，是指對於圖像將每個像素都標註上對應的類別
  • 圖像語義分割
    圖像語義分割是計算機視覺中十分重要的領域。上圖為語義分割的一個實例，其目標是預測出圖像中每一個像素的類標籤。圖像語義分割是圖像處理和計算機視覺技術中關於圖像理解的重要的一環。語義分割對圖像中的每一個像素點進行分類，確定每個點的類別（如屬於背景、邊緣或身體等）需要和實例分割區分開來。語義分割沒有分離同一類的實例；它關心的只是每個像素的類別，如果輸入對象中有兩個相同類別的對象，則分割本身不會將它們區分為單獨的對象。
  • 語義分割該如何走下去?
    首先感謝各位做語義分割的同學對ADE20K資料庫的厚愛，準確度節節攀升。https://groups.csail.mit.edu/vision/datasets/ADE20K/我還依稀記得當年我跟@趙行 兩人在Stata的黑屋子裡揣摩如何從所有1000多個標定出的物體列表中選取出做語義分割的物體。
  • 基於深度學習的語義分割綜述
    圖像分割可以表述為帶有語義標籤的像素分類問題（語義分割）或單個對象分割問題（實例分割）。語義分割對所有圖像像素使用一組對象類別（如人、車、樹、天空）進行像素級標記，因此通常比預測整個圖像的單個標籤的圖像分類困難。實例分割通過檢測和描繪圖像中的每個感興趣對象（例如，個體的分割），進一步擴展了語義分割的範圍。
  • 實時語義分割算法大盤點
    在許多領域，如機器人和自動駕駛汽車，語義圖像分割是至關重要的，因為它提供了必要的上下文，以採取行動，基於對場景的理解在像素級。帶有定位的分類，對分類任務的一個擴展，使用邊界框將對象框起來在分類；實例分割，是語義分割的擴展，在實例分割中，相同類型的不同對象被視為不同的對象；全景分割，結合語義分割和實例分割，所有像素被分配一個類標籤，所有對象實例都被獨立分割《A Comparative Study of Real-time Semantic Segmentation for Autonomous Driving》https:/
  • Deeplab語義分割的發展
    「經典圖像分割方法—基於深度學習的語義分割—Deeplab及其變形」在計算機視覺中，簡單的圖像分割是將數字圖像分為多個段（像素集）的過程。圖像分割是一個長期存在的計算機視覺問題。但是，語義分割是在像素級別「理解」圖像的圖像分割技術。換句話說，語義分割是將每個像素分析和分類為多個類別（標籤）。
  • 【圖解AI】什麼是語義分割、實例分割、全景分割
    detection）識別圖像中存在的內容和檢測其位置，如下圖，以識別和檢測人（person）為例 3、語義分割（instance segmentation）目標檢測和語義分割的結合，在圖像中將目標檢測出來（目標檢測），然後對每個像素打上標籤（語義分割）。
  • 語義分割概念及應用介紹
    比如自動駕駛汽車已經逐漸成為可能，但在整個深度學習過程，需要算法識別和學習作為原始數據提供的圖像，在這一過程中，應用到了語義分割技術。下面讓我們來看看語義分割的需求是如何演變的。早期，計算機視覺的初始應用需求只是識別基本元素，例如邊緣（線和曲線）或漸變。然而，僅僅通過全像素語義分割的創造來理解像素級的圖像，它將屬於同一目標的圖像部分聚集在一起，從而擴展了語義分割的應用場景。
  • 筆記 | 深入理解深度學習語義分割
    點上方藍字計算機視覺聯盟獲取更多乾貨作者：王博Kings、Sophia本文內容概述王博Kings最近的語義分割學習筆記總結引言：最近自動駕駛項目需要學習一些語義分割的內容，所以看了看論文和視頻做了一個簡單的總結。
  • 一文讀懂語義分割與實例分割
    圖像分割技術是目前預測圖像領域最熱門的一項技術，原因在於上述許多計算機視覺任務都需要對圖像進行智能分割，以充分理解圖像中的內容，使各個圖像部分之間的分析更加容易。本文會著重介紹語義分割和實例分割的應用以及原理。
  • 語義分割最新指南2019版
    導讀：網上曾經流傳深度學習語義分割指南2017版（A 2017 Guide to Semantic Segmentation with Deep Learning http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review），總結了當年各個具有代表性的語義分割算法與相關貢獻，對把握該領域研究進展脈絡起到了提綱挈領的作用
  • 語義分割 | context relation
    問題背景近年來，語義分割的模型幾乎都是基於FCN框架，利用Dilated Conv、Up sample、skip connection等各種組件來變化
  • 語義分割領域開山之作:Google提出用神經網絡搜索實現語義分割
    Google 儼然已是圖像語義分割領域的高產霸主，Liang-Chieh 從 Deeplabv1- Deeplabv3+ 持續發力，還是 MobileNetV2 共同作者，如今在 NAS 領域開發處女地：基於 NAS 的語義分割模型，性能超過之前的基於 MobileNetV2 的 Network Backbone。2.
  • 語義分割-多層特徵融合
    點擊上方「OpenCV中文網」，選擇加"星標"重磅乾貨，第一時間送達本文原載自知乎，已獲作者授權轉載，請勿二次轉載，https://zhuanlan.zhihu.com/p/110667995語義分割由此，語義分割具有兩大需求，即高解析度和高層語義，而這兩個需求和卷積網絡設計是矛盾的。卷積網絡從輸入到輸出，會經過多個下採樣層（一般為5個，輸出原圖1/32的特徵圖），從而逐步擴大視野獲取高層語義特徵，高層語義特徵靠近輸出端但解析度低，高分率特徵靠近輸入端但語義層次低。
  • 語義分割丨DeepLab系列總結「v1、v2、v3、v3+」
    相關工作現有多個工作表明全局特徵或上下文之間的互相作用有助於做語義分割，我們討論四種不同類型利用上下文信息做語義分割的全卷積網絡。圖像金字塔同一模型使用共享權重，適用於多尺度輸入。小尺度輸入的特徵相應編碼了長程的語義信息，大尺度輸入的特徵相應保留了小對象的細節。