神經網絡部分尚未收集整理。
下面內容是從網上獲取整理得出的,且都放了連結。
第一次寫,若侵權之類的麻煩跟我說下,我立馬修改。謝謝~ = =
ps: Wiki也有完整介紹
https://www.wiki-wiki.top/zh-hans/%E5%9B%BE%E5%83%8F%E5%88%86%E5%89%B2
圖片分割根據灰度、顏色、紋理、和形狀等特徵將圖像進行劃分區域,讓區域間顯差異性,區域內呈相似性。主要分割方法有:
基於閾值的分割方法https://www.cnblogs.com/wangduo/p/5556903.html閾值法的基本思想是基於圖像的灰度特徵來計算一個或多個灰度閾值,並將圖像中每個像素的灰度值與閾值相比較,最後將像素根據比較結果分到合適的類別中。因此,該類方法最為關鍵的一步就是按照某個準則函數來求解最佳灰度閾值。
Prewitt 等人於六十年代中期提出的直方圖雙峰法(也稱 mode 法) 是典型的全局單閾值分割方法。該方法的基本思想是:假設圖像中有明顯的目標和背景,則其灰度直方圖呈雙峰分布,當灰度級直方圖具有雙峰特性時,選取兩峰之間的谷對應的灰度級作為閾值。如果背景的灰度值在整個圖像中可以合理地看作為恆定,而且所有物體與背景都具有幾乎相同的對比度,那麼,選擇一個正確的、固定的全局閾值會有較好的效果.算法實現:找到第一個峰值和第二個峰值,再找到第一和第二個峰值之間的谷值,谷值就是那個閥值了。1.統計圖像灰度直方圖,求出圖象的最大灰度值和最小灰度值,分別記為ZMAX和ZMIN,令初始閾值T0=(ZMAX+ZMIN)/2;2. 根據閾值TK將圖象分割為前景和背景,計算小於TO所有灰度的均值ZO,和大於TO的所有灰度的均值ZB。4. 若TK==TK+1,則所得即為閾值;否則轉2,迭代計算。自適應閾值圖像分割: 有時候物體和背景的對比度在圖像中不是處處一樣的,普通閾值分割難以起作用。這時候可以根據圖像的局部特徵分別採用不同的閾值進行分割。只要我們將圖像分為幾個區域,分別選擇閾值,或動態地根據一定鄰域範圍選擇每點處的閾值,從而進行圖像分割。
把圖像分成m*n塊子圖,求取每一塊子圖的灰度均值就是所有像素灰度值之和除以像素點的數量,這個均值就是閾值了。這種方法明顯不比大津法好,因為均值法和大津法都是從圖像整體來考慮閾值的,但是大津法找了一個類間方差最大值來求出最佳閾值的;這兩種方法子圖越多應該分割效果會好一點,但效率可能會變慢日本學者大津在1979年提出的自適應閾值確定方法。按照圖像的灰度特性,將圖像分為背景和目標兩部分。背景和目標之間的類間方差越大,說明構成圖像的2部分的差別越大,當部分目標錯分為背景或部分背景錯分為目標都會導致2部分差別變小。因此,使類間方差最大的分割意味著錯分概率最小。閾值選擇需要根據具體問題來確定,一般通過實驗來確定。如對某類圖片,可以分析其直方圖等。基於邊緣的分割方法https://blog.csdn.net/zouxy09/article/details/8532106
圖像中兩個不同區域的邊界線上連續的像素點的集合,是圖像局部特徵不連續性的反映,體現了灰度、顏色、紋理等圖像特性的突變。通常情況下,基於邊緣的分割方法指的是基於灰度值的邊緣檢測,它是建立在邊緣灰度值會呈現出階躍型或屋頂型變化這一觀測基礎上的方法。階躍型邊緣兩邊像素點的灰度值存在著明顯的差異,而屋頂型邊緣則位於灰度值上升或下降的轉折處。正是基於這一特性,可以使用微分算子進行邊緣檢測,即使用一階導數的極值與二階導數的過零點來確定邊緣,具體實現時可以使用圖像與模板進行卷積來完成。
尺度不變特徵轉換,檢測是用來識別興趣點的第二中方法。不同與Harris角點檢測器,SIFT將尺度和方向與結果中的興趣點相關聯。為了找到興趣點,,交替使用多種算子。《計算機視覺:模型、學習和推理》第13章(http://125.216.241.100:51004/view/29)對每個點周圍的水平方向垂直方向的據ubu梯度進行考慮。目的在於找到圖像中亮度在兩個方向上均發生變化的點,而非一個方向(一條邊緣)或者零個方向(平坦區域)。Harris角點檢測器是基於對圖像結構張量的決策。《計算機視覺:模型、學習和推理》第13章將圖像P模糊化,然後與一堆正交微分濾波器(如Prewitt濾波器)做卷積生成分別包括水平和垂直方向上的導數的圖像H和V,對像素(i,j)計算其梯度方向和幅度。若幅度超過臨界值就分配一條邊緣(此處稱為閾值法,但效果不佳)。canny使用非極大抑制的方法對那些不需要響應的進行刪除。《計算機視覺:模型、學習和推理》第13章基於區域的分割方法https://blog.csdn.net/zouxy09/article/details/8532106按照圖像的相似性準則劃分為不同區域塊。主要有種子區域生長法、區域分裂合併法、分水嶺法等。
根據統一物體區域的像素相似性來聚集像素點達到區域生長的方法。其中由一組表示不同區域的種子像素開始,逐步合併種子周圍相似的像素從而擴大區域。直到無法合併像素點或小領域為止。其中區域內的相似性的度量可用平均灰度值、紋理、顏色等等信息。關鍵在於選擇初始種子像素及生長準則。最早的區域生長圖像分割方法是由Levine等人提出。區域分裂合併法(Gonzalez,2002),確定分裂合併的準則,然後將圖像任意分成若干互不相交的區域,按準則對這些區域進行分裂合併。它可用於灰度圖像分割及紋理圖像分割。分水嶺法(Meyer,1990)是一種基於拓撲理論的數學形態學的分割方法,其基本思想是把圖像看作是測地學上的拓撲地貌,圖像中每一點像素的灰度值表示該點的海拔高度,每一個局部極小值及其影響區域稱為集水盆,而集水盆的邊界則形成分水嶺。該算法的實現可以模擬成洪水淹沒的過程,圖像的最低點首先被淹沒,然後水逐漸淹沒整個山谷。當水位到達一定高度的時候將會溢出,這時在水溢出的地方修建堤壩,重複這個過程直到整個圖像上的點全部被淹沒,這時所建立的一系列堤壩就成為分開各個盆地的分水嶺。分水嶺算法對微弱的邊緣有著良好的響應,但圖像中的噪聲會使分水嶺算法產生過分割的現象基於圖論的分割方法https://blog.csdn.net/zouxy09/article/details/8532106此類方法把圖像分割問題與圖的最小割(min cut)問題相關聯。首先將圖像映射為帶權無向圖G=,圖中每個節點N∈V對應於圖像中的每個像素,每條邊∈E連接著一對相鄰的像素,邊的權值表示了相鄰像素之間在灰度、顏色或紋理方面的非負相似度。而對圖像的一個分割s就是對圖的一個剪切,被分割的每個區域C∈S對應著圖中的一個子圖。而分割的最優原則就是使劃分後的子圖在內部保持相似度最大,而子圖之間的相似度保持最小。基於圖論的分割方法的本質就是移除特定的邊,將圖劃分為若干子圖從而實現分割。目前所了解到的基於圖論的方法有GraphCut,GrabCut和Random Walk等。
結果為硬分割結果,未考慮邊緣介於0~1之間的透明度。Boykov Y Y, Jolly M P. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]// IEEE International Conference on Computer Vision. IEEE Computer Society, 2001:105.圖像分割之(二)Graph Cut(圖割)(https://blog.csdn.net/zouxy09/article/details/8532111)非常有用和流行的能量優化算法,在計算機視覺領域普遍應用於前背景分割(Image segmentation)、立體視覺(stereo vision)、摳圖(Image matting)等。
將一幅圖像分為目標和背景兩個不相交的部分,那就相當於完成了圖像分割。
此類方法把圖像分割問題與圖的最小割(min cut)問題相關聯。最小割把圖的頂點劃分為兩個不相交的子集S和T。這兩個子集就對應於圖像的前景像素集和背景像素集。可以通過最小化圖割來最小化能量函數得到。能量函數由區域項(regional term)和邊界項(boundary term)構成。
Graph Cut的目標和背景的模型是灰度直方圖,Grab Cut取代為RGB三通道的混合高斯模型GMM;Graph Cut的能量最小化(分割)是一次達到的,而Grab Cut取代為一個不斷進行分割估計和模型參數學習的交互迭代過程;Graph Cut需要用戶指定目標和背景的一些種子點,但是Grab Cut只需要提供背景區域的像素集就可以了。也就是說你只需要框選目標,那麼在方框外的像素全部當成背景,這時候就可以對GMM進行建模和完成良好的分割了。即Grab Cut允許不完全的標註(incomplete labelling)。將基於灰度分布的模型替換為高斯混合模型(Gaussian Mixture Model,GMM)以支持彩色圖片;將能一次性得到結果的算法改成了『強大的』迭代流程;將用戶的交互簡化到只需要框選前景物體即可。Rother C, Kolmogorov V, Blake A. "GrabCut": interactive foreground extraction using iterated graph cuts[J]. Acm Transactions on Graphics, 2004, 23(3):309-314.讀《"GrabCut" -- Interactive Foreground Extraction using Iterated Graph Cuts》(https://zhuanlan.zhihu.com/p/20255114)圖像分割之(三)從Graph Cut到Grab Cut(https://blog.csdn.net/zouxy09/article/details/8534954)是Graphcut圖隔的改進版,是迭代的GraphCut。改進包括:
彩色像素值的稀疏問題比灰度圖要嚴重得多(256 vs 17M),所以,繼續使用histogram是不現實的,需要信息壓縮得更好一點的模型,作者在這裡參考前人,對前景和背景各建了K=5的高斯混合模型。
GrabCut是按顏色分布和邊緣對比度來分割圖片的,對一些常見的與此原則相悖的圖片,效果確實不好。比如前景人物的帽子、鞋、墨鏡,通常顏色跟前景主體有較大區別;再如前景中的孔,有可能由於顏色區分和邊緣的對比度不足,導致邊緣的懲罰佔上風,而沒有扣出來背景。所以,GrabCut還是保留了人工修正的操作,定義了兩種標記:絕對是背景和可能是前景。對分割錯誤人工修正後,分割還是可以比較準確的。對自然場景圖片的分割,比Bayes matte等方法得到的邊緣明顯看起來舒服得多。
基於能量泛函的分割方法https://blog.csdn.net/zouxy09/article/details/8532106該類方法主要指的是活動輪廓模型(active contour model)以及在其基礎上發展出來的算法,其基本思想是使用連續曲線來表達目標邊緣,並定義一個能量泛函使得其自變量包括邊緣曲線,因此分割過程就轉變為求解能量泛函的最小值的過程,一般可通過求解函數對應的歐拉(Euler.Lagrange)方程來實現,能量達到最小時的曲線位置就是目標的輪廓所在。
活動輪廓模型逐漸形成了不同的分類方式,較常見的是根據曲線演化方式的不同,將活動輪廓模型分為基於邊界、基於區域和混合型活動輪廓模型。按照模型中曲線表達形式的不同,活動輪廓模型可以分為兩大類:參數活動輪廓模型(parametric active contour model)和幾何活動輪廓模型(geometric active contour model)。
參數活動輪廓模型(parametric active contour model):
CLM是有約束的局部模型,ASM也屬於CLM的一種。CLM通過初始化平均臉的位置,然後讓每個平均臉上的特徵點在其鄰域位置上進行搜索匹配來完成人臉點檢測。整個過程分兩個階段:模型構建階段和點擬合階段。模型構建階段又可以細分兩個不同模型的構建:
機器學習理論與實戰(十六)概率圖模型04(https://blog.csdn.net/marvin521/article/details/11489453)形狀模型構建: 對人臉模型形狀進行建模,說白了就是一個ASM的點分布函數(PDM),它描述了形狀變化遵循的準則.Patch模型構建: 對每個特徵點周圍鄰域進行建模,也就說建立一個特徵點匹配準則,怎麼判斷特徵點是最佳匹配.ASM是基於統計形狀模型的基礎上進行的,而AAM則是在ASM的基礎上,進一步對紋理(將人臉圖像變形到平均形狀而得到的形狀無關圖像)進行統計建模,並將形狀和紋理兩個統計模型進一步融合為表觀模型。
Cootes T F, Edwards G J, Taylor C J. Active Appearance Models[C]// European Conference on Computer Vision. Springer Berlin Heidelberg, 1998:484-498.AAM(Active Appearance Model)算法介紹(https://blog.csdn.net/carson2005/article/details/8196996)主要對特徵點的特徵描述子進行了改進,增加了描述子的複雜度和魯棒性ASM(主動形狀模型)是建立在PDM(點分布模型)的基礎上,通過訓練圖像樣本獲取訓練圖像樣本的特徵點分布的統計信息,並且獲取特徵點允許存在的變化方向,實現在目標圖像上尋找對應的特徵點的位置。訓練樣本需要手動的標記所有的特徵點的位置,記錄特徵點的坐標,並且計算每一個特徵點對應的局部灰度模型作為局部特徵點調整用的特徵向量。在將訓練好的模型放在目標圖像上,尋找每一個特徵點的下一個位置的時候,採用局部灰度模型尋找在當前特徵點指定方向上局部灰度模型馬氏距離最小的特徵點作為當前特徵點即將移動到的位置,稱為suggested point, 找到所有的suggested points就可以獲得一個搜索的suggested shape, 然後將當前的模型通過調整參數使得當前的模型最可能相似的調整到suggest shape,重複迭代直到實現收斂。
Cootes T F, Taylor C J. Active Shape Models — 『Smart Snakes』[M]// BMVC92. Springer London, 1992:266--275.ASM(Active Shape Model) 主動形狀模型總結(https://blog.csdn.net/watkinsong/article/details/8891071)在處理如邊緣檢測、角點識別、動態跟蹤以及立體匹配等任務上非常成功。
SNAKE模型就是一條可變形的參數曲線及相應的能量函數,以最小化能量目標函數為目標,控制參數曲線變形,具有最小能量的閉合曲線就是目標輪廓。模型的形變受到同時作用在模型上的許多不同的力所控制,每一種力所產生一部分能量,這部分能量表示為活動輪廓模型的能量函數的一個獨立的能量項。
基本Snakes模型的能量函數由三項組成,彈性能量和彎曲能量合稱內部能量(內部力),用於控制輪廓線的彈性形變,起到保持輪廓連續性和平滑性的作用。而第三項代表外部能量,也被稱為圖像能量,表示變形曲線與圖像局部特徵吻合的情況。內部能量僅僅跟snake的形狀有關,而跟圖像數據無關。而外部能量僅僅跟圖像數據有關。在某一點的α和β的值決定曲線可以在這一點伸展和彎曲的程度。最終對圖像的分割轉化為求解能量函數Etotal(v)極小化(最小化輪廓的能量)。在能量函數極小化過程中,彈性能量迅速把輪廓線壓縮成一個光滑的圓,彎曲能量驅使輪廓線成為光滑曲線或直線,而圖像力則使輪廓線向圖像的高梯度位置靠攏。基本Snakes模型就是在這3個力的聯合作用下工作的。
Michael Kass et al. Snakes: Active contour models. International Journal of Computer Vision, pages 321-331, 1987.圖像分割之(五)活動輪廓模型之Snake模型簡介(https://blog.csdn.net/zouxy09/article/details/8712287)計算機視覺之圖像分割——Snake模型(1譯文)(https://blog.csdn.net/VictoriaW/article/details/59110318)通過正確設置和項前係數,可交互方式控制snake;可以通過在圖像能量函數中加入高斯平滑而對圖像尺度敏感;經常陷入局部最小狀態,這也許可以通過使用模擬退火技術來克服,代價就是計算時間增加;在最小化整個輪廓路徑上的能量過程中經常忽略微小特徵;精度由能量最小化技術中使用的收斂標準控制;更高的精度要求更嚴格的收斂標準,因此需要更長的計算時間。參數活動輪廓模型基於Lagrange框架,直接以曲線的參數化形式來表達曲線,最具代表性的是由Kasset a1(1987)所提出的Snake模型。該類模型在早期的生物圖像分割領域得到了成功的應用,但其存在著分割結果受初始輪廓的設置影響較大以及難以處理曲線拓撲結構變化等缺點,此外其能量泛函只依賴於曲線參數的選擇,與物體的幾何形狀無關,這也限制了其進一步的應用。
AAM(Active Appearance Models)
CLM(Constrained local model)有約束的局部模型
幾何活動輪廓模型(geometric active contour model):
·S.Osher,J.A.Sethian,Fronts propagating with curvature dependent speed:algorithms basedon Hamilton-Jacobi formulations.Journal of Computational Physics,1988,79:12—49圖像分割___圖像分割方法綜述(https://blog.csdn.net/vast_sea/article/details/8196507)幾何活動輪廓模型的曲線運動過程是基於曲線的幾何度量參數而非曲線的表達參數,因此可以較好地處理拓撲結構的變化,並可以解決參數活動輪廓模型難以解決的問題。而水平集(Level Set)方法(Osher,1988)的引入,則極大地推動了幾何活動輪廓模型的發展,因此幾何活動輪廓模型一般也可被稱為水平集方法。
幾何活動輪廓模型(Geometric Active Contours Model)是以曲線演化理論和水平集方法為理論基礎,繼參數活動輪廓模型後形變模型的又一發展,是圖像分割和邊界提取的重要工具之一。相對於參數活動輪廓模型,幾何活動輪廓模型具有很多優點,如可以處理曲線的拓撲變化、對初始位置不敏感、具有穩定的數值解等.
幾何活動輪廓模型又可分為基於邊界的活動輪廓模型、基於區域的活動輪廓模型。基於邊界的活動輪廓模型主要依賴圖像的邊緣信息控制曲線的運動速度。在圖像邊緣強度較弱或是遠離邊緣的地方,輪廓曲線運動速度較大,而在圖像邊緣強度較強的地方,輪廓曲線運動速度較小甚至停止,使得最終的輪廓曲線運動到邊緣位置.
傳統方法的收集大致結束。
推薦閱讀
備註:姓名-學校/公司-研究方向-城市(如:小極-北大-目標檢測-深圳)
即可申請加入極市目標檢測/圖像分割/工業檢測/人臉/醫學影像/3D/SLAM/自動駕駛/超解析度/姿態估計/ReID/GAN/圖像增強/OCR/視頻理解等技術交流群
每月大咖直播分享、真實項目需求對接、求職內推、算法競賽、乾貨資訊匯總、與 10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發者互動交流~