綜述|線結構光中心提取算法研究發展

2020-10-12 3D視覺工坊

作者:木同

來源:公眾號

摘 要: 線結構光掃描是三維重建領域的關鍵技術。光條紋中心提取算法是決定線結構光三維重建精度以及光條紋輪廓定位準確性的重要因素。本文詳細闡述了光條紋中心提取算法的理論基礎及發展歷程,將現有算法分為三類,傳統光條紋中心提取算法、基於傳統光條紋中心提取的改進算法、基於神經網絡光條紋中心提取算法,並提出每一類算法的優勢與不足。最後,對線結構光中心提取算法的發展提出展望,生產更高質量的線雷射器,擴充基於神經網絡的光條紋中心線檢測模型的訓練樣本。

關鍵詞:中心提取;線結構光;三維重建;光條紋

1.引言

雙目立體視覺技術是三維重建領域的關鍵技術之一,廣泛應用於機器人視覺導航,非接

觸性三維測量,工業檢測,醫學成像,航空測繪,軍事應用和全息投影等領域[1]。雙目視覺測量原理是兩臺平行放置的CCD相機觀測同一物體,相機分別獲取圖像並提取兩幅圖像中的特徵點進行立體匹配,使用三角測量法由視差值計算物點的三維空間坐標[2]。立體匹配是雙目視覺測量最關鍵的模塊[3],對於表面光滑、圖像灰度變化小的物體立體匹配的難度極高[4]。因此引入線結構光掃描技術主動增加圖像的紋理特徵,利用雙目相機採集線結構光條紋[5]如圖 1所示。由於設備硬體結構的原因雷射器投射出的線結構光光條紋通常具有3~12個像素寬度,需要提取單像素甚至亞像素級的光條紋中心作為雙目視覺系統的匹配點[6,7]。因此光條紋中心點的提取是立體視覺測量中的關鍵問題,目前使用最廣泛的中心提取算法是Steger C在二十世紀末提出的基於Hessian矩陣的Steger算法,長期以來國內外研發團隊基於Steger算法以及其他傳統算法不斷做出改進,顯著提高了中心提取算法精度。本文對近二十年的光條紋中心提取算法進行綜述,將現有算法分為三類,傳統光條紋中心提取算法、基於傳統光條紋中心提取的改進算法、基於神經網絡光條紋中心提取算法,並提出各種算法的優勢與不足。


圖1 雙目系統採集線結構光條紋

Fig.1 Structure light stripe of acquisition line of binocular system

2. 傳統光條紋中心提取算法

傳統的光條紋中心提取算法有灰度重心法、閾值法、極值法、邊緣法、中心法、二值形態學細化法、Steger算法、曲線擬合法、深度約束法。本文根據不同算法的理論基礎與特點將其分為四大類,光條紋幾何中心提取方法、基於光條紋灰度分布特點提取方法、基於形態學條紋中心提取方法、光條紋亞像素中心提取方法。

2.1 基於光條紋灰度分布特點提取方法

2.1.1 灰度重心法條紋中心提取

投射到平坦物體表面的線結構光條紋截面光強分布近似服從高斯分布[7]。通過灰度重心法可以求出條紋橫截面光強分布曲線的高斯中心[8],對光條紋逐行提取高斯中心,將中心點擬合形成光條紋中心線。

灰度重心法的計算公式如下:

(1)

光條紋第v列的灰度重心坐標為p(xv,v),在包含U行,V列的圖像中坐標(u,v)處的像素灰度值為I(u,v),其中u=1,2,3,…,U;v=1,2,3…,V。灰度重心法速度快,實時性好,當光條紋投射在形態複雜的物體表面時,光條紋會產生較大形變,此時條紋截面呈現非高斯分布,繼續使用灰度重心法會出現中心提取誤差,如圖 2所示。

圖2 中心提取誤差直方圖[45]

Fig.2 Histogram of center extraction error

2.1.2 極值法提取光條紋中心

極值法的原理是對光條紋橫截面的灰度分布函數做梯度運算,將梯度值為零處的像素點作為光條紋中心點,極值法對截面像素呈高斯分布的光條紋適用性較高[9,10],由於是基於灰度值的方法提取中心點,算法易受噪聲影響,信噪比較小的圖像不採用此方法[11,12]。

2.1.3 曲線擬合法提取光條紋中心

由於條紋截面光強分布呈高斯分布[13],對條紋截面的像素點採用二次拋物線擬合[14]與最小二乘法的高斯曲線擬合[14,15],光條紋每一行截面擬合結果的局部極大值對應的像素點即為條紋中心[16]。

2.1.4 方向模板法提取光條紋中心

方向模板法最初由胡斌[17]提出,是基於灰度重心法的改進算法。線結構光投射到粗糙的物體表面時,光條紋會發生形變與偏移,在一定範圍內,可認為光條紋向四個方向發生偏移,水平、垂直、左傾45o、右傾45o。對應上述光條紋發生偏移的四種情況,構建四個方向的模板,分別與條紋截面各行的像素塊做卷積,取響應值最大的像素塊中心點作為該行的條紋中心。方向模板法能夠克服白噪聲的影響,並可以在一定程度上修補斷線,但受限於有限的模板方向,紋理複雜的物面會使條紋向更多方向發生偏移。

2.1.5 脊線跟蹤法提取光條紋中心

將光條紋各行橫截面灰度值最大的點連接成條紋脊線,沿脊線切線方向灰度值變換平緩,脊線的法線方向光條紋灰度值逐漸降低。脊線跟蹤法對噪聲十分敏感[10]。

2.2 光條紋幾何中心提取方法

2.2.1 邊緣法和中心法提取光條紋中心

提取光條紋的兩條邊緣如圖3(a)所示,並以其中一條邊緣作為光條紋中心,邊緣法處理速度快,但會給三維重建結果帶來很大誤差。常用的條紋邊緣提取方法有Canny算法[18],Canny算法需要調整高低閾值及高斯濾波器大小。考慮光條紋邊緣的連續性也可以採用鄰域法提取光條紋邊緣[11],提取到的光條紋兩個邊緣線的列坐標分別為u、v,則中心法得到的光條紋中心的列坐標y=(u+v)/2。如圖3(b)所示,中心法提取的光條紋中心點準確性高於邊緣法,但由於圖像噪點影響,邊緣線的提取會出現誤差導致中心法的效果不佳。


圖3(a) 邊緣法[23] (b) 中心法[23]

Fig.3 (a) arginal method;(b) Central method

2.2.2 閾值法提取光條紋中心

設定閾值T,在光條紋截面上找到最接近閾值的四個點,用這四個點在光條紋截面上的坐標以及灰度值做線性插值,得到光條紋截面上的兩個點p,q的坐標,取p,q的中點即為光條紋中心點如圖4所示。閾值法可以做到實時提取中心點,但易受到噪聲幹擾導致線性插值結果出現偏差如圖5所示為噪聲對閾值法的幹擾。

圖4閾值法[10] 圖5 噪聲對閾值法的影響[10]


2.2.3 基於形態學條紋中心提取方法

利用細化法[19]提取光條紋中心骨架,由於光條紋具有一定的寬度,所以需要對光條紋反覆進行形態學處理,對光條紋不斷地進行腐蝕操作,剝離光條紋邊界,同時也要保證剝離邊界後的光條紋中心線是單像素寬度的連通線,連通線保持光條紋原有的拓撲結構。由於光照影響,細化法提取的條紋中心線有毛刺出現,使中心線的寬度超過單像素。

2.2.4 光條紋亞像素中心提取方法

Steger算法利用Hessian矩陣對圖像求二階方向導數[20],二階方向導數絕對值最大的方向就是光條紋的法線方向[10]。

Hessian矩陣的表達式:

(2)

h(x,y)為二維高斯函數,f(x,y)表示Hessian矩陣求二階導數的圖像。Hessian矩陣對f(x,y)中像素點(u,v)進行5次二維高斯卷積運算[9,10],得到絕對值最大的特徵值對應的特徵向量就是該點的法線方向。並在法線方向上對光條紋灰度分布函數二階泰勒展開,得到一階過零點即為光條紋中心點。Hessian矩陣對圖像求方向導數的過程運算量巨大,無法達到實時的效果[20]。

3. 基於傳統光條紋中心提取的改進算法

傳統光條紋中心提取算法中最常用的有灰度重心法、方向模板法、Steger法,如表1所示算法均存在一定的缺陷。近年來許多研究人員對傳統條紋中心提取算法做出改進。

表1 光條紋中心提取算法的缺陷

Table 1 Defects in the extraction algorithm of light stripe center

算法

缺陷


灰度重心法


要求光條紋橫截面呈完整的高斯分布

易受環境噪聲與傳感器引入的誤差的影響

方向模板法

受限於有限的模板方向

物體表面粗糙度會影響條紋中心提取精度

Steger算法

運算量過大,效率低

高斯核選取不恰當會導致圖像信息失真


3.1 灰度重心法的改進

由於高空間相干性,線雷射器會產生隨機的斑點或顆粒狀的圖案,光條紋截面會出現寬度不一致的問題如圖6所示。張小豔[21]等提出一種自適應二值化處理的方法先確定位光條紋各行截面邊界,根據不同的條紋邊界寬度利用灰度重心法提取光條紋中心點,提高了中心線提取準確性。

圖6 變形的光條紋[27]

劉振[22]等通過條紋中心點間鄰域灰度變化較平緩的特點,引入高斯分布互相關係數,自適應地調節互相關模板大小,結合互相關算法與曲線擬合算法精確定位條紋中心點,算法對於高光強背景的情況表現良好。

趙博華[23]等利用形態學方法[12]設定連通域面積閾值,去除噪聲並輸出具有有效光條信息的二值化模板圖像,利用模板與原圖像相乘獲得無噪聲的光條圖像,使用灰度重心法提取光條中心線,有效的克服了外部噪聲幹擾。

粗糙的物體表面會導致光條紋發生不規則的扭曲變形,席劍輝[24]等結合高斯擬合算法與灰度重心算法提出一種快速提取條紋中心線的方法,先利用差影法提取二值化條紋圖像,創建模板對圖像進行兩次卷積處理並採用中值濾波[25]去除噪點,在條紋邊緣的局部鄰域內計算像素點的梯度從而確定光條法線方向,在法線方向上利用灰度重心法獲取光條中心點如圖5所示。算法克服了因粗糙的物面造成的光條紋形變問題。

圖5 基於骨架的灰度重心法[31]

趙彬[26]等提出一種自適應閾值的加權重心法提取光條紋中心。將多通道的BGR圖像轉換成只有R通道的光條紋圖像,實驗證明R通道的光條紋像素點灰度分布最接近高斯分布。通過Otsu自適應閾值法獲取圖像的最佳分割閾值從而將光條紋與背景分離,提高算法運算效率。最後利用加權灰度重心法提取光條中心點,該算法增強了條紋中心點局部鄰域像素的權重,更精準的定位中心點坐標。

加權灰度重心法公式:

(3)


其中q為光條紋寬度範圍,W為自適應閾值法的最佳閾值。g(x,y)為像素灰度值,yi為像素坐標值,y就是光條紋中心坐標。

3.2 方向模板法的改進

李和平[27]等提出一種基於遺傳算法的光條紋中心提取算法,首先利用遺傳算法[28,29]自動選取顏色閾值從圖像中分割出光條紋區域,再通過方向模板法獲取光條中心線,採用人機互動的方式填充斷裂的中心線。算法增強了抗噪聲的能力,實現了斷線修補。

針對方向模板法計算量大,運算效率低,光條紋中心提取精度只能達到像素級別等問題。蘇小勤[30]等基於方向模板法、中心法、灰度重心法,提出了一種快速提取光條紋中心的算法。首先通過中心法提取光條骨架,利用基於位置的發現判斷法求取骨架法線方向,在法線方向上對條紋截面的像素進行灰度加權提取條紋中心。

由於投射面反射率不一致,光條紋會出現粗細不均勻的情況。傳統方向模板法四個方向的高斯模板大小是固定的,當局部條紋寬度較小時,中心線會偏離結構光中心。為克服這一問題,王澤浩[31]等提出一種自適應方向模板法,首先利用灰度屬性鄰域法[32]對圖像去噪,根據不同的條紋截面寬度自動調整方向模板大小,對結構光中心線有很好的追隨性,提高了中心線提取的準確率。

方向模板法輸出光條紋三維數據的圖像點列,直接使用這些點擬合條紋中心線,會出現大量毛刺。為了解決以上問題,金俊[33]等結合多幀平均法和方向模板法提出一種基於Bezier曲線擬合的光條中心提取方法。算法使用最大方差閾值分割和灰度領域屬性將兩幅含有結構光條紋的圖像求平均,再與不含光條紋的圖像做差,從而獲得無噪聲的光條圖像[17]。利用方向模板法初步提取光條紋中心點,最後使用基於Bezier曲線的最小二乘法將這些點擬合成完整的光條紋中心線。算法提高了中心線提取速度,並修補斷點。

不同於直線光條紋中心線提取,針對大曲率的線結構光條紋中心提取問題,辛軍強[34]等利用自適應閾值法分割光條紋與圖像背景,對分割出的光條紋採用並行細化算法提取單像素骨架,通過方向模板法獲取骨架像素點的法線方向,在法線方向上使用灰度重心法獲取光條紋中心點如圖7所示。算法準確度較高,可以做到實時檢測。

圖7基於方向模板的灰度重心中心線

3.3 Steger算法的改進

張遠[35]等採用FPGA的遞歸邏輯結構提高Steger算法的運算效率,使條紋中心提取算法的精度不受二維高斯卷積核參數的影響,增加了算法的靈活性。

胡坤[36]等將Steger算法與閾值法結合,利用閾值法分離光條紋與圖像背景,提取光條紋ROI減小Hessian矩陣的運算量。並根據高斯函數的可分離性[37],將Hessian矩陣的二維高斯卷積核轉換為一維高斯卷積核。該算法提高了Steger算法的運算效率。

Steger算法運算量大,效率低的最主要因素是Hessian矩陣對圖像反覆進行5次二維高斯卷積運算求取光條紋各像素點的法線方向。蔡懷宇[38]等利用PCA[39]方法對圖像梯度向量的協方差矩陣進行特徵分解[40],代替Hessian矩陣計算光條紋的法線方向,提高了算法運算效率。

劉劍[41]等,提出一種Hessian矩陣與區域增長算法結合的條紋中心提取算法,先利用Hessian矩陣確定像素點的法向量,在法線方向上對條紋灰度分布函數泰勒展開獲得中心點亞像素坐標作為初始種子點,區域增長迭代算法通過Hessian矩陣確定種子點的切線方向,在該方向的8鄰域內尋找下一個種子點進行,將所有種子點擬合形成條紋中心線如圖7所示。該算法克服了噪聲對中心點提取的影響,相比文[20]算法速度提升了40倍,均方差相比灰度重心法降低了2.02 pixel。

圖7 條紋中心線效果圖

嶽龍[42]等針對物體表面反射率差異較大的情況,基於Steger算法提出一種自適應條紋中心提取算法。利用Hessian矩陣計算光條紋的法向方向,在法向方向上根據條紋不同的截面寬度調整高斯函數的均方差參數σ,最後對條紋灰度分布函數泰勒展開獲得條紋中心點。該方法自適應地提取曲率變化較大的條紋,一定程度上提高了運算效率。

Hessian矩陣高斯函數的均方差參數γ與條紋寬度β的關係:

(4)

程鑫[43]等針對檢測對象為黑色膠體的情況,提出一種基於閾值分割的Hessian矩陣定位和高斯曲線擬合的算法。首先對圖像採用中值濾波去除噪點,通過閾值法提取光條紋圖像的ROI,並對ROI的高頻區域進行線性增強提升圖像對比度。利用極值法找到條紋截面灰度極大值作為初始條紋中心點。將初始中心點帶入Hessian矩陣計算光條紋的法向方向,在法向方向上對條紋灰度分布函數二階泰勒展開得到條紋中心點坐標。最後採用高斯函數對中心點集進行函數逼近的擬合,獲取光條紋精確的中心點坐標[44]。算法魯棒性高,能夠增強投射到特殊物體表面的光條紋穩定性。

4. 基於神經網絡光條紋中心提取算法

李玥華[45]等提出一種基於BP神經網絡的光條紋中心提取方法。先設定光條截面中心點的灰度閾值為 IT=50,選取圖像中每列像素的有效光條截面區域。搭建為三層神經網絡,輸出層神經元個數為1,輸入層個數11、隱層神經元個數設定為3。通過Steger算法對一系列弧形、隨機、間斷、齒形光條提取光條紋中心點並利用最小二乘法擬合獲取光條紋中心線,將以上四種條紋中心線圖像作為模型訓練樣本,訓練BP神經網絡。訓練後的網絡模型對各種複雜光條紋中心提取誤差均值小於0.02 pixel,算法平均用時僅為文[120]的0.27%,克服了灰度重心法和Steger算法的缺點。

王勝春[46]等提出了一種基於分區域多模板匹配的光條紋中心提取算法。先對圖像提取結構光條紋ROI,提高光條紋在圖像中的比重。根據光條紋的灰度分布和梯度方向等特徵利用ENet神經網絡將條紋分割為多個區域如圖8所示。傳統計算條紋法線的方法是對圖像全局進行梯度計算,耗時巨大。針對這一問題該算法首先通過基於梯度直方圖統計的區域劃分方法,確定每個分割出的光條紋子區域的法線主方向。每個條紋子區域與其對應的方向模板在其法線方向上進行互相關運算[47],初步提取光條紋中心點。以初始中心點為基點,利用灰度重心法沿著該點所在的子區域法線方向提取光條亞像素中心點。該算法採用ENet模型代替傳統的SegNet圖像分割模型,在保證分割效果情況下,運算速度提升了18倍,浮點計算量減少至傳統模型的1/76,參數設置減少至1/80。克服了噪聲對光條中心提取的幹擾,提升算法的提取精度。


圖8 線結構光光條區段劃分[46]

5.總結與展望

隨著三維重建領域的快速發展,線結構光掃描技術逐漸成熟,結合不同的工業生產需求取得了很多創新性成果。本文綜述了線結構光中心提取技術的三個不同發展階段。先介紹了各種傳統的結構光中心提取技術並指明算法缺陷。針對傳統算法提取精度差,運算量過大,易受外部環境噪聲幹擾等缺陷以及不同的應用場景,總結了基於不同傳統算法組合的一系列改進算法。除此之外,分析了神經網絡結合線結構光中心提取技術的應用及效果。本文對線結構光中心提取技術的發展提出如下展望:

  1. 生產更高質量的線雷射器,避免出現光條紋截面寬度不一致的現象。光條紋截面灰度分布更接近高斯分布的線結構光和亞微米級的雷射器也是提升條紋中心提取技術的精度關鍵因素。
  2. 本文提到的基於神經網絡的光條紋中心提取算法可以達到很高的精度。為提高算法魯棒性使其適應各種應用場景,擴充現有的數據集並添加具有一定噪聲的隨機光條圖像是一種很好的方法。由於深度學習模型的網絡結構較為複雜,提升算法速度是需要解決的關鍵問題。

參考文獻

[1] Shuang Y, Baoyuan C, Lei Z, et al. Encoded lightimage active feature matching approach in binocular stereo vision[C]. Internationalforum on strategic technology, 2016: 406-409.

[2] Tong S, Xu XG, Yi C T, et al. A survey of 3D reconstructiontechnology based on vision[J]. Application Research of Computers. 2011, 28(7):411-2417.

佟帥, 徐曉剛, 易成濤, 等. 基於視覺的三維重建技術綜述[J]. 計算機應用研究, 2011, 28(7): 411-417.

[3] Lin J Y, Huang C B, L B, et al. Laser line scanning technologybased on binocular stereo vision[J]. Machine Design and ManufacturingEngineering, 2011, (8): 200-202.

林俊義, 黃常標, 劉斌, 等. 一種基於雙目立體視覺的雷射線掃描技術[J]. 機械設計與製造, 2011, (8): 200-202.

[4] Zhu S P, Qiang X F. A survey of 3D coordinatevision measurement methods for workpiece feature points[J]. Optics andPrecision Engineering, 2000, 8(2): 192-197.

祝世平, 強錫富. 工件特徵點三維坐標視覺測量方法綜述[J]. 光學精密工程, 2000, 8(2): 192-197.

[5] Jia Z Y, Fan C N, Liu W, et al. Extraction of light stripe centerof middle matching point in binocular vision measurement[J]. Optics andPrecision Engineering, 2016, 24(7): 1582-1591.

賈振元, 樊超楠, 劉巍, 等. 雙目視覺測量中等匹配點的光條中心提取[J]. 光學精密工程, 2016, 24(7): 1582-1591.

[6] Yang J H, Yang X R, Cheng S Y, et al. A survey of the centerextraction of light stripe in 3D vision measurement of line structured light[J].Journal ofGuangdong University of Technology, 2014, (1): 74-78.

楊建華, 楊雪榮, 成思源, 等. 線結構光三維視覺測量中光條紋中心提取綜述[J]. 廣東工業大學學報, 2014, (1): 74-78.

[7] Wu Q Y, Su X Y, Li J Z, et al. A new algorithm forextracting the center of light band of line structured light[J]. Journal of Sichuan University(Natural Science Edition), 2007, 39(4): 151-155.

吳慶陽, 蘇顯渝, 李景鎮, 等. 一種新的線結構光光帶中心提取算法[J]. 四川大學學報(工程科學版), 2007, 39(4): 151-155.

[8] PERONA P, MALIK J. Scale-space and edge detection using anisotropicdiffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1990, 12(7) : 629-639.

[9] Yang W. Research on the method of extracting the center of structuredlight stripe[D]. Harbin: Harbin Institute of Technology, 2009.

楊尉. 結構光光條中心提取方法研究[D]. 黑龍江: 哈爾濱工業大學, 2009.

[10] Xu N. Research on imageprocessing method of line structured light stripe[D]. Harbin: HarbinEngineering University, 2007.

許寧. 線結構光光條圖像處理方法研究[D]. 黑龍江: 哈爾濱工程大學, 2007.

[11] Li Y H, Zhou J B, Liu L J.Research progress of line structured light measurement technology[J]. Journalof Hebei University of Science and Technology, 2018, 39(2): 115-124.

李玥華, 周京博, 劉利劍. 線結構光測量技術研究進展[J]. 河北科技大學學報, 2018, 39(2): 115-124.

[12] JIA Q Q, WANG B X, Luo X Z.Extraction of central positions of light stripe in sub-pixel in 3D surfacemeasurement based on light sectioning method[J]. Optics and PrecisionEngineering. 2010, 18(2): 390-396.

賈倩倩, 王伯雄, 羅秀芝. 光切法形貌測量中光條中心的亞像素提取[J]. 光學精密工程, 2010, 18(02):390-396.

[13] Izquierdo M A, Sanchez M T,Ibanez A, et al. Sub-pixel measurement of 3D surfaces by laserscanning[J]. Sensors and Actuators A-physical, 1999, 76(1): 1-8.

[14] He J J, Zhang G J, Research onthe method of strip image processing in structured light 3D visiondetection[J]. Journal of BeijingUniversity of Aeronautics and Astronautics, 2003, 29(7): 593-597.

賀俊吉, 張廣軍. 結構光三維視覺檢測中光條圖像處理方法研究[J]. 北京航空航天大學學報, 2003, 29(7): 593-597.

[15] Lukas J, Fridrich J, Goljan M,et al. Detecting digital image forgeries using sensor pattern noise[C]. conferenceon security steganography and water marking of multimedia contents, 2006.

[16] Cai H Y, Yu Y, Huang Z H, etal. A new method of extracting the center of interference fringes based oncurve fitting[J]. Journal ofOptoelectronics·Laser, 2006, 17(1):115-118.

蔡懷宇, 於毅, 黃戰華, 等. 一種基於曲線擬合提取幹涉條紋中心點的新方法[J]. 光電子·雷射, 2006, 17(1): 115-118.

[17] Hu B, Li D H, Jin G, et al.Detection method of stripe center of structured light based on directiontemplate[J]. Computer Engineering andApplications. 2002, 38(11): 59-60,109.

胡斌, 李德華, 金剛, 等. 基於方向模板的結構光條紋中心檢測方法[J]. 計算機工程與應用, 2002, 38(11): 59-60,109.

[18] Li C M, Wang M M, Liu H Y, etal. Research on the accurate algorithm of extracting the center of linestructured light[J]. Machinery& Electronics,2017, 35(6): 29-31.

李春明, 王萌萌, 劉海洋, 等. 精確的線結構光中心提取算法研究[J]. 機械與電子, 2017, 35(6): 29-31.

[19] Jang Y F, Jang K Y, Lin J Y.Accurate sub-pixel extraction method of light stripe center in line structuredlight[J]. Laser & Optoelectronics Progress, 2015, 52(7): 177-183.

江永付, 江開勇, 林俊義. 線結構光光條中心亞像素精確提取方法[J]. 雷射與光電子學進展, 2015, 52(7): 177-183.

[20] Steger C. An Unbiased Detectorof Curvilinear Structures[J]. IEEE Transactions on Pattern A nalysis andmachine Intelligence. 1998, 20(2): 113 -125.

[21] Zhang X Y, Wang X Q, Bai F Z, etal. An algorithm for extracting the center of light band based on theimproved gray center of gravity method[J]. Laser & Infrared, 2016, 46(5): 622-626.

張小豔, 王曉強, 白福忠, 等. 基於改進灰度重心法的光帶中心提取算法[J]. 雷射與紅外, 2016, 46(5): 622-626.

[22] Liu Z, Li S, Feng C.Extraction of laser stripe center based on cross correlation algorithm[J]. Chinese Journal of Lasers, 2013, 40(5): 197-202.

劉振, 李聲, 馮常. 基於互相關算法的雷射條紋中心提取[J]. 中國雷射, 2013, 40(5): 197-202.


[23] Zhao B H, Wang B X, Zhang J, etal. The method of extracting the center of light strip on rough metalsurface[J]. Optics and Precision Engineering, 2011, 19(9):2138-2145.

趙博華, 王伯雄, 張金, 等. 粗糙金屬表面光條中心提取方法[J]. 光學精密工程, 2011, 19(9):2138-2145.

[24] Xi J H, Bao H, Ren Y. Fastextraction algorithm of normal center of laser stripe[J]. Science andTechnology & Innovation,

2018, (1):41-43.

席劍輝, 包輝, 任豔. 雷射條紋法向中心的快速提取算法研究[J]. 科技與創新, 2018, (1): 41-43.

[25] Xing Wang S J, Deng H J, etal. A new filtering algorithm based on extremum and median[J]. Journalof Image and Graphics, 2001, (6): 533-536.

刑藏菊, 王守覺, 鄧浩江, 等. 一種基於極值中值的新型濾波算法[J]. 中國圖象圖形學報, 2001,(6): 533-536.

[26] Zhao B, Ma G J. Research onsubpixel location of the center of linear laser stripe[J]. Electronic DesignEngineering, 2017, 25(24): 184-188, 193.

趙彬, 馬國軍. 線雷射條紋中心亞像素定位研究[J]. 電子設計工程, 2017, 25(24): 184-188,193.

[27] Li H P, Li D H, Zhu Z, etal. Detection method of stripe center of structured light based on geneticalgorithm[J]. Optics and Precision Engineering, 2004, 12(1):82-87.

李和平, 李德華, 朱洲, 等. 基於遺傳算法的結構光條紋中心檢測方法[J]. 光學精密工程, 2004, 12(1): 82-87.

[28] ZHANG Y J. Image Segmention[M].Beijing: Science Press, 2001.

章毓晉. 圖像分割[M]. 北京:科學出版社,2001.

[29] FOGEL D B. An introduction tosimulated evolutionary optimization[J]. IEEE-NN, 1994, 5(1): 3-14.

[30] Su X Q, Xiong X M. A fastalgorithm for extracting the center of line structured light[J]. Journal of Computer Applications. 2016, 36(1): 238-242.

蘇小勤, 熊顯名. 快速線結構光中心提取算法[J]. 計算機應用, 2016, 36(1): 238-242.

[31] Wang Z H, Zhang Z W. Themethod of extracting the fringe center of the adaptive direction template linestructure light[J]. Laser Journal, 2017, 38(1): 60-64.

王澤浩, 張中煒. 自適應方向模板線結構光條紋中心提取方法[J]. 雷射雜誌. 2017, 38(1): 60-64.

[32] Fang C. Research onsymmetrical line laser road rutting detection technology[D]. Xian: Chang'anUniversity, 2010.

方翠. 對稱式線雷射路面車轍檢測技術研究[D]. 西安: 長安大學, 2010.

[33] Jin J, Li D H, Li H P. NewMethod for Obtaining the Center of Structured Light Stripe[J]. COMPUTERENGINEERING AND APPLICATIONS, 2006, 42(4): 42-44.

金俊, 李德華, 李和平. 結構光三維獲取系統條紋中心線檢測[J]. 計算機工程與應用, 2006, 42(4):42-44.

[34] Xin J Q, Wu Y B, Huang J.Research on the method of extracting the center line of high curvature laserstripe[J]. China Computer & Communication, 2018, (2): 39-40,46.

辛軍強, 吳遠波, 黃劼. 大曲率雷射條紋中心線提取方法研究[J]. 信息與電腦, 2018, (2):39-40,46.

[35] Zhang Y, Zhang G J, Jiang J.Design and implementation of FPGA recursive logic structure of Stegeralgorithm[J]. Transducer and MicrosystemTechnologies. 2008, 27(9): 78-81.

張遠, 張廣軍, 江潔. Steger算法的FPGA遞歸邏輯結構設計與實現[J]. 傳感器與微系統, 2008, 27(9):78-81.

[36] Hu K, Zhou F Q. A fastsubpixel extraction method of stripe center line[J]. Electro-Optic Technology Application. 2005(06): 60-63.

胡坤, 周富強. 一種條紋中心線快速亞像素提取方法[J]. 光電技術應用, 2005(06): 60-63.

[37] Jia Y D. Machine Vision[M].Beijing: Science Press, 2000: 34-63.

賈雲得. 機器視覺[M]. 北京: 科學出版社, 2000: 34-63.

[38] Cai H Y, Feng Z D, Huang Z H.A method of extracting stripe center of structured light based on principalcomponent analysis[J]. ChineseJournal of Lasers. 2015, 42(3):270-275.

蔡懷宇,馮召東,黃戰華. 基於主成分分析的結構光條紋中心提取方法[J]. 中國雷射, 2015, 42(3): 270-275.

[39] Pearson K. On lines and planesof closest fit to systems of points in space[J]. Philosophical Magazine,1901, 2(6): 559-572.

[40] Abdi H, Williams L J. Principalcomponent analysis[J]. Wiley Interdisciplinary Reviews: ComputationalStatistics,2010,2(4):433-459.

[41] Liu J, Liu L H. Extraction oflaser stripe center based on Hessian matrix and region growth[J]. Laser & Optoelectronics Progress,2019, 56(2): 105-110.

劉劍, 劉麗華. 基於海森矩陣與區域增長的雷射條紋中心提取[J]. 雷射與光電子學進展, 2019, 56(2): 105-110.

[42] Yue L, Guo X Q, Yu J. Researchon Self-adptive Extraction Method of Central Points in Complex Light Stripe[J].Science Technology and Engineering, 2016, 16(14): 236-239,244.

嶽龍, 郭喜慶, 餘錦. 自適應複雜光條紋中心提取方法研究[J]. 科學技術與工程, 2016, 16(14):236-239,244.

[43] Cheng X, Lin H, Li S. Researchon the algorithm of strip center extraction of automobile weld sealantstrip[J]. Journal of Applied Optics, 2019, 40(5): 823-828.

程鑫, 凌鶴, 李碩. 汽車焊縫密封膠條的光條中心提取算法研究[J]. 應用光學, 2019, 40(5): 823-828.

[44] KOKORIAN J,BUJA F, STAUFER U, etal. An optical in-plane displacement measurement technique withsub-nanometer accuracy based on curve-fitting[C]//2014 IEEE 27thInternational Conference on Micro Electro Mechanical Systems (MEMS 2014),January 26-30 2014, San Francisco, CA, USA. 2014: 580-583.

[45] Li Y H, Liu P, Zhou J B, Ren YZ, Jin J Y. Extraction of structured light stripe center based on BP neuralnetwork[J]. Acta

Optica Sinica, 2019, 39(12): 186-194.

李玥華, 劉朋, 周京博, 任有志, 靳江豔. 基於BP神經網絡的結構光光條中心提取[J]. 光學學報, 2019, 39(12):186-194.

[46] Wang S C, Han Q, Wang H, etal. Extraction method of laser stripe center of rail profile in drivingenvironment[J]. Acta OpticaSinica, 2019, 39(2): 167-176.

王勝春, 韓強, 王昊, 等. 行車環境下鋼軌輪廓雷射條紋中心的提取方法[J]. 光學學報, 2019, 39(2): 167-176.

[47] Chen N, Guo Y K, Zhang X Q.Extraction of stripe center of line structured light based on Hessianmatrix[J]. Digital Technology and Application, 2019, 37(3): 126-127.

陳念, 郭陽寬, 張曉青. 基於Hessian矩陣的線結構光光條中心提取[J]. 數位技術與應用, 2019, 37(3): 126-127.

本文僅做學術分享,如有侵權,請聯繫刪文。

下載1

在「3D視覺工坊」公眾號後臺回覆:3D視覺即可下載 3D視覺相關資料乾貨,涉及相機標定、三維重建、立體視覺、SLAM、深度學習、點雲後處理、多視圖幾何等方向。

下載2

在「3D視覺工坊」公眾號後臺回覆:3D視覺github資源匯總即可下載包括結構光、標定源碼、缺陷檢測源碼、深度估計與深度補全源碼、點雲處理相關源碼、立體匹配源碼、單目、雙目3D檢測、基於點雲的3D檢測、6D姿態估計匯總等。

下載3

在「3D視覺工坊」公眾號後臺回覆:相機標定即可下載獨家相機標定學習課件與視頻網址;後臺回覆:立體匹配即可下載獨家立體匹配學習課件與視頻網址。

相關焦點

  • 基於FPGA的結構光圖像中心線提取
    編者按:在線結構光視覺三維測量系統中,為了實現對結構光圖像線條紋中心的實時高精度提取,本文採用了極值法、閾值法和灰度重心法相結合的中心線提取方法。利用現場可編程門陣列器件(FPGA)的流水線技術以及並行技術的硬體設計來完成運算,保證了光條紋中心點的實時準確提取。
  • 【薦讀】DNA結合蛋白特徵提取算法綜述
    DNA結合蛋白特徵提取算法綜述https://doi.org/10.12677/HJCB.2020.102003DNA結合蛋白特徵提取算法綜述在過去十幾年,出現了大量識別DNA結合蛋白的計算方法,在漢斯出版社《計算生物學》期刊中,有論文將從特徵提取的角度出發,對這些方法進行總結,並選擇其中九種典型的計算方法進行實證分析,確定這些方法的實際結果,為DNA結合蛋白分類算法研究者提供新的思路和有價值的參考。
  • 前沿研究丨基於三維掃描振鏡的原位雷射加工方法研究
    事實上,最終的測量精度由設備、測量距離、算法等因素共同決定,比如小的相機視場和近的測量距離可以獲得相對高的測量精度。目前,對線結構光測量技術的研究主要包括測量模型、光條紋中心提取和傳感器標定。測量模型的建立是基礎,主要是基於幾何推導;而基於掃描振鏡和不同類型場鏡的測量模型與傳統模型卻有所不同。
  • 結構光問題總結
    點結構光技術只是對點狀光斑進行處理,算法簡單,計算複雜度小,但是需要引入掃描行動裝置,以保證點光斑的遍歷掃描,使得系統效率低下,難以滿足實時性要求。如果被測物體表面形貌複雜,曲率變化較大,就有可能造成相機視野範圍丟失了線結構光光條信息,導致最終三維測量數據不完整。這種方法檢測價格貴,安裝體積大,多傳感器之間需要通訊,對上位機的硬體要求高,系統的實時性有所降低。
  • 霍夫變換——形狀特徵提取算法:車道線檢測
    霍夫變換是一種特徵提取,被廣泛應用在圖像分析、
  • 與結構光及雙目立體視覺相比,ToF技術有何優勢?
    目前能夠接觸到的實現3D方案的一種技術手段,是模仿人的雙目,因此手機的發展趨勢是從單目到攝像頭越來越多。「我們為什麼有這樣的發展呢?」在ADI中國25周年媒體技術日上,ADI系統應用工程經理李佳女士說,「手機單目無法滿足我們一些應用的開發,因此手機開發者會使用更多的攝像頭來模擬深度場景,我們看到最大的轉變就是由單攝變成雙攝,即模擬人的雙眼,實現深度信息的提取。」
  • 美研究人員開發新算法 讓智慧型手機變3D掃描儀
    原標題:美國布朗大學研究人員開發的新算法讓智慧型手機變3D掃描儀   [導讀] 在3D印表機變得越來越便宜的當下, 3D掃描儀卻拖了後腿。一旦完整的圖像模式整合起來,通常的結構光3D重建算法就能用於創建單個物體或空間的三維圖像了。
  • 聯邦學習算法綜述
    關鍵詞:聯邦學習, 算法優化, 大數據, 數據隱私論文引用格式:王健宗,孔令煒,黃章成, 等. 聯邦學習算法綜述[J]. 大數據, 2020, 6(6): 64-82.WANG J Z, KONG L W, HUANG Z C, et al.
  • 光柵式結構光傳感器原理
    本文主要討論多線結構光傳感器,即光柵式結構光傳感器。一般來說,視覺檢測系統包括結構光傳感器、多線結構光傳感器、雙目視覺傳感器。本文引用地址:http://www.eepw.com.cn/article/162888.htm1光柵式結構光傳感器原理光柵式結構光傳感器是一種基於主動三角法的視覺傳感器。
  • 結構光3D成像原理及應用
    結構光技術就是使用提前設計好的具有特殊結構的圖案(比如離散光斑、條紋光、編碼結構光等),然後將圖案投影到三維空間物體表面上,使用另外一個相機觀察在三維物理表面成像的畸變情況。如果結構光圖案投影在該物體表面是一個平面,那麼觀察到的成像中結構光的圖案就和投影的圖案類似,沒有變形,只是根據距離遠近產生一定的尺度變化。
  • 淺析3D結構光技術
    淺析3D結構光技術 胡薇 發表於 2018-10-23 15:55:38 HUAWEI Mate 20 Pro採用2400萬前置攝像頭,擁有3D結構光設計,3D智能美顏
  • 結構光、TOF、紅外雙攝,哪個才是手機上最安全的人臉識別技術?
    蘋果自iPhone X開始,引入了基於結構光的人臉識別技術,較高的安全性與識別率,標誌著手機人臉識別技術的成熟。同一時間個安卓廠家也在紛紛跟進,不過近兩年似乎除了蘋果一家在堅持,其他廠家都把重心再次轉回到指紋識別。
  • 流體運動估計光流算法研究綜述
    對流體圖像序列進行運動分析一直是流體力學、醫學和計算機視覺等領域的重要研究課題。
  • 實現從光源中提取隱藏的量子信息,量子物理學的發展厲害了!
    在發表在《科學進展》期刊上的一項研究中,格拉斯哥大學的研究人員Hugo Defienne和Daniele Faccio以及Q-MIC項目的合作夥伴報告了一種新技術,該技術使用圖像蒸餾從包含量子和經典信息的照明源提取量子信息
  • 3D人臉識別:結構光還還是TOF?
    而3D人臉識別目前又主要有3D結構光和TOF兩類技術。 另外,日前奧比中光內部的晶片團隊還首次接受了芯智訊的獨家採訪(下周會有專訪文章,敬請關注),據了解,奧比中光目前量產的3D機構光模組還集成了奧比中光第三代的3D算法晶片,採用了新引擎,新算法,基於臺積電28nm工藝,工作和待機功耗更低,對於鏡頭的適應性更強。 vivo的TOF 3D超感技術——松下+ADI ?
  • 德州儀器:採用基於TI DLP®技術的結構光實現高精度3D掃描
    後來出現了用於 3D 掃描的光學方法,如:結構光。結構光是將一組圖案投射到物體上並用相機或傳感器捕捉圖案失真的過程。然後利用三角計算方法計算數據並輸出 3D 點雲,從而生成用於測量、檢查、檢測、建模或機器視覺系統中各種計算的數據。光學 3D 掃描受到青睞的原因在於不接觸被測物體,並且可以非常快速甚至實時地獲取數據。
  • OPPO Find x的3D結構光是什麼? 有什麼用呢?
    OPPO Find X的發布可謂讓手機界又進入了一個全新的時代,採用升降攝像頭的OPPO Find X將佔屏比做到了93%以上,再次刷新了我們對於全面屏手機的認知,不僅僅如此,這款手機還匯聚了多種黑科技與一身,其中最具有吸引力的就是OPPO首創的雙軌潛望結構內所搭載的O-Face結構光技術,那麼O-Face結構光技術到底是一個什麼樣的技術呢
  • 100個深度圖像分割算法,紐約大學UCLA等最新綜述論文
    對近幾年深度學習圖像分割進行了全面綜述,對現有的深度學習圖像分割研究進行梳理使其系統化,並提出6方面挑戰,幫助讀者更好地了解當前的研究現狀和思路。可作為相關領域從業者的必備參考文獻。在本次綜述中,我們全面回顧了撰寫本文時的論文,涵蓋了語義級和實例級分割的廣泛先驅工作,包括全卷積像素標記網絡、編碼器-解碼器架構、基於多尺度和金字塔的方法、遞歸網絡、視覺注意力模型和在對抗環境下的生成模型。我們調研了這些深度學習模型的相似性、優勢和挑戰,研究了最廣泛使用的數據集,報告了性能,並討論了該領域未來的研究方向。
  • 紅外人臉識別和3D結構光人臉識別有什麼區別
    其中紅外人臉識別和3D人臉識別的結構光人臉識別的媒介是紅外光。其中紅外人臉識別和3D人臉識別的結構光人臉識別的媒介是紅外光。那麼,由暢視智能與大家分享紅外人臉識別和3D結構光人臉識別有什麼區別?紅外人臉識別組件是由紅外泛光燈與IR攝像頭組成,輸出一張紅外IR圖,通過紅外泛光燈,可以在黑暗中成像紅外圖,因此其適用範圍遠大於普通的RGB攝像頭,並且不容易被自然光環境幹擾。