伍文輝 發表於 2018-04-02 09:33:40
3D成像(3D imaging)技術問世已有幾十年之久,但商用產品卻在本世紀初才開始上市。起初,電影製作公司使用最新高解析度攝影機製作3D影片;在那之後,3D成像技術發展迅速,橫掃消費品市場與機器視覺產業。
第四次工業革命對目前的流程監控與自動化規模提出了前所未有的要求,也為3D視覺帶來了新的發展驅動力。傳統的2D視覺方法已無法滿足複雜物件識別與尺寸標示應用的精確度與測距要求,日益難以因應越來越多的人機協同工作等複雜互動狀況。本文回顧工業市場的3D成像技術,探討為何飛行時間法(Time of Flight,ToF)成為當前最具發展前景的方法,最後概述ToF系統專用的CMOS圖像傳感器最新發展。
3D成像概述取得3D圖像主要有四種方法,包括立體視覺法(Stereo Vision)、結構光法(Structured light)、雷射三角法(Laser triangulation)以及ToF。後三種方法屬於自動成像系列,需要用到人造光源。
立體視覺法
立體視覺法需要安裝兩臺攝影機來取得物件的不同視角(圖1)。採用校正方法調整攝影機與準確深度信息之間的像素信息使之一致,這類似於大腦目測距離的原理。因此,在系統中融入認知過程仍離不開大量的運算工作。
立體視覺法採用標準圖像傳感器,因而降低了成本。傳感器越複雜(例如高性能傳感器或全域快門裝置),系統成本越高。其應用的距離範圍受到機械局限的限制:過程中需要一條實體基準線,因而需要更大尺寸的模組,同時還需要精確的機械對準與重新校正。此外,此方法不適用於光線條件差或變化不定的情況,很大程度上取決於物件的反光特性。
圖1 立體視覺(來源:Tech Briefs)
結構光法
在結構光方法中,預先確定的光圖案被投射於物件上,然後通過分析圖案如何失真變形而取得深度信息。由於frame周期並無概念上的限制,也不至於造成任何動作模煳不清,對於多路徑界面非常適用。然而,自動照明要求配置複雜的攝影機,以及在鏡頭與圖形投影儀之間提供精確、穩定的機械校正功能。此外,這種方法存在著標定降級(de-calibration)的風險,反射的圖案對於環境中的光幹擾非常敏感,而且也僅限於室內應用。
圖2 結構光法(來源:University of Kentucky、Laser Focus World)
雷射三角法
雷射三角法針對一條光束的幾何偏移量進行測量,其數值與物件高度相關。這是一種基於物件掃描的單維成像方法。雷射點出現於攝影機視野範圍內的不同位置,具體取決於雷射打在物件表面的距離範圍。由於雷射點、攝影機與雷射發射器形成了一個三角形,因此這種方法被稱為三角法。
圖3 雷射三角法位移與位置監控應用要求高準確度、高穩定性以及低溫度變化,因此,一般採用高解析度雷射。雷射三角法的缺點在於這種方法只能覆蓋到一段較小的距離範圍,易受環境光線影響,並且僅限制於掃描應用。同時,它需要用到複雜算法與校正,而且受到結構性或複雜表面的影響。
飛行時間法
此方法體現了在攝影機與場景之間,通過光子雙向飛行時間直接獲取或計算距離的所有測量實施方法——可通過直接飛行時間法(D-ToF)或間接飛行時間法(I-ToF)測量方式執行。D-ToF的概念很簡單,但需要配置複雜且具有限制時間解析(time-resolved)的裝置;I-ToF的操作更簡單:光源與圖像傳感器同步。光的脈衝以與攝影機快門一致的相位發射。採用光脈衝去同步化作用計算光子飛行時間,就能推導出發射點與物件之間的距離。
圖4 ToF工作原理這確保我們能夠對每個像素的深度與幅度進行直接測量。這種圖像稱為深度圖像。該系統具有較小的高寬比,只需一次校正,即可在環境光線條件下運作良好。不足之處在於它需要主動照明同步,而且可能出現多路徑幹擾與距離混疊。
3D成像技術方案比較
每種方法都具有各自不同的優缺點,如表1。
表1 常用的3D成像技術比較
目前,3D系統的應用尚未普遍,因此主要採用3D立體視覺法、結構光攝影機或雷射三角法系統。這些系統在固定的工作距離內運作,針對特定的測距區域則需要進行大量的校正工作。ToF系統可克服這些方面的挑戰,從應用面提供更大的靈活性。目前,由於像素的複雜度或耗電問題,大部份的商用解決方案仍受限於採用視頻圖形陣列(VGA)或更低的圖像解析度。
飛行時間法的CMOS圖像傳感器方案看好ToF的應用前景,Teledyne e2v開發出首款3D ToF解決方案,支持130萬像素解析度深度以及1英吋光學格式,並配置高靈敏度、高動態範圍的CMOS圖像傳感器。
這種ToF途徑可實現灰階圖像與深度融合功能:
- 先進的130萬像素深度圖解析度:全解析度的深度圖,準確度達±1cm、速度快
- 可獲取快速移動的物件3D圖像:速度高達120格/秒(fps),30fps的解析度深度圖、全域快門效率高
- 3D檢測範圍大:0.5~5m,支持90dB高動態範圍(HDR)
- 可見光與近紅外光(NIR)高靈敏度傳感器:850nm波長時量子效率約50%,支持HDR:夜間/日夜視覺
- 嵌入式3D處理:多個感興趣區域(multi-ROI)——雙視窗、像素合併(binning)、晶片長條圖資料統計功能
最新開發的展示平臺可用於評估以深度圖或點雲格式輸出的獨特1.3MP深度解析度。
如圖5所示的ToF系統展示平臺由一個精巧的1英吋光學成像系統構成,配置高靈敏度的1.3MP圖像傳感器。該平臺內建多整合晶片功能(閘極傳感器)、光源以及相關光學元件,並以1.3MP全解析度實現ToF成像。
圖5 ToF展示平臺(來源:Teledyne e2v)
採用ToF的5T CMOS圖像傳感器主動成像
主動成像使用同步光源。輔助自動對焦功能是主動成像的簡單形式,可見於低光條件下採用紅外光測距的現代攝影機中。主動成像可應用於惡劣天氣條件(如下雨或起霧時)。而採用同樣的傳感器則可能實現兩種主動成像方法:距離選通法與ToF。距離選通法(range gating)結合了兩種組成:脈衝光波前端裝置與一臺專業高速快門攝影機。首先將光線發射至目標物件,當反射光從反射表面返回時,攝影機高速電子快門適時地開啟。距離選通成像可依據光與傳感器的同步特性選擇圖像平面距離。因雨天、多霧或霧氣粒子瀰漫的環境導致目標物件與攝影機隔離時,部份光子仍得以穿過介質返回攝影機。這些光子被稱為「彈道光子」(ballistic photon)。雖然這類光子數量較少,但可同步獲取這些光子,因此可通過散射介質進行成像。距離選通方法可在遠距離成像,且幾乎不受任何限制,但具體也取決於光源的強度。飛行時間法(ToF)的工作原理不同於距離選通。它可以直接測量ToF光線,從而推導出反射面的距離。由於物件與攝影機之間距離短,因此,基於ToF的系統需要配置一個全域快門攝影機。相較於主動成像,ToF並非聚焦於特定的圖像平面,因而能在理想範圍內直接成像。如圖6所示,距離選通圖像獲取的建置主要依據同步的攝影機光源系統。它能在主/從模式下運行,具體採用哪種模式取決於應用環境的狀況。攝影機配置了快速的全域快門,速度快達數百納秒(ns)。光源根據T0時間點攝影機的觸發情況發射光脈衝。經過一段時間後(T1),光脈衝到達此距離範圍,並根據是否存在物件而發生反射與否。在發生反射的情況下,光線在T2期間返回攝影機;在此情況下,T3 = T0 + 2 τ,其中τ是攝影機快門開啟並獲取到反射信號的返程飛行時間。在信號格的時間內,這種周期過程周而復始幾千次,最終累積到足夠的信噪比(SNR)。產生的圖像為灰階圖像,且僅與出現在距離範圍內的物件一致。為了產生一個深度圖像,必須在距離選通模式下掃描多個深度以取得一組圖像,或調整延遲時間。然後根據這組圖像計算各個點的距離。
圖6 距離選通工作原理圖7描述了全域快門的像素傳感器結構,以及其產生短曝光與信號同步的原理。最簡單的全域快門形式採用五個電晶體(5T)構成的像素,以及一個專用相位驅動器。因此,信號積分相位並不是一次性完成的,而是隨著同步多次積分而逐漸形成的。
圖7 全域快門像素結構Teledyne e2v的專利技術基於5T像素結構與計時產生器,以實現Δt周期(Δt周期縮短至10ns左右)。這表明在暫態解析度方面已獲得了巨大的提升。支持高靈敏度/低雜訊的1.3MP CMOS圖像傳感器正配置了這項功能,並帶有多暫態積分模式(又稱「累積」模式)。此外,在圖像傳感器還需要有高寄生電荷靈敏度(PLS),也稱為「消光比」(extinction ratio),能避免攝影機選通「關閉」期間的雜散光線,進而獲得清晰的圖像。
圖8 支持計時調整與同步電路的5T像素CMOS需要充份的「消光比」,以避免場景的背景光線
為了提高工業系統的有效性與自主性,視覺系統在視覺引導機器人與其他自主機器設備中的應用日漸增多,目前已開始採用3D視覺系統(如物件識別、準確度)。現有的幾種3D方法都各自具有優點與限制,可取決於具體的應用要求作選擇;其中,飛行時間法(ToF)提供了非凡的3D視角,可望推動新一代專用CMOS圖像傳感器的發展。
打開APP閱讀更多精彩內容聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容圖片侵權或者其他問題,請聯繫本站作侵刪。 侵權投訴