工業級應用中的3D成像技術核心:嵌入式CMOS傳感器技術

1. 引言

早在幾十年前就有了3D圖像技術的概念，但產品商業化是在2000年後，許多大型電影製片廠宣布使用最新的高清攝像機獲得3D效果。此後，不僅僅在消費市場，在工業機器視覺領域，3d圖像技術從速度，誤差精準度以及解析度上得到了飛躍性的發展。iG4EETC-電子工程專輯

隨著工業4.0的崛起，傳統2D技術在誤差精準度和距離測量方面非常受限，尤其是在複雜物體識別和尺寸測量以及互動應用例如人機互動，3D視覺的需求越來越多。iG4EETC-電子工程專輯

在工廠自動化領域，3D視覺能夠提高機器人/機器系統的自主性和有效性。 實際上，3D視覺對於更高精度的質量檢查，逆向工程或2D視覺受限的物體尺寸檢測是必不可少的。 此外，使用視覺系統引導的機器人技術正在增長，需要3D視覺更好的遠程指導，障礙物識別和準確移動。iG4EETC-電子工程專輯

3D視覺還保護工廠裡的工人在密集的人機互動系統中免受阻礙並解決危險情況， 還可通過監控系統進行計數並識別自然人和機器人。iG4EETC-電子工程專輯

3D視覺通過各方面滲透影響著社會，並為最終用戶提供更安全，更高性能和更有效的援助系統。 例如，3D視覺應用於先進的汽車自動輔助駕駛系統，自主車輛，協作機器人...iG4EETC-電子工程專輯

本文旨在探討3D成像技術，以及工業3D應用中先進的嵌入式CMOS傳感器技術。iG4EETC-電子工程專輯

2. 3D 圖像概論

當前，用戶可通過好幾種技術和方案獲得3D，以下部分旨在簡要概述每種技術及其優缺點。iG4EETC-電子工程專輯

2.1 Stereo vision technique立體視覺技術

類似人類大腦控制目測距離，兩隻相機，拍相同位置，不同角度安裝，利用視覺差和校準技術提取物體深度信息。 iG4EETC-電子工程專輯

圖 1 – Stereoscopic system principle – source TechbriefsiG4EETC-電子工程專輯

iG4EETC-電子工程專輯

2.2 Structured light technique結構光技術

由相機和投影儀組成。投影儀投射條紋光帶到物體上，相機拍攝條紋光，根據物體上光的條紋扭曲計算位深信息。iG4EETC-電子工程專輯

圖2 – 結構光系統原理圖– source University of Kentucky, Laser Focus World*iG4EETC-電子工程專輯

iG4EETC-電子工程專輯

2.3 Laser triangulation雷射三角測量

雷射三角測量系統由2D相機，鏡頭，雷射器組成，通過測量從被測物表面反射的光來確定被測物的位置。 雷射器將光斑投射到被測物，反射光通過成像相機聚焦在光敏裝置上。 根據雷射相對被測物表面的距離，雷射點出現在相機視野中的不同位置。 這種技術稱為三角測量，由雷射點，照相機和雷射發射器形成三角形。iG4EETC-電子工程專輯

高解析度雷射器通常用於需高精度，穩定和低溫度漂移的位移和位置監測應用中。iG4EETC-電子工程專輯

圖3 –雷射三角測量原理圖iG4EETC-電子工程專輯

iG4EETC-電子工程專輯

2.4 Time-of-Flight TOF原理

TOF原理是利用光源與圖像傳感器同步，利用發射光脈衝和光返回到圖像傳感器上的時間差來計算距離。iG4EETC-電子工程專輯

圖 4 – Time-of-flight 系統原理圖iG4EETC-電子工程專輯

iG4EETC-電子工程專輯

2.5 3D 圖像技術對比

如上所述，每種技術都有優缺點，因此，根據應用特別是距離範圍和深度精度要求，選擇更合適的方案。 在表1中進行相對比較。iG4EETC-電子工程專輯

表1. 3D Imaging techniques 『top-level』 comparisoniG4EETC-電子工程專輯

目前，3D系統主要靠立體視覺，結構光和雷射三角方案，這些系統主要用在固定工作距離，同時在特定檢測領域中需要較高水準的校準。
Time-of-Flight 系統可以克服這些困難，從應用角度更加靈活，但是目前更多的是受限於解析度。iG4EETC-電子工程專輯

3. Teledyne e2v在工業市場獨特的3D方案

基於機器視覺領域，Teledyne e2v提供的線掃描相機和面陣傳感器的成功積累，Teledyne e2v正在構建一個專用於3D成像的獨特平臺，以支持最新的工業應用，如視覺引導機器人，物流自動導引車輛（AGV），工廠監控和 安全或手持掃描儀，以及戶外應用。Teledyne e2v旨在提供多種3D技術和解決方案，以滿足客戶的應用需求。iG4EETC-電子工程專輯

Teledyne e2v主要提供以下三種3D方案

• Laser triangulation 雷射三角測量

• Stereo vision and structured light 立體視覺和結構光

• Time of Flight TOF技術
iG4EETC-電子工程專輯

3.1 雷射三角測量方案

Teledyne e2v可提供標準品，同時也可以特殊定製高速sensor :

• 廣泛的可選解析度：每條輪廓線2k到8k個點

• 高幀率sensor: 可達20kfps

• 高靈敏度，低噪: QE>60%, SNR of 43dB

• 多種高動態範圍性能

• 獨一無二地芯上處理技術: 讀出通道上的數字處理，芯上子像素峰值計算

• 快速記錄中最大化信道容量: 可達32Gbps LVDS 接口
iG4EETC-電子工程專輯

3.2 立體視覺和結構光系統

Teledyne e2v提供標準CMOS sensor， 有如下關鍵性能：
iG4EETC-電子工程專輯

高級別SWAP-C (size, weight, power and cost): 小光學尺寸, 多封裝方法以優化尺寸和成本，低功耗 200mW @ 全幅面；

o Sapphire/Ruby 系列: WVGA, 1.3 & 2MP , 1/1.8」

o Emerald 系列: 130萬像素到1600萬像素, 像素尺寸2.8µm (其中16MP晶片是1」 光學尺寸,8MP是 2/3」 – 全世界獨特性)iG4EETC-電子工程專輯

• 可見光& 近紅外，高靈敏度版本: 每個晶片系列公用同一個platform– pin-to-pin 兼容
iG4EETC-電子工程專輯

• 可從快速移動物體獲取 3D圖像: 高達125fps, 高全局快門效率，高速雙快門；
iG4EETC-電子工程專輯

• Sensors圖像傳感器一致性: 每個sensor系列共享一個平臺– pixel-to-pixel兼容；
iG4EETC-電子工程專輯

• 3D 處理: multi-ROI (多ROI功能，4個窗口), binning, 圖像數據的直方圖由傳感器晶片直接生成
iG4EETC-電子工程專輯

高全局快門效率應用於快速移動物體

Teledyne e2v一直致力於高效率全局快門的圖像傳感器的創新和開發中，這種性能可以避免快速運動物體拍攝中的偽影現象。在拍攝運動物體時，當積分時間遠小於讀出時間時容易發生該現象，因為圖像的上部分將在底部部分之前開始積分; 並且在這些間隔之間，物體已經移動。iG4EETC-電子工程專輯

這就需要像素內存儲元件在積分發生之後存儲電荷直到其被讀出。 該技術基於5T結構。 缺點是填充因子減少，CDS類型時間域噪聲降低方法有限。 由於這兩點，與4T ERS相比，對於給定像素尺寸，現今全局快門（G / S）下的SNR要稍微差些。iG4EETC-電子工程專輯

然而，在像素的存儲寄存器中使用pinned junctions減小了時間域噪聲，同時暗電流和固定噪聲以及SNR之間不再存在差距。 考慮到填充因子方面，像素上micro-lens的進步和優化（例如零間隙）可以在對波長響應的靈敏度方面取得顯著進步。iG4EETC-電子工程專輯

近紅外高靈敏度晶片應用於高精度檢測

Teledyne e2v標準CMOS 晶片有較高的量子效率（QE ）。iG4EETC-電子工程專輯

例如下圖，Teledyne e2v 的Sapphire 系列和Ruby系列的QE；Sapphire主要用於可見光，Ruby在可見光和近紅外部分都有提升和優化。5T技術下，像素尺寸5.3µm x 5.3µm，高達80% 的QE 可稱殿堂級CMOS晶片。 iG4EETC-電子工程專輯

圖 5 – QE versus wavelength response of new global-shutter CMOS imagersiG4EETC-電子工程專輯

綜合以上革新性的技術板塊，Teledyne e2v標準CMOS晶片可廣泛應用於可見光和近紅外光下日夜和戶外高速物體的高精度3D檢測中。iG4EETC-電子工程專輯

3.3 Time-of-flight 3D 技術方案

Teledyne e2v推出第一個3D TOF 方案， 基於130萬像素，1英寸光學尺寸，高靈敏度和高動態範圍CMOS晶片。
iG4EETC-電子工程專輯

• 130萬像素: 全幅面下的深度圖，全幅面下精度< 3cm, 高速雙快門

• 拍攝高速運動物體的3D圖像：高達 120 fps, 全幅面下 30fps 深度圖, 高全局快門效率

• 大範圍3D 檢測: 高近紅外靈敏度，高動態範圍60DB， 可檢測範圍 [0.5米 to 5米]

• 可見光和近紅外高靈敏度晶片: 50% QE at 850 nm, 高動態範圍模式: 暗光/ 日夜

• 嵌入式3D處理: Multi-ROI (2個窗口), Binning, 嵌入式芯上圖像處理
iG4EETC-電子工程專輯

如下Teledyne e2v開發的演示TOF系統，包含實時130萬像素晶片扳機相機，1英寸鏡頭，可見光/近紅外光源，[0.5m to 5m]檢測範圍，輸出位深圖或者點雲數據，主要用於給用戶演示TOF原理，供用戶用來評估此TOF晶片性能；iG4EETC-電子工程專輯

iG4EETC-電子工程專輯

表2 – Teledyne e2v’s Time-of-Flight 演示系統功能iG4EETC-電子工程專輯

基於5T CMOS傳感器的ToF技術

主動成像是基於同步控制光源實現的成像方法。比如我們使用的手機上會使用紅外信號來判斷在低光條件下的距離進行輔助自動聚焦。主動成像主要應用於在惡劣天氣條件（霧）下拍攝圖像或三維圖像。距離選通成像（Range Gating）以及飛行時間（ToF）為兩種主要的主動成像技術。距離選通技術有兩點需要：脈衝波前和高速快門相機。當反射從反射平面返回時，光朝向目標發送，相機的高速電子快門在恰好的瞬間打開。光脈衝飛行一定距離後到達物體然後，會部分被物體反射並被相機接收。這對相機高速快門精準控制，以便相機傳感器能剛好在脈衝返回一顆快門打開，接收到測量信號。通過對光源以及相機的同步設置可以選擇想要獲取圖像的距離。在比較惡劣的測試條件下，比如雨天，霧天或者強散射介質，只有很少一部分光子可以穿過介質並返回到照相機。距離選通成像是克服惡劣測試條件，提高系統信噪比的有效方法。ToF直接測量光的飛行時間以推斷反射平面所在的距離。與距離選通技術不同，ToF不選擇圖像平面，它允許直接距離成像。iG4EETC-電子工程專輯

如圖6所示，距離選通圖像捕獲的實現基於同步的相機源光系統。相機具有非常快的全局快門，微秒量級。在T0處，相機發送的觸發給同步光源使其發射脈衝。一段時間後T1，光脈衝到達預設測量距離範圍，若有物體存在於該範圍內則被反射，反之則不會有反射信號。在反射的情況下，光經過T2返回相機。在T3 = T0 +2時刻相機的快門打開並捕獲反射光。如此重複循環過程，以便累積足夠的信號。生成的圖像僅對應於該範圍中存在的對象。如果需要生成深度圖像，需要在幾個深度處掃描一系列距離選通模式的圖像，或者通過調整延遲。然後從該組圖像計算距離。iG4EETC-電子工程專輯

圖 6 – 距離選通技術原理示意圖iG4EETC-電子工程專輯

圖7為在全局快門圖像傳感器相元的工作示意圖。信號積分不是一次性實現，而是通過連續多次微曝光（micro-integration）積累足夠多探測到的光子來實現距離選通成像或者ToF成像。iG4EETC-電子工程專輯

圖 7 – 全局快門圖像傳感器相元iG4EETC-電子工程專輯

Teledyne e2v專利技術，基於T5 像素，在交替線上的定時生成以實現低至約10納秒的Δt。 這意味著時間解析度的巨大改進。Teledyne e2v的130萬像素CMOS圖像傳感器具有高靈敏度/低噪聲，包括多積分或「堆積」模式。 此外，還需要pinned光電二極體和存儲寄存器具有高寄生光靈敏度比（PLS），也稱作消光比，來降低場景產生的背景噪聲以生成銳利的圖像。這是通過降低相機快門「關」期間產生的寄生光或者叫砸光來實現的。iG4EETC-電子工程專輯

圖8 – 具有時序和同步電路的5T像素CMOS傳感器需要足夠的消光比來降低背景噪聲iG4EETC-電子工程專輯

Teledyne e2v BORA 圖像傳感器 – --引領藝術級130萬像素Time-of-Flight （簡稱TOF）

Teledyne e2v 新一代TOF130萬像素圖像傳感器，取名BORA，電子全局快門，在多積分模式進行優化，所以在短距離和範圍內低光環境下檢測性能優越； iG4EETC-電子工程專輯

此TOF CMOS晶片，3D位深130萬像素，1英寸光學尺寸，與第一代TOF 一樣致力於工業應用中取得更多信息和更高精度。iG4EETC-電子工程專輯

表3 – Teledyne e2v ToF演示系統對比表iG4EETC-電子工程專輯

4. 結論

為提高工業系統的有效性和自主性，用於引導機器人和機器的視覺系統需求正在增長; 一些應用需要3D視覺（物體識別，精度）。這些技術也很苛刻，需要具有複雜特徵的高性能傳感器。iG4EETC-電子工程專輯

Teledyne e2v為工業市場提供廣泛的獨特3D視覺解決方案，，如工廠自動化，物流，計量應用程式等。 我們在高性能CMOS圖像傳感器方面的獨特專長， 不僅提供標準3D方案，也提供定製服務，能夠在日/夜操作條件下從快速移動的物體獲得3D精確檢測，從而克服當前3D視覺的挑戰。iG4EETC-電子工程專輯