ToF深度相機技術白皮書

引言：

短短幾年, 3D視覺技術從傳統意義上只應用於專業領域的高端技術變成了消費級產品。基於三角法和飛行時間的深度測量方案是當下兩種主流3D視覺技術,而今年蘋果公司發布的新款iPadpro上搭載了d-ToF技術的深度相機，給3D視覺技術在消費場景的應用推動了新的機會。

結合當前學術界的成果以及工業界的發展狀況，光鑑科技於近日發布了《ToF深度相機技術白皮書》。本文主要分析了ToF深度相機的基本工作原理和不同技術路徑的優勢和挑戰。與此同時，為了幫助讀者更加詳細地了解3D視覺技術方案，文中還進一步比較了ToF與雙目和結構光技術方案的優劣勢。基於基本的技術特點，結構光和雙目方案更適合近距離高精度的應用場景，例如識別、建模等；ToF技術更適合遠距離的應用，比如SLAM，AR等。

光鑑科技認為:「d-ToF產業成熟需要很長一段過程。在此過程中，i-ToF還有很大的潛力可以挖掘，正在先一步搶佔3D行業市場份額；而隨著工藝和產業鏈的成熟，d-ToF將逐步從高端消費電子往下滲透。在較長的時間周期中，與i-ToF各自佔據重要的市場份額。」

另一方面，當前ToF行業現狀，d-ToF技術在雷射功耗、抗幹擾、遠距離精度等方面有明顯優勢，但在工藝和產業鏈均離成熟尚遠，仍需較長時間打磨；i-ToF晶片在工藝和產業鏈雖已趨於成熟，但達到的效果卻不盡完美，從而導致其應用受阻。

隨著2020年發布的iPad Pro等高端消費電子領域的持續關注，d-ToF技術將進入快速迭代發展階段，技術發展方向可能會集中在：SPAD工藝升級（包括DCR、PDE、jitter等），片上集成度提升（包括片上直方圖/深度圖算法，I/O，Memory等），TRX系統協同設計等方面；隨著工藝和產業鏈的成熟，d-ToF的技術優勢也會逐步釋放，佔據一定市場空間。

與此同時，i-ToF仍有很大潛力可以持續挖掘，不論是在算法端，亦或是系統端和應用端均有望通過軟硬體的協同設計，彌補原理上的非理想效應以光鑑科技的mToF (modulated ToF) 方案為例，通過在系統端結合軟硬體，引入調製光場的概念，通過空域、頻域、時域上的巧妙設計，創新硬體協同前沿算法，在物理上提升i-ToF抗幹擾、抗噪聲能力，解決i-ToF在實際應用場景中面臨的關鍵痛點，一定程度上可以媲美d-ToF的性能。

目前消費電子中ToF 應用以手機為主，華為、三星已在前後攝都搭載ToF 攝像頭，今年蘋果機型有望也開始搭載ToF技術；另外，ToF技術在頭部終端廠商的推動下也開始在消費電子領域、機器人領域、安防監控&軌道交通領域以及無人駕駛&工業自動化逐步實現滲透。

ToF深度相機技術白皮書

修訂於2020年3月31日

本文為深圳市光鑑科技有限公司原創並依法對其享有完整的著作權。未經書面授權，任何個人、機構或其它主體不得編輯、修改、複製、轉載、摘編或另作其它商業使用。本公司亦不接受任何主體在未經書面授權而作出的類似「本文來源於網絡，版權歸原作者」之一切表達。若需獲得書面授權使用者，請聯繫我司並支付相應報酬。對不遵守本聲明或其他違法、惡意使用本文任何內容者，我司保留追究其法律責任的權利。

目錄

1  3D視覺介紹... PAGEREF _Toc36545567 \h 4

2   3D視覺方案介紹... PAGEREF _Toc36545568 \h 5

2.1 雙目技術... PAGEREF _Toc36545569 \h 5

2.2 結構光技術... PAGEREF _Toc36545570 \h 6

2.3 雙目、結構光及ToF技術比較... PAGEREF _Toc36545571 \h 7

3 ToF基本原理... PAGEREF _Toc36545572 \h 8

3.1 i-ToF原理... PAGEREF _Toc36545573 \h 8

3.1.1 連續波調製(CW-iToF) PAGEREF _Toc36545574 \h 8

3.1.2 脈衝調製(PL-iToF) PAGEREF _Toc36545575 \h 9

3.1.3 CW-iToF與PL-iToF對比... PAGEREF _Toc36545576 \h 10

3.2  d-ToF原理... PAGEREF _Toc36545577 \h 10

4 ToF技術挑戰... PAGEREF _Toc36545578 \h 12

4.1 i-ToF挑戰... PAGEREF _Toc36545579 \h 12

4.1.1 飛點噪聲（Flying pixels）... PAGEREF _Toc36545580 \h 12

4.1.2 多徑幹擾(Multi-Path Interference, MPI) PAGEREF _Toc36545581 \h 13

4.1.3 強度誤差(Intensity Related Error) PAGEREF _Toc36545582 \h 15

4.1.4 遠距離-高精度矛盾(Trade-off between range and precision) PAGEREF _Toc36545583 \h 15

4.1.5 高頻驅動... PAGEREF _Toc36545584 \h 15

4.1.6 片上集成... PAGEREF _Toc36545585 \h 16

4.2 d-ToF挑戰... PAGEREF _Toc36545586 \h 16

4.2.1 暗計數率(Dark Count Rate, DCR) PAGEREF _Toc36545587 \h 16

4.2.2 子探測效率(Photon Detection Efficiency,PDE) PAGEREF _Toc36545588 \h 17

4.2.3 串擾(Cross talk) PAGEREF _Toc36545589 \h 17

4.2.4 時間精度... PAGEREF _Toc36545590 \h 18

4.2.5 SPAD陣列3D集成... PAGEREF _Toc36545591 \h 18

5 ToF發展方向... PAGEREF _Toc36545592 \h 18

6 ToF技術應用... PAGEREF _Toc36545593 \h 20

7 總結... PAGEREF _Toc36545594 \h 22

8 參考文獻... PAGEREF _Toc36545595 \h 23

1 3D視覺介紹

3D視覺技術能夠獲取現實三維場景完整的幾何信息，利用帶有深度信息的圖像來實現對於場景的精準的數位化，從而實現高精度的識別、定位、重建、場景理解等機器視覺的關鍵功能。以2010年的Kinect和2017年的iPhone X的發布為標誌，3D視覺技術從傳統意義上只應用於專業領域的高端技術變成了消費級產品。

Figure STYLEREF 1 \s 1‑SEQ Figure \* ARABIC \s 1 1二維空間到三維空間示意圖。

現行專業級或者消費級的3D相機採用兩種主流技術，三角法(Triangulation)和飛時法(Time-of-Flight, ToF)[1]。採用三角法的3D視覺技術包括雙目技術和結構光技術，基本原理採用三角幾何視差來獲得目標到相機的距離信息。這種方法在近距離有著很高的精度，但是誤差會隨著距離增大而快速變大。ToF技術測量相機是指主動投射出的光束經過目標表面反射後被相機接收這個過程的來回的飛行時間，基於光速即可獲得目標到相機的距離。ToF技術在不同距離的誤差相對三角法更穩定，在遠距離有著更好的精度[2]。

在本文中，我們將介紹消費級的3D視覺技術的主要技術路徑。針對ToF技術，我們將介紹其主要實現方法的具體工作原理，各自的優劣勢以及技術挑戰。根據行業的現狀，我們將結合學術界的最新成果，介紹解決當前ToF相機痛點的一些方法。最後，我們也將結合現下行業需求，介紹ToF的一些重要的應用場景。

2 3D視覺方案介紹

常見的3D視覺方案主要包括雙目、結構光和ToF三個技術方向。這三種方法各有優劣。雖然本文主要介紹的是ToF技術，本章節將簡要地介紹和比較其他兩種技術方案，幫助讀者全面地了解3D視覺技術方案。

2.1 雙目技術

雙目深度重建利用的是三角測距法計算被測物體到相機的距離。具體的說，就是從兩個相機觀察同一物體，被觀測物體在兩個相機中拍攝到的圖像中的位置會有一定位置差。正如將一隻手指放在鼻尖前，左右眼看到的手指位置會有一個錯位的效果。這個位置差稱為視差，被攝物離相機越近，視差就越大；距離越遠，視差就越小。在已知兩個相機間距等相對位置關係的情況下，即可通過相似三角形的原理計算出被攝物到相機的距離。

Figure STYLEREF 1 \s 2‑SEQ Figure \* ARABIC \s 1 1雙目技術示意圖。

雙目深度重建的原理雖然簡單，但在實際使用中遇到了兩個挑戰：計算量大，依賴被攝物的紋理及環境光照。下面對這兩個挑戰分別展開介紹。

要計算一幅圖中每個像素的深度值，我們需要得到每個像素在兩幅圖中的一一對應關係。這個關係的建立通常是採用塊匹配(blockmatching)的方法。具體的說，在一幅圖中，以一個像素為中心，選取一個固定大小的窗口，在另一幅圖中尋找最相似的窗口，從而得到該像素在另一幅圖中的對應像素。塊匹配算法有很高的計算複雜度，其計算量正比於O(NMWHD)，其中N, M為圖像的行數和列數，W, H為匹配窗口的寬和高，D為匹配尋找最相似像素的範圍。為了達到更好的效果，會採用一些更複雜的改進算法（如Semi-GlobalBlockMatching, SGBM），這就更進一步提高了計算量和複雜度。鑑於此原因，業界常見的方法是將算法固化到特製的ASIC晶片中，從而解決計算量的大的問題，但這一增加了額外的硬體成本和迭代變化周期。

雙目深度重建的另一大挑戰是依賴於被拍攝物體的表面紋理和環境光照。利用雙目原理重建表面沒有任何紋理的物體時，例如拍攝一面白牆，會遇到無法找到匹配的對應像素的問題。另一方面，當拍攝環境的光照很弱的情況下，例如黑燈環境下，匹配也會遇到很大的挑戰。結構光技術為解決這兩個問題提供了新的思路。

2.2  結構光技術

結構光方案是一種主動雙目視覺技術。每個結構光相機包括兩個基本組件：一個紅外雷射投射端和一個紅外攝像頭。其基本思路是將已知的結構化圖案投影到被觀測物體上，這些結構化圖案將根據物體的幾何形狀和拍攝距離而發生相應的形變。紅外攝像頭從另一個角度進行觀察，通過分析觀測圖案與原始圖案之間發生的形變，可以得到圖案上各像素的視差，再根據相機的內外參恢復出深度。

FigureSTYLEREF 1 \s 2‑SEQ Figure \* ARABIC \s 1 2結構光技術示意圖

結構光方案可以看成雙目方案的一種特例。已知的投射端結構化圖案和紅外攝像頭拍攝到的圖案可視為左右雙目的觀測。結構光重建算法和雙目重建算法採用了相似的思想，也面臨著類似的挑戰，主要包括高計算量和深度突變處的數據缺失。

為解決這兩方面的挑戰，光鑑創新地研發了一套高效軟核重建算法，將計算量降低了兩個數量級，只需一顆普通的ARM嵌入式處理器即可完成高精度深度重建。與此同時，利用多傳感融合與深度學習，該算法大幅提升了常見的深度圖缺失問題。

和標準的雙目方案相比，結構光方案更為魯棒，這得益於結構光方案採用的主動光源和投射的結構化圖案。具體的說，投射端發出的紅外雷射照亮了被拍攝物體，這使得拍攝端無需依賴環境光源即可獲得亮度穩定的圖像輸入；另一方面，投射的結構化圖案為被拍攝物體增加了表面紋理，這使得拍攝表面沒有任何圖案的物體也能精準地重建出深度。

2.3     雙目、結構光及ToF技術比較

為了更直觀的比較雙目、結構光和ToF技術路徑的優劣勢，我們匯總了各個每個方案的關鍵技術參數的比較。其中，i-ToF和d-ToF技術將在之後的章節中具體介紹。

3      ToF基本原理

相比雙目視覺和結構光方案，ToF 的方案實現起來會相對簡單，主要包括發射端和接收

端，ToF 傳感器給到光源驅動晶片調製信號，調製信號控制雷射器發出高頻調製的近紅外光，遇到物體漫反射後，接收端通過發射光與接收光的相位差或時間差來計算深度信息。現大部分ToF 傳感器採用背照式CMOS工藝技術，該工藝大幅度提高了感光面積，提升了光子收集率和測距的速度，響應時間能夠達到納秒級，在遠距離情況下也能保證高精度。

3.1 i-ToF原理

i-ToF，即indirect ToF，通過傳感器在不同時間窗口採集到能量值的比例關係，解析出信號相位，間接測量發射信號和接收信號的時間差，進而得到深度。i-ToF 根據調製方式的不同，可分為兩種：連續波調製（CW-iToF）和脈衝調製（PL-iToF）,分別發射連續的正弦信號和重複的脈衝信號；前者是通過解析正弦信號相位解析深度，而後者是解析脈衝信號相位來解析深度。

3.1.1    連續波調製 (CW-iToF)

通常採用正弦波調製方式，接收和發射端正弦波的相位偏移和物體距離攝像頭的距離成正比, 通過相位偏移來測量距離

相位偏移 (φ) 和 深度(D) 是由積分能量值C1、C2、C3、C4從上述公式解析得到,這幾個積分能量值，是四個不同相位延遲的接收窗口採集到的能量，分別對應於在相位採樣點0°、90°、180°、270°採樣，即：

其中A為接收到正弦信號的幅度。

精度方面，CW-iToF精度主要受制於隨機噪聲和量化噪聲，前者與接收光信號信噪比（Signal to Noise Ratio, SNR）成反比，後者與正弦波調製頻率成反比。因此，為了提升精度，CW-iToF一般採用大功率短積分時間採樣，提高接受光信號SNR；同時提高調製頻率以抑制量化噪聲。

量程方面，CW-iToF可解析的相位範圍為[0~2π],因此其最大量程為Dmax=c2fm。即，頻率越高，精度越高，量程也越小。超過量程的深度，將出現周期性的相位卷繞（Phase wrap），測量值錯誤的落在[0~Dmax]內。

FigureSTYLEREF 1 \s 3‑SEQ Figure \* ARABIC \s 1 1CW-iTOF工作示意圖

3.1.2    脈衝調製(PL-iToF)

在PL-iToF 系統中，雷射光源發射帶有振幅信息 A和時間TP的光脈衝，根據光的飛行速度C，可計算得到最遠探測距離dMAX=TP*C/2。反射光信號、背景光以及探測器的噪聲集成在三個不同時間段內。PL-iToF通過雙採樣技術提高精度，同雷射脈衝同步的第一個窗口W0，同雷射信號正交的第二個窗口W1，是累積反射光信號的兩部分，且每個窗口與目標距離成比例；第三個窗口WB在沒有光脈衝發射時開啟，僅收集背景光信號。如果C0,C1,C分別表示在窗口W0,W1,WB的光子數，目標距離D，接收到的有效光強度AR，背景光B可由以下公式得到

Figure STYLEREF 1 \s 3‑2 PL-iToF的基本工作原理

3.1.3    CW-iToF與PL-iToF對比

CW-iToF在工作過程中，不論目標物體的距離是多少，系統都採集了完整時長的反射光。相比之下，PL-iToF在兩個窗口內採集的信號的信噪比與距離直接相關。在有背景噪聲的情況下，如果目標距離的很近，W1窗口的能量幾乎為零，因此，W1信噪比非常差；類似的，在較遠的距離，W0

中的信號很弱，導致W0的信噪比差。這種效應會導致PL-iToF在近和遠距離都有比較大的誤差。

相比CW-iToF連續波調試方式，PL-iToF解算深度更簡單、計算量更低，對於平臺後端處理能力要求也相應更低。然而，PL-iToF 的精度取決於發光次數，發光次數越多，精度越高，但同時也會帶來功耗的增加。即使在相同平均功耗的情況下，PL-iToF不僅精度弱與CW-iToF，而且對於背景噪聲和暗噪聲更加敏感。

因此，現下的主要手機廠商，包括華為、三星、Oppo等，以及ToF晶片廠商，包括索尼，三星，英飛凌等都採用了CW-iToF的方案。

3.2     d-ToF原理

d-ToF即direct ToF，相比於i-ToF技術用測量信號的相位來間接地獲得光的來回飛行時間，d-ToF (direct Time-of-Flight) 技術直接測量光脈衝的發射和接收的時間差。由於雷射安全的限制以及消費類產品的功耗限制，ToF相機發射的脈衝能量有限，但是需要覆蓋完整的視場區域。光脈衝在經過反射回到接收器時，能量密度降低了超過一萬億倍。於此同時，環境光作為噪聲，會干擾接收器對於信號的檢測和還原。在這種情況下，探測器獲取的信噪比不足以直接還原脈衝的模擬信號，進而導致直接測量深度存在很大的誤差。因此，d-ToF方法需要有靈敏度極高的光探測器來檢測微弱的光信號。

單光子雪崩二極體(Single Photon Avalanche Diode, SPAD)具有探測單個光子的靈敏度。SPAD在工作狀態是一個偏置了高逆向電壓的二極體。反向偏壓在器件內部形成了一個強大的電場。當一個光子被SPAD吸收轉化為一個自由電子時，這個自由電子被內部的電場加速，獲得足夠的能量撞擊其他原子時產生自由電子和空穴對。而新產生的載流子繼續被電場加速，撞擊產生更多的載流子。這種幾何放大的雪崩效應使得SPAD具有幾乎無窮大的增益，從而輸出一個大電流脈衝，實現對於單個光子的探測。

FigureSTYLEREF 1 \s 3‑3 SPAD雪崩效應示意圖. (a)雪崩二極體示意圖，光子在吸收區被吸收，轉化為自由電子。自由電子在穿過PN結的過程中被電場加速。在獲得足夠能量時，在放大區產生雪崩效應，使得器件輸出一個大電流脈衝。(b)SPAD的CMOS示意圖。具體的、結構參數取決於器件採用的CMOS工藝。

d-ToF技術採用SPAD來實現高靈敏度的光探測，並且採用時間相關單光子技術方法(Time-Correlated Single-Photon Counting, TCSPC)來實現皮秒級的時間精度。光脈衝的第一個被SPAD捕獲的光子即可出發SPAD，產生電流脈衝信號。系統的時間數字轉換器(Time-to-DigitalConverter, TDC)可以轉換這個電流脈衝相對於發射時間的延時。SPAD捕獲一段脈衝內哪一個瞬間到達的光子具有一定的隨機性，這種隨機性的概率與光脈衝在該瞬間的能量近似成正比。因此，d-ToF相機重複很多次（比如數千次）發射和探測相同的脈衝信號即可獲得每次探測的電流脈衝延時的統計分布。這個統計直方圖即恢復了發射脈衝能量隨著時間的變化，進而得到了脈衝來回的飛行時間。

FigureSTYLEREF 1 \s 3‑4 TCSPC方法. 系統控制雷射器發射出雷射脈衝，通過光學系統投射到目標物體表面。反射回的光脈衝被接受器的光學系統成像到d-ToF傳感器上。光脈衝觸發SPAD，輸出電流脈衝。TDC根據電流脈衝的時間來輸出數位化的脈衝時序。一次成像會重複幾千到幾十萬次的脈衝，從而獲得TDC輸出的統計直方圖，重建光脈衝及獲得飛行時間。 

4 ToF技術挑戰

4.1i-ToF挑戰

在實際應用中，i-ToF技術面臨著諸多的挑戰，真實環境的複雜多變，給深度測量引入了大量的幹擾和噪聲。這也是i-ToF技術提出已經有數十年的時間，但實際應用卻十分有限的主要原因。本章節對i-ToF技術面臨的諸多問題進行簡要的原理定性分析。

4.1.1 飛點噪聲（Flying pixels）

在i-ToF測量的深度圖中，物體邊緣處往往存在大量錯誤的深度測量值，生成3D點雲後,視覺上表現為飛在空中的無效點（如REF _Ref36451624 \h Figure 4‑1所示），稱為飛點噪聲。飛點噪聲使得i-ToF無法有效獲取物體邊緣的3D信息，這也是當下i-ToF能否得到廣泛應用的一大挑戰。

Figure STYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 1典型的i-ToF測量點雲，邊緣處存在飛點噪聲

如REF _Ref36451688 \h Figure 4‑2所示，飛點噪聲產生的主要原因在於：i-ToF傳感器上，每個像素都具有一定的物理尺寸，在測量物體邊緣時，單個像素會同時接收到前景和背景反射回來的光線；二者產生的能量疊加在一起，使得傳感器獲取的原始數據中包含多個距離的信息，使用3.1節原理解算相位計算距離時將得到錯誤的深度測量值。另外，鏡頭散射及像素間串擾，有時也會引起飛點噪聲，甚至造成背景的大範圍變形。

通過邊緣檢測等圖像算法，可以在一定程度上檢測並去除邊緣飛點噪聲，但對散射和串擾引起的變形難以根除，同時，誤檢也會造成大量有效深度測量值的丟失。

FigureSTYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 2飛點噪聲產生原理示意圖：ToF傳感器上的藍色像素僅接收到單一深度信息(前景or 背景)，可以獲取正確的測量值(藍色點)；ToF傳感器上的綠色像素同時接收到前景和背景反射的光線,兩個深度信息疊加在一起無法區分，iToF測量得到錯誤的深度值(橙色點)。

4.1.2 多徑幹擾(Multi-Path Interference,MPI)

真實場景中存在複雜的漫反射甚至鏡面反射，MPI在原理上會使得測量值變大，嚴重影響三維重建的效果。

Figure STYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 3多徑幹擾產生原理示意圖：圖示以測量牆角為例,投射模塊投向左邊的光線(虛線)經兩次反射,與投向右邊的光線(實線)同時被ToF傳感器接收到 。雙重的深度信息導致ToF測量值錯誤.

以REF _Ref36451782 \h Figure 4‑4的場景為例，投向桌面的光線經標準件二次反射後被i-ToF傳感器接收到，MPI效應導致測量到的標準件形狀扭曲；投向標準件的光線經桌面二次反射後被i-ToF傳感器接收到，MPI效應導致桌面測量值的錯誤，桌面近似於一個鏡面，桌面測量值接近於標準件的鏡像。

Figure STYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 4多徑幹擾示意圖：多徑幹擾導致標準件測量點雲形狀扭曲（綠色），以及桌面錯誤地測量成標準件鏡像（紅色）

MPI是困擾i-ToF多年的重要問題，一直是i-ToF廣泛應用的最大障礙。在過去的十年中，微軟，MIT，Waikato大學等諸多研究機構在解決MPI問題上做出了大量算法和系統層面的嘗試，但仍無法根除該問題。

4.1.3 強度誤差(Intensity RelatedError)

在i-ToF傳感器測量到的深度圖上，存在一類特殊的誤差，即同一平面上不同反射率的區域體現出不同的深度，如REF _Ref36451832 \h Figure 4‑5所示。

Figure STYLEREF 1 \s 4‑SEQ Figure \* ARABIC \s 1 5強度誤差示意圖，同一平面上不同反射率區域呈現不同深度，黑色和灰色區域從平面上凸起。

i-ToF的強度誤差與距離、反射率、積分時間等因素都存在關聯，究其產生的原理，就筆者了解所限，誤差的解析尚未完全明確。PMD等研究機構在該問題上做出了一些分析和嘗試，能夠緩解強度誤差，但難以在全場景消除強度誤差的影響。

4.1.4 遠距離-高精度矛盾(Trade-offbetween range and precision)

在i-ToF的兩種類型上，量程和精度都存在典型的矛盾：

CW-iToF：調製頻率決定量程，頻率越低量程越遠；同樣的相位解析精度下，深度測量精度隨頻率降低而降低；

PL-iToF：脈衝寬度決定量程，脈寬越大量程越遠；同樣的相位解析精度下，深度測量精度隨脈寬增加而降低；

同時，i-ToF往往採用泛光投射，傳感器探測到的能量隨距離的平方快速衰減，遠距離測量的信噪比極差，進一步惡化上述矛盾。遠距離和高精度這一對矛盾，在原理上很難調和，通常需要根據實際應用進行權衡，選取最合理的模式配置。

4.1.5 高頻驅動

i-ToF投射端需要特定驅動晶片（driver IC）驅動雷射器發出調製的光信號。一般情況下，為了保證測量精度，CW-iToF採用提高調製頻率的方式，PL-iToF則採用窄脈衝高峰值功率的驅動方式。綜合起來，iToF對於驅動晶片的主要需求是高調製頻率和高峰值功率；同時，驅動晶片的溫度係數與i-ToF測量的溫漂緊密相關，需要儘可能保證線性。這些需求對晶片工藝，尤其是CMOS工藝有著較高的要求。

4.1.6 片上集成

片上集成對於i-ToF晶片的設計提出了較高的要求。一方面，為保證足夠的探測靈敏度和測量動態範圍，i-ToF往往需要有足夠的像素尺寸；另一方面，i-ToF晶片相對於普通圖像傳感器，增加更複雜的時序控制電路和相關採樣電路，整體集成難度更大。

而消費電子行業，尤其是手機等產品，對晶片有著很高的尺寸限制。在上述要求之下，i-ToF晶片很難集成較高的解析度，目前市面上主流的i-ToF傳感器像素一般在QVGA（320x240）上下；近幾年開始，逐步有VGA解析度的i-ToF傳感器進入市場，但其像素尺寸一般不大於7um，且性能上會有一定折扣。

4.2  d-ToF挑戰

d-ToF技術的誤差在正常工作範圍內不隨距離變化，並且受到多徑等因素的幹擾較小。在遠距離、複雜環境的應用有著優勢。然而，d-ToF的技術成熟面臨著一系列的挑戰，需要在晶片設計、系統設計、製造工藝等方面全面突破才能真正兌現d-ToF技術承諾的優勢，並實現在消費場景的普及。本章節將從原理上分析d-ToF技術存在的技術挑戰及優化方向。

4.2.1 暗計數率(Dark Count Rate,DCR)

相比於傳統的攝像頭圖像傳感器(Camera Image Sensor, CIS)，SPAD輸出的是數位化的脈衝，因此受到電子噪聲的影響較小。但是由於在雪崩區域內出現的單個自由電子即可觸發計數，從而導致錯誤的計數，SPAD受到暗噪聲的影響較大。

暗計數率DCR的主要來源包括探測器內由於熱產生的自由電子。由於製造工藝和摻雜工藝，器件內部存在Shockley-Read-Hall(SRH)缺陷，釋放和捕獲載流子。在尺寸為深亞微米(DeepSub-Micron, DSM)的CMOS工藝下，電壓下降要求更高的摻雜濃度以及更小的PN結尺度。這導致更高的缺陷密度以及更強的加速電場，使得暗計數效應更為嚴重。相比於高電壓的定製工藝，DSM的CMOS工藝暗計數率要高几個數量級。因此，DCR主要取決於製造工藝的特性和優化。

此外，在雪崩過程中，存在自由電子被缺陷捕獲的情況。這些被捕獲的電子基於SRH統計速度被重新釋放，製造SPAD的暗計數。這被稱為AP(after-pulsing)現象。這種現象可以通過在SPAD配合的主動猝熄電路(quenching circuit)來設置一個適合的關閉時間(hold-offtime)來解決。在SPAD被觸發輸出脈衝後，保持一段時間不開啟接收新的光子觸發，讓這些被捕獲的電子有足夠時間重新釋放而不會重新引起雪崩。這個關閉時間通常需要幾十到幾百納秒。這段時間被稱為SPAD兩次探測狀態之間的空滯時間(deadtime)。空滯時間成為了單位時間內重複測量的脈衝次數的限制。

通常更大尺寸的工藝有更低的DCR，這與CMOS集成的要求是相悖的。特別對於SPAD陣列，每個像素的SPAD都要配合一個獨立的淬火電路，大尺寸的CMOS工藝會導致淬火電路佔據像素可觀的面積，並且產生更高的功耗。而手機等產品有著很高的尺寸限制，VGA像素的ToF相機的像素尺寸不大於7um。因此，3D集成工藝是SPAD陣列優化暗計數率和感光率的必然要求。即，用大尺寸的製造工藝製作SPAD的感光部分，用更小尺寸的製造工藝製作高集成度的輔助電路，然後將不同工藝的模塊3D堆疊。這對SPAD陣列的製造提出了更高的要求。

4.2.2 光子探測效率(PhotonDetection Efficiency, PDE)

光子探測效率是另一個重要的技術挑戰。光探測效率是感光面積的佔比FF(Filling factor)與吸收率以及雪崩觸發率的乘積。

對於尺寸受限的SPAD陣列，每個像素的面積尺寸非常有限。這些有限的面積也無法完全用來感光。首先，每個像素之間需要設置保護區域，用於防止像素間的串擾。此外，淬火電路也將佔據可觀的面積。另外，對於FSI(Front Side Illumination)工藝，用於吸收光子的厚度非常有限，限制了光子的吸收率。

因此，採用3D集成和BSI工藝將大幅提升PDE。BSI工藝用晶圓的背面接受照射作為光吸收層，吸收厚度得到了數量級的提升。此外，每個像素的輔助電路和光吸收不再共享同一個表面積，因而大幅提升了。

提升PN結偏置電壓可以幫助提升PDE，但是高電壓會帶來更高的功耗和發熱以及更高的DCR。針對於具體的應用場景，偏置電壓可以作為權衡優化具體某個指標的槓桿。

4.2.3 串擾(Cross talk)

採用CMOS工藝的SPAD陣列有共享的電極，幫助提升集成度。但是，一個像素的自由電子被加速後，有可能滲透到相鄰的像素，進而出發相鄰像素觸發計數，造成圖像的模糊。傳統的CIS也有串擾效應，但是每個像素的自由電子沒有被強電場加速，所以滲透到其他像素的情況要遠少於SPAD。

在CMOS設計中，護環(guard ring)被用於防止不同像素的自由電子的串擾。護環有多種設計方法，包括採用STI(Shallow Trench Isolation)和buriedn-well等。這些護環的方法和工藝在集成電路設計中都很成熟。但是，由於護環本身佔據面積，並且其摻雜會帶來附近區域更高的缺陷，因此會影響SPAD的DCR和PDE。

4.2.4 時間精度

d-ToF要求亞釐米級或釐米級的測量精度，考慮到光速為每秒30萬公裡，對應的時間精度要求為皮秒級。時間測量誤差主要來源於系統的時序抖動(timing jitter)。雷射發射器、系統電路等部分的jitter有很多優化的辦法。SPAD中自由電子被加速和滲透的過程是一個隨機過程，滲透時間必然存在jitter，是d-ToF系統的時間精度的極限。常見的jitter在100ps左右，對應於1cm左右的誤差。更薄的吸收層和有源層可以減小jitter，但如之前PDE的分析所述，降低吸收層厚度會降低PDE。

4.2.5     SPAD陣列3D集成

為了有足夠的重複次數來獲得時序的統計，一幀深度圖需要有幾千到幾十萬次的統計數據來實現。SPAD陣列的每個像素都在以1MHz左右的速度重複測量脈衝，而每次觸發，TDC都會產生一個時間的數字輸出。以100X100像素的SPAD陣列為例，數據量就達到了幾十Gbps。而VGA像素的SPAD陣列則將產生1Tbps以上的數據流。在晶片以外去處理這樣的數據量是不現實的，要求有25條以上的40Gbps的PCIE通道和幾瓦甚至10瓦以上的功耗。所以，提高d-ToF的像素就需要在d-ToF晶片上集成存儲和數字處理的能力。晶片需要能夠存儲每一幀測量過程中的每個像素和每個脈衝對應的TDC的數據，在一幀測量完成後，進行數據處理，計算出每個像素的時序統計，然後輸出其來回的飛行時間。

片上集成對於d-ToF晶片的設計提出了非常高的要求。在一個晶片上需要堆疊用於光探測的SPAD、淬火電路，TDC、存儲單元以及運算單元。這要求設計團隊同時具有SPAD器件的設計能力和SoC的設計能力。此外，消費類的應用要求晶片的功耗控制在幾百毫瓦以內，否則功耗和散熱都將成為應用的瓶頸。在這些複雜度之上，需要有足夠好的良率，以保證個位數美元的晶片單價。

5  ToF發展方向

當前ToF行業現狀，d-ToF技術在雷射功耗、抗幹擾、遠距離精度等方面有明顯優勢，但在工藝和產業鏈均離成熟尚遠，仍需較長時間打磨；i-ToF晶片在工藝和產業鏈雖已趨於成熟，但達到的效果卻不盡完美，從而導致其應用受阻。

隨著2020年發布的iPad Pro等高端消費電子領域的持續關注，d-ToF技術將進入快速迭代發展階段，技術發展方向可能會集中在：SPAD工藝升級（包括DCR、PDE、jitter等），片上集成度提升（包括片上直方圖/深度圖算法，I/O，Memory等），TRX系統協同設計等方面；隨著工藝和產業鏈的成熟，d-ToF的技術優勢也會逐步釋放，佔據一定市場空間。

與此同時，i-ToF仍有很大潛力可以持續挖掘，不論是在算法端，亦或是系統端和應用端均有望通過軟硬體的協同設計，彌補原理上的非理想效應。以光鑑科技的mToF (modulatedToF) 方案為例，通過在系統端結合軟硬體，引入調製光場的概念，通過空域、頻域、時域上的巧妙設計，創新硬體協同前沿算法，在物理上提升i-ToF抗幹擾、抗噪聲能力，解決i-ToF在實際應用場景中面臨的關鍵痛點，一定程度上可以媲美d-ToF的性能。

綜上所述，我們認為：在d-ToF產業鏈成熟之前，i-ToF還有很大的潛力可以挖掘，有望先一步搶佔3D行業市場份額；而隨著工藝和產業鏈的成熟，d-ToF將逐步從高端消費電子往下滲透，在較長的時間周期中，與i-ToF平分秋色，各自佔據重要的市場份額。在d-ToF方案成熟之後，i-ToF在像素、成本等方面有著優勢，而d-ToF在功耗、距離以及抗幹擾方面有著優勢。而不論基於何種技術路線，ToF系統的成像晶片只能解決如何探測和處理返回的光信號；而作為一個3D成像系統，光學系統的設計、投射光的調製和控制、圖像數據的算法處理等因素也將決定了一種技術方案是否能夠充分發揮出其原理的優勢，實現真正適合應用需求的方案。

6 ToF技術應用

ToF 的精度取決於其脈衝持續時間，相比雙目視覺、結構光方案，ToF 精度不會隨著距離增長而顯著降低， d-ToF 是遠距離應用的關鍵技術。

隨著2020年蘋果iPad Pro 的發布，採用了雷射雷達掃描儀ToF 傳感器 ，勢必會帶動ToF 在消費類電子應用的進一步爆發。目前消費電子中ToF 應用以手機為主，華為、三星已在前後攝都搭載ToF 攝像頭，今年蘋果機型有望也開始搭載ToF技術。

3D ToF技術在其他領域應用也開始逐步滲透，目前還是主要依賴頭部終端廠商的推動,主要的應用領域包括以下場景：

消費電子

Figure 6-1 ToF在消費類電子領域應用:（a）ToF體積小，在對於精度要求不高的場景下可以用於簡單的人臉活體識別（b）3D 感應人體關鍵部位，體感互動遊戲(c) 追蹤手部位置和姿勢，進行手勢控制(d)構建三維信息，虛擬與真實環境進行交互

機器人

Figure 6-2 ToF在機器人領域應用（a）ToF 低速雷射雷達可精確識別障礙物，進行自動避障（b）測量得到周圍環境深度信息，定位自身位置構建地圖(c) 應用於服務型機器人，智能導航(d) 無人機得到ToF穩定、精準的距離信息定高懸停

安防監控&軌道交通

Figure 6-3 ToF在安防監控&軌道交通領域應用:（a）ToF 獲得人體深度數據，結合人數統計算法，相比傳統監控可實時統計、跟蹤人員數量(b) 通過智能方向識別忽略交錯人流(c)智能停車，廣覆蓋精準識別車位車輛信息(d) 實時監控路口車輛。增加監控環境三維信息

無人駕駛&工業自動化

Figure 6-4 ToF在無人駕駛&工業自動化領域應用:（a）隨著面陣dToF 工藝的成熟，未來純固態雷射雷達將與其他雷達相融合用於無人駕駛中（b）車廂監控，監測駕駛員疲勞狀態，監控車內人員情況(c) 倉儲分揀，智能識別貨物信息(d)物流包裹體積測量，可快速識別包裹長寬高

7  總結

本文介紹了ToF深度相機的基本工作原理和不同技術路徑的優勢和挑戰。我們還比較了ToF與雙目和結構光技術方案的優劣勢。ToF技術的成熟將帶來其在消費電子、機器人、工業自動化、物流等領域的大量應用和突破。

如果有關於光鑑科技的3D視覺產品的問題，請聯繫[e-mail]。

8  參考文獻

ADDIN EN.REFLIST [1]      P. Zanuttigh, G. Marin, C.Dal Mutto, F. Dominio, L. Minto, and G. M. Cortelazzo, Time-of-Flight and Structured Light Depth Cameras. Springer, 2016.

[2]        H. Sarbolandi, D. Lefloch, and A. Kolb, "Kinect rangesensing: Structured-light versus Time-of-Flight Kinect," Computer Vision and Image Understanding, vol.139, pp. 1-20, 2015, doi: 10.1016/j.cviu.2015.05.006.

[3]        D. S. Fabio Remondino, ToFRange-Imaging Cameras. Springer, 2013.

[4]        H. Sarbolandi, M. Plack, and A. Kolb, "Pulse BasedTime-of-Flight Range Sensing," Sensors(Basel), vol. 18, no. 6, May 23 2018, doi: 10.3390/s18061679.

[5]        D. Bronzi, Y. Zou, F. Villa, S. Tisa, A. Tosi, and F. Zappa,"Automotive Three-Dimensional Vision Through a Single-Photon Counting SPADCamera," IEEE Transactions onIntelligent Transportation Systems, vol. 17, no. 3, pp. 782-795, 2016, doi:10.1109/TITS.2015.2482601.

[6]        D. P. Palubiak and M. J. Deen, "CMOS SPADs: DesignIssues and Research Challenges for Detectors, Circuits, and Arrays," IEEE Journal of Selected Topics in QuantumElectronics, vol. 20, no. 6, pp. 409-426, 2014, doi:10.1109/jstqe.2014.2344034.

[7]       B. F. Aull, E. K. Duerr, J. P. Frechette, K. A. McIntosh, D.R. Schuette, and R. D. Younger, "Large-Format Geiger-Mode AvalanchePhotodiode Arrays and Readout Circuits," IEEE Journal of Selected Topics in Quantum Electronics, vol. 24,no. 2, pp. 1-10, 2018, doi: 10.1109/jstqe.2017.2736440.

[8]        J. S. Massa, G. S. Buller, A. C. Walker, S. Cova, M.Umasuthan, and A. M. Wallace, "Time-of-Flight Optical Ranging System Basedon Time-Correlated Single-Photon Counting," Appl. Opt., vol. 37, no. 31, pp. 7298-304, Nov 1 1998, doi:10.1364/ao.37.007298.

[9]        P. Padmanabhan, C. Zhang, and E. Charbon, "Modeling andAnalysis of a Direct Time-of-Flight Sensor Architecture for LiDARApplications," Sensors (Basel), vol.19, no. 24, Dec 11 2019, doi: 10.3390/s19245464.

[10]      Y. He and S. Chen, "Recent Advancesin 3D Data Acquisition and Processing by Time-of-Flight Camera," IEEE Access, vol. 7, pp. 12495-12510,2019.

[11]      A. Sabov and J. Krüger,"Identification and correction of flying pixels in range cameradata," in Proceedings of the 24thSpring Conference on Computer Graphics, 2008, pp. 135-142.

[12]      M. Reynolds, J. Doboš, L. Peel, T.Weyrich, and G. J. Brostow, "Capturing time-of-flight data withconfidence," in CVPR 2011, 2011:IEEE, pp. 945-952.

[13]      R. Whyte, L. Streeter, M. J. Cree, and A.A. Dorrington, "Review of methods for resolving multi-path interference intime-of-flight range cameras," in SENSORS,2014 IEEE, 2014: IEEE, pp. 629-632.

[14]      M. Lindner, I. Schiller, A. Kolb, and R.Koch, "Time-of-flight sensor calibration for accurate range sensing,"Computer Vision and Image Understanding, vol.114, no. 12, pp. 1318-1328, 2010.

[15]      S. Cova, M. Ghioni, A. Lacaita, C. Samori,and F. Zappa, "Avalanche photodiodes and quenching circuits forsingle-photon detection," Appl.Opt., vol. 35, no. 12, pp. 1956-1976, 1996.

[16]      T. Al Abbas, N. Dutton, O. Almer, S.Pellegrini, Y. Henrion, and R. Henderson, "Backside illuminated SPAD imagesensor with 7.83 μm pitch in 3D-stacked CMOS technology," in 2016 IEEE International Electron DevicesMeeting (IEDM), 2016: IEEE, pp. 8.1. 1-8.1. 4.

[17]      H. Xu, L. Pancheri, G. D. Betta, and D.Stoppa, "Design and characterization of a p+/n-well SPAD array in 150nmCMOS process," Opt Express, vol.25, no. 11, pp. 12765-12778, May 29 2017, doi: 10.1364/OE.25.012765.