近兩年的趨勢預測中，似有許多媒體資料和分析機構提到了ToF（Time of Flight）技術的即將爆發，但卻似乎又後勁乏力的消息。比如有人認為掣肘ToF發展的主因是應用場景受限，所以ToF迄今似乎都沒有什麼驚人的市場爆發現象。
在本文中，我們不想刻意琢磨統計機構的數據，而是嘗試從ToF技術本身的原理，及其在手機市場的應用出發，來探討這些年有關ToF技術的傳言是否可靠，尤其是在今年新版蘋果iPad Pro面世以後，後置新增的那個LiDAR模塊是否有機會帶動ToF技術發展；且包括華為手機在內的不少智慧型手機已經連續數年將ToF模組應用於前攝。
本周四（5月21號）本文作者將會對其撰寫的《消費電子ToF技術與市場分析報告》進行一次線上解說，同時也專門邀請到了英飛凌的技術專家。屆時技術專家將對ToF技術的部分細節做更為清晰明了的講解，並與技術愛好者、市場參與者，以及所有關注ToF技術的人們，做一次深入交流和探討。
2015年ToF在手機上的發展如果用簡單的話來解釋ToF，無非就是飛行時間（Time of Flight）。從我們翻閱的資料來看，ToF並不限於光學領域，利用微波、超聲波的「飛行時間」來計算對象距離的，都可以認為是ToF技術的應用。那麼實際上普通的微波雷達也可說是應用了ToF技術的典型設備。如此，ToF涵蓋的技術領域也就變得非常廣，而且ToF存在的歷史又可以往前推幾十年。
若將ToF限制在光學測距範疇，則ToF也就特指「光的飛行時間」，這也是目前我們對於ToF的狹義理解方式，或者特指「ToF攝像頭」。相對簡單的解釋是：若要測得ToF模組與場景中某個對象（或某個點）的距離，則由ToF模組的光源向該對象發出光（子）。光在發出後抵達該對象，並反射回來，由ToF模組的傳感器獲得。計量此間「光的飛行時間」，在光速已知的前提下，即可得到距離數據，如圖1所示。
圖1
這是個十分簡化的模型，但也基本闡述了ToF技術的核心。而且它也至少透露了ToF模組在硬體實現上，至少需要包括發射端和接收端，當然另外還需要處理信號的晶片、算法與軟體。
近兩年ToF話題火熱的主因，似乎是3D感知、3D視覺應用的崛起。典型的如iPad Pro所用的後置LiDAR雷射雷達。這在我們探討的ToF範疇內，如果不考慮汽車LiDAR這種能量級別，則iPad Pro的ToF應用已經相對高級和複雜，看起來和消費用戶的距離似乎也稍遠。在談這種技術之前，不妨先看看更早以及更貼近生活的ToF應用。
手機對於「測距」的典型需求是前面板的距離感應：這是多年前功能機時代就存在的特性，即通過距離感應，在接打電話時，耳朵貼近屏幕就讓屏幕自動熄屏。早年的距離感應只通過簡單的一個光電二極體實現，這種簡單的方案在某些場景下會失效，因為它是通過測定外部亮度級變化實現所謂的「距離感應」的。
從2015年前後，主動光學測距開始應用到手機上：這種測距系統結合了一枚LED，與光傳感器。LED會主動發光，如果傳感器獲取到的反射光強度超過預設的閾值，手機就熄屏。這幾乎可以認為是ToF的雛形了，iPhone 6s時代已經在採用這種技術。從TechInsights的拆解分析來看，iPhone 7真正落實了ToF傳感器：即不再依賴於反射光強度級變化，而開始計量來自雷射二極體的光子飛行時間。
更早將ToF模組應用於前面板的手機，可追溯至2014年的LG G3、黑莓Passport等。TechInsights的顯微拆解顯示，當時這些手機普遍開始應用意法半導體的早期VL6180方案。從分析來看，這是一個三合一的光學模組，其中包含了距離傳感器、環境光傳感器，以及VCSEL光源（垂直腔面發射雷射器）。
圖2，來源：TechInsights
尤為值得一提的是，其中的距離傳感器實質是SPAD（單光子雪崩二極體）構成的——有關SPAD後文還會更具體地提及。至少，這顆模組裡就已經有了完整的ToF發射端和接收端。2016年意法半導體發布VL53L0，其中去除了環境光傳感器，SPAD陣列也發生了變化。雖然從現有拆解資料並不能確定，不過iPhone 7的前置光學模組實際上和VL53L0非常相似，只是更緊湊（圖2）。
在此，這顆ToF模組實際扮演的角色可能至少包括了距離感應，以及應用於前置攝像頭的精準測距（對焦）。當時意法半導體在宣傳資料中也有特別提及「第二代雷射測距傳感器」VL53L0X，是「世界上最小的飛行時間測距傳感器」。意法半導體的ToF方案選擇的皆為SPAD技術，如最新VL53L1、V53L3以及VL53L5相較更早的產品提供相對更遠的測距能力和更具彈性的軟體配置。目前的很多手機和消費電子產品，多見意法半導體的雷射對焦方案。
意法半導體大中華區及南亞區影像事業部技術市場經理張程怡表示：「過去5、6年時間，意法半導體的ToF傳感器出貨量超過了10億，應用到了超過150款手機攝像頭中；另外當然還有消費級、工業級應用，如平板、投影儀、機器人、閘機等。」
到此便不難發現，ToF在電子科技領域，乃至窄化到行動裝置方向的應用，就不僅是這兩年才出現的。如手機的距離感應，攝像頭雷射對焦這些前兩年的熱點，實則都是ToF的典型應用。我們認為，ToF技術這兩年又熱起來，大致與消費市場的再炒作有關；所謂的「應用場景受限」「後勁乏力」從以上探討看來，也屬於絕對的偽命題，因為這片市場本來就非常繁榮。「從整個市場的角度來看，它和生活很接近，對於ToF效果的爭議，幾年前也早就結束了，現在大家都很認可。」張程怡說。
在這種ToF光學測距的「單點」之外，這兩年ToF的火熱更來自於當這些「單點」形成多點，甚至到「面」和深度圖（depth map）的時候，它在3D感知，以及對計算攝影的輔助。華為P/Mate系列手機、蘋果iPad Pro平板即是其後的典型應用。這可能才是更多人關注的話題。
由點到面的ToF在談今年行動裝置ToF發展前，有必要將ToF技術在光學測距技術中的存在位置做個梳理。這裡我們主體上採用2001年 Optical Engineering（《光學工程》）一書中的分類方法，如下圖所示。
圖3，光學測距技術的分類，來源：T. Bosch, Laser ranging: a critical review of usual techniques for distance measurement, Optical Engineering
光學測距的方法整體上分成主動和被動兩種。其中被動（Passive）包括了立體視覺（Stereoscopy，比如人們常說的「雙攝測距」）、聚焦合成（Depth-from-Focus，典型的類似技術比如光場相機）；而ToF被歸類到主動光學測距技術中——主動技術還包括了三角測量（Triangulation，典型的如iPhone中Face ID的結構光）、幹涉量度分析法（interferometry）。
值得一提的是，這個分類方法或許仍然不夠全面。比如在不同切分維度中，三角測量這種方法本身就可以分成主動和被動兩種，雙攝測距的立體視覺就屬於被動三角測距方案。再比如說在被動光學測距技術分類上，在深度方面做文章的不僅有depth from focus，還有depth from motion、depth from shape等。由於篇幅限制，我們無法展開探討各種技術的優劣。這部分內容將在我們未來發布的ToF行業與技術報告中更具體地闡述。
由於ToF技術這兩年異常受關注，ToF測距大方向分成dToF（直接ToF）與iToF（間接ToF）兩類也逐漸被更多的人所知。前文提到的ToF簡化版原理，以及意法半導體的這類方案實際上說的就是dToF，即發射端發射一個雷射脈衝，在碰到場景中的對象後反射，回到接收端的傳感器——或者說光電探測器。此間就有個「計時器」電路用於測量時間。從原理上來說，dToF是一種十分直接的技術。不過由於這種技術對於光電探測器、光源和時間檢測相關電路有著很高的技術要求，所以其實現相對比較晚。
也因此dToF所用的傳感器常見APD（雪崩光電二極體）——這種二極體有著較高的增益和量子效率，採用APD比較典型的ToF圖像傳感器廠商有松下。傳統的圖像傳感器，在單光子進入到像素中以後一般僅轉為單電子，在光信號比較弱的時候，就有感光能力的問題。簡單地說，APD傳感器是實現電子倍增。
就脈衝調製光的方案來看，可採用較低工作周期的照明，主動照明光可以短脈衝寬度以及高峰值輸出功率，同時兼顧人眼安全。由於峰值功率較高、SBNR（signal-to-background-noise ratio）也就極大提升，探測距離也就可以比較遠；而且APD可以避免多徑幹擾之類的問題。不過APD像素尺寸一般也非常大，要實施像素大陣列，或者說高像素也就很有挑戰。很多選擇APD像素的ToF裝置也因此需要有包含機械動作的掃描。這就不屬於我們要探討的行動裝置或者手機範疇了。
圖4，SPAD橫截面，來源：Wikipedia
dToF方案裡另一個比較有代表性的傳感器技術是前文就提到的SPAD（單光子雪崩二極體），它和APD的差別在於：它比APD更敏感，一個光生載流子就能觸發大量雪崩電流；另外APD的dToF方案裡，TDC（time-to-digital converter）的觸發信號是由一個互阻抗放大器（TIA）產生的，而SPAD一般能夠直接產生數字觸發信號，也就是所謂的像素內TDC（in-pixel TDC）。SPAD相比APD得以實現小像素尺寸，而且與CMOS全兼容，SPAD像素陣列晶片級高度集成也就可行了。除了更低的時間抖動，單光子檢測屬性讓脈衝寬度很短，輸出功率也就可以比較高，SBNR自然可以更高。
圖5
在我們常說的LiDAR固態方案裡，實施SPAD光電探測器，主動光源通過diffuser器件實現光線的漫射，而不需要真正的機械掃描動作，dToF就能實現並行的每個像素測量，以實現3D感知，從過去ToF僅用於單點測距，到如今3D視覺、建模這樣的應用（圖5）。當然APD技術實際上也在發展中，比如松下今年才發布了一種名為VAPD（垂直堆棧APD）的技術，以實現像素的小型化，能夠實現遠距離、高測距精度和更高的像素。
只不過由於SPAD傳感器包括淬火電路在內的各種電路仍然比較複雜，如TDC需要佔到很大的片上尺寸，像素也不可能做到像傳統攝像頭CIS圖像傳感器那麼小——這些都是限制如今dToF傳感器尺寸的原因。
圖6，來源：TechInsights
從TechInsights近期公布的消息來看，iPad Pro 2020應用的LiDAR傳感器可能來自索尼（但索尼已公開的DepthSense 3D Sensor似乎只有iToF方案），尺寸是18.0mm²，單像素大小10μm，解析度具體為3萬像素（圖6）。雖然我們無法明確這顆傳感器具體所用的是何種像素工藝及結構，但考慮到iPad成像模組的大小，這個像素數量在dToF類別中應該已經相當高了。iFixit公布的拆解視頻中，也提到其LiDAR紅外照明點的密度也遠低於前置結構光的Face ID——這當然也是必然的。
從iPhone 7到iPad Pro 2020的發展，實則就是ToF從測距到3D感知的發展史，僅在短短的這些年間。
當然不止是蘋果，LG、黑莓、華為等一眾手機廠商實際也早就開始應用ToF方案了。華為Mate 20 Pro手機在距離感應方案上就應用了來自ams的ToF模組。從System Plus Consulting的拆解來看，這款手機的前置成像模組中包含了一個來自ams的128像素SPAD光電探測器，像素尺寸15μm；當然還有VCSEL光源。
比較有趣的是Mate 20 Pro的前置光學模組中的3D感知系統實際並不僅有ToF。主要用於面部識別的應該是個典型的結構光模組，其中的VCSEL雷射光源都有兩個，分別用於點陣投射器（DOT projector）和泛光照明器（flood illuminator），而且來自不同的供應商。當然這是題外話了。
3D感知正在普及的iToF到了華為P30 Pro，後攝方案中也開始應用ToF技術，整體方案來自索尼。這應該是個iToF方案，圖像傳感器相對常規，像素尺寸10μm，4.7萬像素；用於泛光照明的VCSEL光源來自Lumentum。
像iPad Pro那樣在小尺寸行動裝置上選擇dToF做較大範圍的3D檢測，現在看來似乎仍是個比較奢侈的方案。因為如前文所述，dToF原理雖然直接，而且更為精確，但它對各組件的時間抖動要求是比較高的，且要求更大的輸出功率。相對的iToF精度更低，卻更容易實現高幀率，對各部分組件的技術要求也會相對低一些。
圖7，iToF方案中的cwToF連續波方法，來源：ADI
回顧圖3光學測距技術的分類，我們認為這個分類方法在針對iToF的分類上可能也是不夠全面的。參照ADI和英飛凌的官方資料都將iToF分類為pToF（基於脈衝的ToF）和cwToF（連續波ToF，圖7）。或許cwToF還可以進一步細分，即調頻連續波和調幅連續波。cwToF是由光源發出周期性調製信號，接收端檢測反射光的相位偏移；而pToF則是由光源發出一系列的短脈衝，接收端的傳感器會有個電子快門——電子快門在一系列短時間窗口中捕獲反射光。這兩者也各有自身的優勢和缺點。比如ADI就在自家pToF方法中，選擇配備CCD傳感器，而非CMOS，這對於實現小像素、更高解析度，和全局曝光實現快速移動目標檢測都有優勢。
需要注意的是，本文探討ToF模組時，更偏向於探討接收端的傳感器部分，VCSEL屬於發射端。如前文所述，dToF對於發射端和接收端都提出了很高的要求。ams業務發展總監徐冰博士也確認道：「ToF的發射和接收技術要求都很高，特別是用於dToF的應用。」ams高級市場經理蔡鄭志強也告訴我們，VCSEL發射器在整個系統設計中尤其關鍵，均勻性、發散角、溫飄等因素都很重要；而且由於小型化需求，更對散熱等問題提出了更高的技術要求。
且整個ToF模組也不僅限於這兩個部分，另外還至少包含接收端鏡頭、發射端diffuser在內的光學組件，以及可能包括像ADI這樣獨立於傳感器之外的模擬前端晶片，用於數位化和輸出深度數據（如圖8），便於快速獲取整體圖像深度信息。
圖8，pToF方法中，位於CCD傳感器之後的ADI前端處理晶片，來源：ADI
當然我們沒有必要仔細去研究某個產品具體應用了何種方法，這裡我們看一個相對有代表性的iToF方案：LG G8 ThinQ手機。這款手機的ToF攝像頭採用的是英飛凌/pmd的REAL3圖像傳感器。整體解決方案由英飛凌/pmd設計，模組主要包括了REAL3圖像傳感器（近紅外傳感器）以及一個泛光照明器——即VCSEL die來自ams。
System Plus Consulting的拆解報告顯示，這顆傳感器的解析度為224x172（約3.9萬像素）；相較2016年應用於聯想Phab2Pro的同解析度傳感器，尺寸縮減了40%——這大概也能說明行動裝置上ToF攝像頭模塊正在變小，像素正在變小的趨勢；另外，VCSEL雷射die部分實則也有12%的體積縮減（圖9）。
圖9，LG G8 ThinQ的ToF攝像頭模組中的VCSEL die，來源：System Plus Consulting
與前些年手機將ToF應用於距離感應、雷射對焦一樣，如今實現3D感知的ToF的確越來越成為手機的標配。到這裡，即便不觀察市場規模的增長數據，我們也基本可以確認，ToF從來不存在所謂的「應用場景受限」或者前景未知的困惑，手機的ToF市場一直都發展得不錯。
拋開測距不談，3D ToF在手機上的應用至少包括了面部識別（即便或許精度不及結構光）、掌紋識別、隔空手勢識別，以及配合計算機成像用於判斷場景深度，並配合做到模擬淺景深——也就是模擬單反那樣的背景虛化，其準確性會遠高於雙攝這樣的立體視覺方案。
另外，在行動裝置上搭載ToF攝像頭，還可進一步促成AR現實增強技術的發展，這也是市場對iPad Pro搭載LiDAR的一個預判。iOS生態的AR開發無需多言，Android平臺的ARCore實際上是值得一談的。這兩年一直有傳言說，谷歌很快就要為ARCore引入ToF的原生支持。這則消息到去年Google I/O似乎還未有成型，不過在去年12月更新的ARCore API版本中，谷歌的新聞稿提及，「有專門攝像頭即ToF傳感器的設備，將能夠獲得更好、更精準的體驗。」
手機之外的更多應用受限於篇幅，我們只能以梗概的方式談手機ToF的應用，有關ToF系統的技術點仍有很多問題未曾涉及。比如在不同的應用場景中採用ToF技術有各自的挑戰，如對手機而言，空間限制是個重要因素。英飛凌電源與傳感系統事業部大中華區射頻及傳感器部門總監麥正奇告訴我們：「在像素尺寸縮小，解析度提高的情況下，如何保證低功耗的要求，是英飛凌和技術開發合作夥伴pmd technologies攜手，在相關不同的設計層級，對REAL3 ToF產品進行優化的方向。」
圖10，來源：英飛凌
以及我們採訪的數家ToF企業均提及ToF模組紅外傳感器技術難點中的背光幹擾抑制，SPAD在這方面理論上本身應該是有天然優勢的。對於iToF來說，戶外場景下ToF攝像頭面對十分明亮的背景光，對畫面主體的距離測量會產生不良影響（過曝無法提供深度信息）。
比如英飛凌在傳感器中「採用專有SBI（背景幹擾抑制）電路，這是一種像素內電路技術，旨在克服各種光照條件帶來的影響。」麥正奇說。SBI背光抑制專利似乎一直都是英飛凌對外的宣傳重點，實現據說提升「近20倍的動態範圍」（圖10）。ADI系統應用工程經理李佳也表示，ADI的ToF技術方案「可支持940nm光源，並且每個像素都有獨特的背景照明抑制電路。」
對於ToF，在手機市場之外，我們也有必要探討其發展前景。徐冰博士說：「市場是需要時間去接收和驗證的，ams對於自身的3D技術有著充分的信心。」「ams的ToF相關產品主要應用方向是手機市場、車載市場，安全和支付領域。」
麥正奇則表示：「儘管智慧型手機絕對是ToF傳感器非常吸引人的一個應用，但其實ToF技術已經在遊戲機、智能汽車、智能家居、工業領域和虛擬實境眼鏡中得到了應用，還有很多潛在的應用。」
意法半導體的態度也很明確，張程怡說：「過去5年，到今天以及未來，我們還是相當側重在消費電子市場，除了像是智慧型手機的自動對焦，從應用來分還有已經發展起來且在持續發展的投影儀的自動對焦。」「第二是使用者的檢驗：今年的情況很特殊，我們也發現在檢測體溫、閘機管制這些場景應用中，ToF也有很大的需求；還有像是智能家居面板，商用電腦、兒童教育面板等。」「第三部分，我們還側重在障礙物檢測，像是家用掃地機器人、酒店展館的服務機器人等；工廠裡的機器人避障也需要使用。」
ADI在針對非消費市場中，「我們認為下面這些領域ToF可以快速導入：智能建築領域、用於人臉識別的身份安全驗證、汽車倒車影像應用、確保工業自動化操作的安全性、AGV（自動導航車輛）等自動駕駛車輛。」李佳表示。顯然，無論是測距還是3D感知，ToF技術的發展都是相當有序的，無論是行動裝置，還是其他領域。
責編：Amy Guan
本文為《電子工程專輯》2020年5月刊雜誌文章，版權所有，禁止轉載。點擊申請免費雜誌訂閱