【集微開講】光鑑科技汪博:不止於ToF 再造新視界的3D感知技術

集微網消息 蘋果和華為在手機上相繼搭載了ToF模組，促使3D視覺市場不斷升溫。3D視覺技術究竟有怎樣的背景？如果要開發，究竟應採取怎樣的技術路徑？這一系列問題，都成為行業中人關注的焦點。

為了答疑解惑，5月7日，集微網邀請光鑑科技CTO汪博做客第六期「集微直播間·開講」，帶來了以《3D視覺感知的技術原理與前沿挑戰》為主題的精彩演講，收穫了業界的極高關注。截至5月7日午間12:00，已有超10000人次通過愛集微APP直播平臺、b站、西瓜、百度等直播平臺觀看了直播節目。

點這裡觀看回放

3D視覺技術被稱作下一場機器視覺革命，它代表了從黑白到彩色，從模擬到數字，從靜態圖像到動態視頻以來的第四次視覺革命：從2D到3D。

用3D技術拍攝到的照片，包括了物體的結構、尺寸和距離，體現了物體在現實空間的唯一性。「大家可以想像一下，用一個深度相機拍攝一個物體，不但能拍到每個像素的顏色，還能拍到像素的位置，最後就形成一個3D圖像。」汪博形象地解釋了3D感知的概念。

據他介紹，3D視覺技術還處在早期發展階段，之前的使用場景主要集中在實驗室和工業應用中，自動駕駛雖也是重要應用場景，但目前還沒有完全落地和普及。真正讓該技術火起來的是2017年蘋果在iPhone中使用了3D結構光攝像頭。而隨著具有3D感知能力的硬體設備逐漸普及，加之蘋果也開放了很多3D數據獲取的接口，3D人臉重建與識別、3D虛擬世界重建、機器人與工業自動化、3D物體識別和體感遊戲與動作交互等應用都獲得飛速的發展。

精彩背後必有強大的技術。常見的3D感知技術分3種：雙目視覺、結構光和ToF，汪博對其逐一進行了講解。

雙目視覺技術是基於視差原理，並利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差來獲取物體空間信息。

結構光技術是通過探測投射在被測物體表面特定結構光學圖案的變化來測算距離。與雙目視覺相同的是，其也使用三角測量法，不同的是增加了主動投射。

ToF（飛行時間）成像技術通過雷射器主動發射調製過後的光脈衝信號至目標面上，利用傳感器接收反射光，利用反射回雷射的相位差或時間差進行運算得到距離數據。

對於雙目視覺，汪博指出其兩大挑戰：如何尋找特徵和如何匹配特徵。

雙目視覺在成像時要對兩幅圖像進行對比計算，具體到對每個像素點或像素塊都要進行比對，這就造成了異常龐大的計算量，需要ASIC或DSP來支持。另外，被攝物體本身特徵不明顯（如白牆），就很難進行圖像重建。

結構光則可以解決白牆的問題。因為其在攝像頭中集成了雷射發生器，發射出特定散斑結構光，投射到白牆時散斑圖案並未發生顯著形變，可以計算出對面是白牆。

結構光投射的編碼是已知的編碼，在散斑投射時就提供了匹配加速的機會。不過，結構光技術也存在挑戰，就是需要雷射投射裝置高效地生成幾萬個散斑。汪博表示，光鑑科技使用了WFP波前調製技術，對入射的雷射進行調製，在遠場目標上形成任意光場排布，同時可以大幅提升深度重建速度，毋需ASIC或DSP。

ToF成像技術已經廣為人知了，但很多人並不知道該技術還有幾個不同的類別。「實際上，ToF技術可分為iToF (indirect)和dToF (direct)兩大類。而iToF又分為CW-iToF和PL-iToF。」汪博解釋道。

CW-iToF通常採用正弦波調製方式。接收和發射端正弦波的相位偏移和物體距離攝像頭的距離成正比, 通過相位偏移來測量距離。

PL-iToF通過發射和接收脈衝信號，根據接收到信號到能量強度的比例來測量距離。

整個iToF技術面臨四大挑戰：

1.飛點噪聲

由於散射光導致邊緣變形，而像素有一定尺寸，測量物體邊緣時，反射光包含多個距離信息。

2.多路徑幹擾

真實場景存在複雜的鏡面反射和漫反射，在原理上使得測量值變大。

3.強度誤差

同一深度、不同反射率物體，測量值存在差異。

4.距離範圍

PL-iToF：脈寬越大，量程越遠，精度越低。CW-iToF：頻率越低，量程越遠，精度越低。

dToF技術是直接根據脈衝發射和接收的時間差來測算距離，可以解決多路徑幹擾的問題，同等光功率下工作距離較遠，抗環境光的能力更好，缺點是製造工藝複雜。蘋果在2020版iPad Pro搭載了dToF，使得該技術逐漸升溫。不過dToF技術還不成熟，只有蘋果實現了量產。

在ToF領域，光鑑科技推出了自己的方案——mToF。汪博表示：「m（modulated）就是調製的意思，整個方案還是採用了iToF晶片，通過空域、頻域和時域調製，實現了等同於dToF的效果，並在解析度上超過了dToF。」

總結了三種技術的特點後，汪博認為目前的技術所獲得的3D圖像雖遠未達到期望，但依舊有美好的未來。「深度相機現在與專業設備的差距，就相當於當年手機與單反之間的差距，10到15年內就會追上。」他相信，未來每個人的手機都是一部高精度的3D相機。

最後，汪博表示：「光鑑科技的願景就是要創建一個新的維度，讓機器視覺給人們的生活提供更多的機會。」

互動問答

Q：3D視覺技術如果落地，會帶來什麼樣的使用體驗？

A：在消費電子領域，3D視覺技術目前有3個用途：一是做3D識別，二是做3D重建，三是做2D拍照增強。3D識別應用包括了各種通行檢查，還有支付認證。3D重建常見於用手機拍攝人臉模型或實物模型。2D拍照增強主要是在iPhone拍照時會對照片進行自動補光，能實現對照片複雜的後期渲染。

Q：蘋果在3D視覺方面切入很早，設置了很多壁壘，國內企業如何進入？

A：蘋果在專利和供應鏈上都設置很多壁壘。在安卓手機上，要做深度相機會遇到一系列問題。我們公司有一套自己的、具有獨立智慧財產權的方案，可以繞過蘋果專利的壁壘。同時，該方案在物理結構上和蘋果的不同，採用了不一樣的器件，在供應鏈上更有保證。而且，當前面臨中美貿易戰，更要注意這些問題。並且，也需要有自己創新的方式，要走在技術的前列，而不是單純的模仿。

Q：iToF的應用領域有哪些？

A：在手機上，如華為P40的後置攝像頭就採用了iToF技術。此外，還有掃地機器人、物流機器人等，也採用了該技術去做環境的感知。

Q：dToF陣列密度為什麼不如結構光和iToF？

A：dToF採集信號的方式導致其前端需要單獨算力，電路結構更複雜。其前端獲取了直方圖，要提取出返回信號的峰值，不僅需要感知電路，還要計算電路，這使其晶片面積更大。在同等面積下，iToF和結構光傳感器的電路更簡單，可以放更多的電路陣列。更多關於iToF與dToF的比較可參閱光鑑科技最近發布的《ToF深度相機技術白皮書》。

Q：現在有了ToF晶片，對算法的要求是不是變低了？

A：算法在ToF裡有非常重要的地位。算法有兩大作用：一是在出廠前做一些標定校準，把晶片本身的誤差消除。二是在獲得數據之後，會做一系列的優化，如消除多路徑幹擾等。

Q：蘋果在dToF上有設置技術壁壘嗎？

A：蘋果在dToF和結構光方面都有一系列的專利壁壘，想走相同技術路線的廠商會遭遇一定風險。在dToF方面，蘋果更大的優勢來自產業優勢，其定製了一個專用晶片，比其他廠商要領先兩年。

Q：請預測10後iToF和dToF各自的市場份額。

A：市場份額很難預測。在短距離、低成本上方案上，iToF更有優勢。如果測量距離比較遠，成本空間又大，則適合dToF。如果是近距離拍照，dToF的誤差並不低，反之，iToF、結構光更精準。要根據具體應用，來分析各自的市場表現。

Q：iToF和dToF將來會發生一方替代另一方嗎？

A：A技術的劣勢要跟B一樣好，或是成本足夠低，才可以替代B技術。如果兩者都在不斷迭代，各自有適用的場景，很難判斷哪個技術會佔據絕對的優勢。

Q：手機廠商是否放棄結構光，大規模使用ToF技術？

A：目前的趨勢是後攝上ToF使用多，結構光在前攝上優勢明顯。結構光在手機上最主要的挑戰來自於全面屏。機構光需要手機的「齊劉海」結構，會影響到產品設計和使用感受。光鑑科技有獨特的方案，可以使得前攝想用結構光的手機，避免出現「齊劉海」。

Q：3D視覺技術怎麼去支撐AR/VR技術？

A：AR/VR前幾年很火，現在降溫不少，正處在低谷，長期看還是有很好的前景。目前，AR設備顯示效果還不理想，並且缺乏3D數據的來源，之前3D數據的獲取還是比較稀缺的。而這也是我們做3D感知的動力，讓大家都能夠成為3D內容的創造者。

而且，5G的發展給3D數據的傳輸帶來高帶寬、低延遲的機會。高帶寬使得3D數據傳輸更快，低延遲使得部分計算可以放到雲端去做，減輕移動端的處理、功耗壓力。

「集微直播間·開講」欄目是集微網推出的一檔大咖私享欄目，目前已成功舉辦6期。每期邀請一位行業大咖通過線上直播形式結合當下熱點進行主題分享，同時設置直播間文字提問互動環節。

5月9日（周六）10:00，集微網將邀請上海磐啟微電子有限公司市場&工程副總經理楊豐林做客第七期「集微直播間·開講」，帶來以《無線通訊技術如何撬動萬億級工業網際網路市場》為主題的精彩演講。

隨著5G的到來，無線通信技術正在成為工業網際網路場景中廣泛使用的技術。在此背景下，如何在不同場景中善用無線通信技術，從而更好地將應用場景與通信技術緊密結合，挖掘其中的市場應用價值，第七期「集微直播間·開講」將重點關注。

點這裡觀看開講七期直播

5月9日上午10:00，「集微直播間·開講」第七期即將強勢開播，屆時將在愛集微APP平臺、新浪微博、B站、百度、西瓜五大直播平臺同時開播，更多乾貨和精彩內容不容錯過哦！

如果想與愛集微平臺合作，或是了解相關活動問題，皆可與集微網徐倫聯繫（微信/電話同15021761190）。

(校對/ Humphrey)

*此內容為集微網原創，著作權歸集微網所有。未經集微網書面授權，不得以任何方式加以使用，包括轉載、摘編、複製或建立鏡像。