文/紐豪斯
發布/AI智道
一文看盡雙目攝像、結構光、ToF和雷射雷達技術；一文深入了解奧比中光、小覓智能、華捷艾米、的盧深視、Pico和鐳神智能；2大趨勢、2大核心技術。
在AI智道AI深度（上）中，紐豪斯為大家帶來了雙目攝像技術和3D結構光技術，在下篇中，紐豪斯繼續為大家深度解讀非人聯識別和ToF技術、雷射雷達技術。
ToF技術
ToF技術的原理是：測量發射紅外(IR)信號與相位延遲計算每個Sensor像素到目標物體的距離。TOF是Time of flight的簡寫，直譯為飛行時間的意思。所謂飛行時間法3D成像，是通過給目標連續發送光脈衝，然後利用傳感器接收從物體返回的光，通過探測光脈衝的飛行時間來得到目標物的距離。TOF的深度精度不隨距離改變而變化，基本能穩定在CM級。
缺點：精確度低、空間解析度低運動模糊(motion blur 相機運動或目標運動)
優點：TOF雖然目前精度在釐米級，比Leap Motion等毫米級要低，但目前的設備已經比Leap Motion等更小也更便宜，未來可以做到更小，能夠植入移動端。
TOF原理
飛行時間法深度測量基本原理示意圖
（來源：計算機視覺life）
飛行時間是從Time of Flight直譯過來的，簡稱TOF。其基本原理是通過連續發射光脈衝（一般為不可見光）到被觀測物體上，然後接收從物體反射回去的光脈衝，通過探測光脈衝的飛行（往返）時間來計算被測物體離相機的距離。TOF法根據調製方法的不同，一般可以分為兩種：脈衝調製（Pulsed Modulation）和連續波調製（Continuous Wave Modulation）。
脈衝調製
脈衝調製方案的原理比較簡單，它直接根據脈衝發射和接收的時間差來測算距離，如下圖所示。
光脈衝法工作原理示意圖
（來源：計算機視覺life）
脈衝調製方案的照射光源一般採用方波脈衝調製，這是因為它用數字電路來實現相對容易。接收端的每個像素都是由一個感光單元（如光電二極體）組成，它可以將入射光轉換為電流，感光單元連接著多個高頻轉換開關（下圖的G0，G1）可以把電流導入不同的可以儲存電荷(下圖S0，S1)的電容裡。
方波脈衝調製原理圖
（來源：計算機視覺life）
相機上的控制單元打開光源然後再關閉，發出一個光脈衝。在同一時刻，控制單元打開和關閉接收端的電子快門。接收端接收到的電荷S0被存儲在感光元件中。
然後，控制單元第二次打開並關閉光源。這次快門打開時間較晚，即在光源被關閉的時間點打開。新接收到的電荷S1也被存儲起來。具體過程如下圖所示。
光脈衝原理圖（來源：計算機視覺life）
因為單個光脈衝的持續時間非常短，此過程會重複幾千次，直到達到曝光時間。然後感光傳感器中的值會被讀出，實際距離可以根據這些值來計算。
脈衝調製的優點是測量方法簡單，響應較快；由於發射端能量較高，所以一定程度上降低了背景光的幹擾。但也存在缺點：發射端需要產生高頻高強度脈衝，對物理器件性能要求很高；對時間測量精度要求較高；環境散射光對測量結果有一定影響。
連續波調製
實際應用中，通常採用的是正弦波調製。由於接收端和發射端正弦波的相位偏移和物體距離攝像頭的距離成正比，因此可以利用相位偏移來測量距離。
連續波調製原理示意圖
（來源：計算機視覺life）
連續波調製的測量原理相對脈衝調製來說複雜一些。同樣具備優缺點，
優點：
相位偏移相對於脈衝調試法消除了由於測量器件或者環境光引起的固定偏差。
可以根據接收信號的振幅A和強度偏移B來間接的估算深度測量結果的精確程度（方差）。
不要求光源必須是短時高強度脈衝，可以採用不同類型的光源，運用不同的調製方法.
缺點：
微軟推出了兩款Kinect，Kinect一代（Kinect v1）是基於結構光原理的深度相機，Kinect二代（Kinect v2），正是基於TOF原理的深度相機。
紐豪斯認為，ToF既然是一種非常好的測距技術，那麼用於非人臉識別領域最適合不過了。相比較3D結構光方案，ToF還可以適用於室外場景，適用性得到大大的加強。
典型廠商：PICO-青島小鳥看看
Pico是新近成立的一家公司，總部位於青島（之前北京），公司成立於2017年，重點專注於3D視覺技術，最早（也不算很早）做VR眼鏡起步。提供ToF傳感模組、配套軟體，跨平臺開發工具的全套解決方案，發布了DCAM100、DCAM710、Air Camera等多款深度攝像頭平臺，與機器人、智慧物流、金融安防、新零售、消費娛樂、汽車電子、工業自動化、AR/V3D掃描等行業客戶展開緊密合作。
Pico的ToF模組和成品（紐豪斯拍攝）
（從上到下：DCAM100/DCAM710和air camera）
核心產品技術參數：
air camera ToF+RGB深度傳感一體機
- CPU：高通驍龍605
- RAM：3GB
- ROM：32GB
- 本機作業系統：Android 8.1
- 深度解析度：640*480@30FPS
- RGB傳感解析度：1920*1080@30FPS
- 視場角：69°（水平）51°（垂直）
DCAM100 TOF 傳感模組
- 深度解析度：640*480@30FPS
- 視場角：69°（水平）51°（垂直）
- 作業系統支持：Linux/Windows7/10
DCAM710 TOF+RGB 圖像傳感模組
- 深度解析度：640*480@30FPS
- RGB傳感解析度：1920*1080@30FPS
- 視場角：69°（水平）51°（垂直）
- 作業系統支持：Android/Linux/Windows7/8/10
Pico旗下的Pico Zense產品線提供定製開發，如在工作距離、鏡頭視場角（FOV）、接口、尺寸、幀率、產品形態（Depth only/RGBD/PCBA only/成套模組）等方面進行定製化開發。
Pico Zense深度成像的效果（3種）
Pico的背後，由高通Qualcomm提供5G和AI平臺、ADI提供3D深度引擎、Geoertek提供製造和供應鏈管理，當然核心還是ADI的ToF技術。
雷射雷達技術
雷射雷達測距技術通過雷射掃描的方式得到場景的三維信息。其基本原理是按照一定時間間隔向空間發射雷射，並記錄各個掃描點的信號從雷射雷達到被測場景中的物體，隨後又經過物體反射回到雷射雷達的相隔時間，據此推算出物體表面與雷射雷達之間的距離。
雷射雷達由於其測距範圍廣、測量精度高的特性被廣泛地用於室外三維空間感知的人工智慧系統中，例如自主車的避障導航、三維場景重建等應用雷射雷達所捕獲的三維信息體現在彩色圖像坐標系下是不均勻並且稀疏的。由於單位周期內，雷射掃描的點數是有限的，當把雷射雷達捕獲的三維點投射到彩色圖像坐標系下得到深度圖像時，其深度圖像的深度值以離散的點的形式呈現，深度圖像中許多區域的深度值是未知的。這也就意味著彩色圖像中的某些像素點並沒有對應的深度信息。
雷射雷達目前被廣泛應用於無人駕駛領域，當然也可以應用於安防領域，其典型的代表企業是鐳神智能。
基於雷射雷達的智能安防系統，旨在彌補監控技術、傳感器報警技術被動防禦的特性和智能圖像分析技術在環境應用中的局限性，通過雷射雷達主動防禦的特性結合高清視頻監控技術，對重點監測區域的目標進行定位跟蹤、放大、記錄目標的運動軌跡，通知上級單位進行處理。
典型廠商：鐳神智能
鐳神智能基於雷射雷達的智能安防系統是高成本人力守衛的創新替代方案，實現持續的周界自動監控，它非常適合機場監視、國家重要基礎設施和商業設施等應用。全天候的雷達系統檢測，跟蹤和識別任何威脅的確切位置。通過檢測周邊內外，可以在白天或晚上任何時間進入現場之前識別潛在的入侵者。作為一個全自動的系統，系統會在發生潛在的或實際外圍威脅時發出警告或者警報，在外線被攻破之前檢測到威脅，或者報告可疑行為，讓安全團隊在實踐發生之前防止這些威脅。
系統主要由雷達探測系統、射頻定位系統、聯動控制分系統、網絡傳輸及供電分系統、監控中心系統組成。同時可以根據需求提供多個反探測、可穿戴式的人員定位標籤（超寬帶無線射頻定位標籤）實現身份與告警關聯。
雷射雷達的核心技術在於雷射雷達點雲處理，主要包括：
搭建系統框架，建立與客戶端通信系統，包括點雲顯示、區域顯示、報警信息等。
可以獲取客戶端的區域設置參數，告警區內設置無效區的能力，具備繪製多個異形防區的能力。
可以將客戶端下發的區域參數保存，斷電上電後可以直接啟用。客戶端可以讀取雷達中設置的區域參數。
識別物體大小可設定，可根據障礙物的大小屏蔽較小的物體。
自動定位入侵物在預警區的位置，並根據雷達在世界坐標系的位置方位，計算入侵物在世界坐標系中的位置。
識別靜止、緩慢移動的物體和高速入侵的物體，並輸出物體的速度。
自動記錄報警信息，並輸出。
輸出報警燈（開關量，不少於四路）、客戶端控制雷達報警和消警。
雷達遮擋判別、前窗有汙染時報警、探測器非法旋轉或者探測角度發生改變時被激活。
雷達故障判別、探測器內部自檢錯誤時被激活。
可以在地圖中顯示障礙物運動的軌跡（客戶端後臺處理）。
設置所有的雷達區域可以構建一個地圖。
相比較3D結構光和ToF等三維解決方案，雷射雷達作為一種補充的方案也具備自己的優勢：
主動防禦、自動跟蹤。以目標定位為核心的全新安防理念，突出主動防禦性，雷射雷達提供目標的實時定位信息，根據系統設置條件自動觸發告警。
全天候、無漏報，雷射雷達，不受光照影響，在大霧、大雪、大雨等室外惡劣的環境下智能調節全天候不間斷工作。通過智能算法，有效區分車輛、動物雜草等幹擾目標，同事可以計算出障礙物移動的速度和距離，實現針對性探測。
精度高、範圍廣，雷射雷達掃描精度為釐米級，掃描解析度為0.18度，測量精度高。雷達扇形掃描，角度360度，半徑0-500m,防護區域大。
該系統可以實現最佳跟蹤，可以在平面視圖顯示器上顯示數百個對象，根據配置的規則和屬性（如大小、速度和方向）對其進行分類。雷達傳感器的快速更新速率可以實時更新其位置。所有的系統活動包括軌道、威脅和警報的運行歷史被寫入到單個的資料庫。
主要的缺點在於造價昂貴同時沒有直接生成RGB的視頻監控信號，不能作為視頻替代方案。
雷射雷達3D成像效果（來源：鐳神智能）
總結
RGB雙目攝像、結構光技術和ToF技術各有特點，對比如下表所示：
相機類型
RGB雙目
結構光
ToF
測距方式
被動式
主動式
主動式
工作原理
RGB圖像特徵點匹配三角測量間接計算
主動投射已知編碼團提升特徵匹配效果
根據光的飛行時間直接測量
測量精度
近距離可達毫米級精度
近距離內能夠達到高精度0.01mm-1mm
可達釐米級精度
測量範圍
由於基線限制，一般智能測量較近的距離，距離越遠，測距越不準確。一般為2米（基線10mm）以內
測量距離一般為10米以內
可測量教育安距離，一般為100米以內
影響因素
受光照變化和物體紋理影響很大，夜晚無法使用
不受光照變化和物體紋理影響，受反光影響
不受光照變化和物體紋理影響，受多重反射影響
戶外工作
無影響
有影響，和編碼圖案有關
功率小影響較大
從上表可以看出，TOF測量的精準度和穩定性較好，適用於室外環境；但結構光可以做得更小，功耗小，測量解析度也相對高，不適用於室外環境；雙目模擬了人眼結構，但它屬於被動光，無法適應暗光環境；而前兩者是主動光，可以適應暗光環境。
如果紐豪斯發現AI賦能安防的未來2大發展趨勢3D人臉識別和非人臉識別成立的話，從目前來看3D人臉識別的最佳技術是結構光技術，而非人臉識別最佳的技術當屬ToF技術，當然兩種技術互有交集，隨著技術的進步，而且的界限越來越模糊，不論怎樣，結構光和ToF技術都會成為未來的技術，現在關注都還不算太晚。
參考文獻：
深度相機技術對比，人人智能，王海增
雙目立體視覺的數學原理，沈子恆，https://blog.csdn.net/shenziheng1/article/details/52883536
深度相機原理揭秘--結構光，計算機視覺life，https://blog.csdn.net/electech6/article/details/78707839
深度相機原理揭秘--飛行時間（TOF），計算機視覺life，https://blog.csdn.net/electech6/article/details/78349107
3D ToF技術市場熱度高居不下，系統級解決方案引爆新一輪行業應用浪潮，MEMS，麥姆斯諮詢
-全文完-
版權說明：本文核心素材來自人人智能，部分素材來源於網際網路，凡能註明素材出處的儘可能都予以註明。本文內容禁止用於商業目的，如需轉載事先和AI智道聯繫獲取授權。
致謝：感謝人人智能王海增提供了基礎素材，感謝PICO小鳥看看、小覓智能、華捷艾米、奧比中光、的盧深視、鐳神智能提供的內容素材。
PS. 「AI深度（上） | 3D人臉識別和結構光」發布之後受到廣泛的關注，也收到了多個有益的建議，幾位專業人士提供了素材，用於彌補個人技術上的短板，看來需要狗尾續貂，追加一篇續篇：AI深度（續）| 3D人臉識別和雙目結構光慣導，敬請關注！
AI智道，賦能落地！