文/紐豪斯
發布/AI智道
一文看盡雙目攝像、結構光、ToF和雷射雷達技術；一文深入了解奧比中光、華捷艾米、的盧深視、Pico和鐳神智能；2大趨勢、2大核心技術。
開篇
最近紐豪斯深感疲憊，主要是2個熱點話題給鬧的。一個是「996」，前段時間引起了熱烈的討論，一周工作6天，每天工作12個小時，如果禮拜天做工一天，基本上就沒有什麼休息時間了，當然我也聽說個一個工作方式，叫做「5+2、白+黑、夜總會」，解釋一下就是一周工作7天、白天和晚上都工作、晚上總是開會，總結一下就是又忙又累。另外一個熱點就是貿易戰，有人說「華為、海康必有一戰」沒有想到的卻是貿易戰，AI智道並沒有去蹭這個熱點話題去寫點文章吸引一下關注或訪問量，不過天天要看這些相關的文章，實在是太多了花費了不少的時間去了解，不看也不行。故而耽誤了碼文字的時間，導致AI智道遲遲不能更新，畢竟我碼文字有兩個原則：
貿易戰中興、華為、海康、大華都牽涉其中，這些都是大企業，差不多都在建設自己的生態圈（合作夥伴），不過個人建議大企業還是要給廣大的中小企業留一條路，超高的增長率（明顯高於市場平均增長率）在市場總量不變的情況下，差不多就是從別人的地盤裡搶糧食，當然這是市場法則，也無可厚非。
巴楚胡楊
說起貿易戰紐豪斯就想起了一種植物，新疆有一總樹名叫胡楊，胡楊有三個特點，我記得當地人給我介紹過「生而千年不死、死而千年不倒、倒而千年不朽」，希望我國的領頭羊企業能夠擁有胡楊的特質。
前言
當安防不再是安防，AI不再是AI的時候，二者的邊界模糊了。紐豪斯陷入了深思，到底安防行業的發展趨勢是什麼？
經過3個多月（自春節以來），紐豪斯拜訪了大量的客戶、合作夥伴、產品供應商，發現AI賦能安防的未來2大發展趨勢：
國內有4家AI獨角獸企業（雲從、依圖、曠視、商湯），都以人臉識別技術起步併名揚天下，據紐豪斯的了解均是基於2D圖像（RGB攝像機）的人臉識別，當人臉庫是2D圖像時用2D技術自然是沒有問題的，但是當需要金融級支付技術的時候，就需要唯一性和準確性並能防欺騙，2D技術無法完美解決活體識別，故而人臉識別的發展逐步從2D走向3D識別，這是趨勢之一。
人臉識別技術存在著天然的適用場景，比如人證合一比對（身份證實名認證）、人臉門禁系統、人臉考勤系統等場景，這些都是基於人臉，故而存在市場剛需。除此之外，因為存在隱私保護和數據安全的雙重要素，世界範圍內對是否採用人臉識別技術用於視頻監控尚存在較大的爭議和分歧，比如前段時間就發生了「經過三個多月的議會討論，最終8:1投票通過，禁止舊金山的政府機構使用人臉識別技術」，而計算機視覺技術的發展足以達到商用的程度，如果不能人臉識別，剩下的自然就是非人臉識別，可以是人體特徵識別、車牌識別、物體識別、行為識別等其它形式。這也是一種趨勢。
大勢所趨
如果3D人臉識別和非人臉識別兩大趨勢成立，那麼如何實現3D人臉識別和非人臉識別就是擺在AI企業面前的兩個技術問題，這正是本篇文章紐豪斯要為大家介紹的「深度相機技術」。寫文章要有深度，做AI同樣需要有深度，深度可以全息刻畫一個目標對象，透過現象看本質。
深度相機的分類下圖所示：
深度相機的分類
目前市面上主流的人臉門禁系統活體檢測採用的就是雙目攝像機，結構光攝像機主要應用手機（典型代表iPhone X）和人臉門禁系統（尚未普及），ToF還是一項新技術主要用於物體測距。接下來紐豪斯就帶大家領略一下這4大技術。
雙目攝像技術（Stereo System）
由兩個單目相機組成（兩個相機之間的距離叫「基線」是已知的），通過這個基線來估計每個像素的空間位置來測量物體與我們之間的距離，克服單目相機無法知道距離的缺點。雙目相機測量到的深度範圍和基線有關，基線距離越大，能夠測量到的就越遠。
優點：可用於室內也可用於室外。
缺點：配置與標定較為複雜，其深度和精度受雙目的基線或者解析度所限，並且視差的計算非常消耗計算機資源，在現有的條件下，計算量是雙目的主要問題之一。
雙目立體視覺中空間點三維重建（來源：沈子恆）
平視雙目立體成像原理圖（來源：沈子恆）
平視雙目立體成像原理圖，兩攝像機的投影中心連線的距離，即基線距離B。兩攝像機在同一時刻觀看時空物體的同一特徵點P，分別在「左眼」和「右眼」上獲取了點P的圖像，他們的坐標分別為Pleft=（Xleft,Yleft）；Pright=（Xright,Yright）。將定兩攝像機的圖像在同一平面上，則特徵點P的圖像坐標的Y坐標一定是相同的，即Yleft = Yright =Y。由三角幾何關係可以得到如下關係式：
視差為：Disparity=Xleft-Xright.由此可以計算出
特徵點P在攝像機坐標系下的三維坐標：
因此，左攝像機像面上的任意一點只要能在右攝像機像面上找到對應的匹配點，就完全可以確定該點的三維坐標。這種方法是點對點的運算，像平面上所有點只要存在相應的匹配點，就可以參與上述運算，從而獲取對應的三維坐標。
目前市面上主流的活體檢測和防偽解決方案主要是採用雙目攝像技術，相比較結構光和ToF方案，價格更加低廉，模塊也比較成熟。
典型代表：視派爾公司的EP36WDLDIR雙目攝像模組
EP36WDLDIR雙目攝像模組（圖片來源：視派爾）
低功耗USB CAM，支持高清攝像頭功能，支撐WDR，強光抑制，暗光補償，人像優化，場景優化。
主要產品特性
1/2.7E"工業級200萬高清圖像傳感器
RGB: 寬動態115DB
IR：80DB適合複雜的光線環境
0.01Lux(F=1.2)超低照效果
功耗3.0W
兼容Windows、Linux、MAC多種系統
視派爾系列產品（紐豪斯拍攝）
雙目成像效果（紐豪斯拍攝）
3D結構光技術
雙目攝像機具備一定的深度探測功能，有一定的深度，但屬於被動方式。真正意義上的3D成像當屬於主動光源的3D結構光技術，採用的是結構光法。
結構光法(Structured Light)通過向表面光滑無特徵的物體發射具有特徵點的光線，依據光源中的立體信息輔助提取物體的深度信息。具體的過程包括兩個步驟，首先利用雷射投影儀向目標物體投射可編碼的光束，生成特徵點；然後根據投射模式與投射光的幾何圖案，通過三角測量原理計算攝像機光心與特徵點之間的距離，由此便可獲取生成特徵點的深度信息，實現模型重建。這種可編碼的光束就是結構光，包括各種特定樣式的點、線、面等圖案。結構光法解決了物體表面平坦、紋理單一、灰度變化緩慢等問題。因為實現簡單且精度較高，所以結構光法的應用非常廣泛，目前已有多家公司生產了以結構光技術為基礎的硬體設備，如Prime Sense公司的Prime Sensor、微軟公司的Kinect和華碩公司的Xtion PRO LIVE等產品。
結構光三維視覺原理圖（來源於網絡）
深度圖效果：結構光vs.雙目攝像
下圖左是普通雙目立體視覺深度相機拍攝的圖像和對應的深度圖結果；下圖右是結構光法的深度相機投射的圖案及對應的深度圖結果，明顯可以觀察到在同樣的場景下結構光法得到的深度圖更完整，細節更豐富，效果大大好於雙目立體視覺法。
左：RGB stereo，右：Structure light（來源：計算機視覺life）
結構光法不依賴於物體本身的顏色和紋理，採用了主動投影已知圖案的方法來實現快速魯棒的匹配特徵點，能夠達到較高的精度，也大大擴展了適用範圍。
結構光法投射的圖案需要進行精心設計和編碼，結構光編碼的方式有很多種，一般分為如下幾大類：
1.直接編碼（Direct coding）
根據圖像灰度或者顏色信息編碼，需要很寬的光譜範圍。
優勢：對所有點都進行了編碼，理論上可以達到較高的解析度。
缺點：受環境噪音影響較大，測量精度較差。
Direct coding（來源：計算機視覺life）
2.時分復用編碼（Time multiplexing coding）
該技術方案需要投影N個連續序列的不同編碼光，接收端根據接收到N個連續的序列圖像來每個識別每個編碼點。投射的編碼光有二進位碼（最常用）、N進位碼、灰度+相移等方案。
該方案的優點：測量精度很高（最高可達微米級）；可得到較高解析度深度圖（因為有大量的3D投影點）；受物體本身顏色影響很小（採用二進位編碼）。
缺點：比較適合靜態場景，不適用於動態場景；計算量較大（因為識別一個編碼點需要計算連續N次投影）。
Time multiplexing coding（來源：計算機視覺life）
3.空分復用編碼（Spatial multiplexing coding）
根據周圍鄰域內的一個窗口內所有的點的分布來識別編碼。
該技術的優勢：適用於運動物體。
缺點：不連續的物體表面可能產生錯誤的窗口解碼（因為遮擋）。
Spatial multiplexing coding（來源：計算機視覺life）
最早結構光方案就是以色列PrimeSense公司的Light Coding的技術，該方案最早被應用於Microsoft的明星產品Kinect1（Kinect2是基於TOF的技術）上。後被蘋果收購，iPhone X利用的就是該公司的結構光技術。
結構光雖然說相較雙目攝像機有很大的提升，但依然存在一定的優缺點。
優點：
由於結構光主動投射編碼光源，因而非常適合在光照不足（甚至無光，尤其是夜間）、缺乏紋理的場景使用。
結構光投影圖案一般經過精心設計，所以在一定範圍內可以達到較高的測量精度。
技術成熟，相比較雙目攝像深度圖像可以做到相對較高的解析度。
缺點：
3D結構光技術在iPhone的帶領下在手機領域得到廣泛的應用，目前最新的人臉支付系統的硬體多採用3D結構光，比如支付寶和奧比中光合作、騰訊和華捷艾米合作。
根據雷鋒網早前報導：2019年4月17日，支付寶在北京發布了第二代刷臉支付設備——「蜻蜓2.0」，與1.0版本相比，「蜻蜓2.0」主要有兩點提升：一是不用再輸手機號，可以單純靠刷臉完成支付；二是首次接入了刷臉即會員的數位化經營能力。
紐豪斯在前文說過，3D人臉識別將會是未來的一個趨勢，那麼這個趨勢中最佳的3D人臉識別模式將會是3D結構光，可有效的解決2D的人臉防偽問題，更可以很好的解決人臉的唯一性。3D結構光的3D人臉應用中最大缺陷是相比較2D，系統缺乏3D人臉的底庫，需要一個一個的採集後才能夠形成3D人臉庫，而不像2D人臉庫標準的身份證大庫中就有，不需要額外採集，不過這方面的盧深視已經走在最前面。
3D結構光典型代表：奧比中光
深圳奧比中光於2013年1月份成立，是一家集研發、生產、銷售為一體的3D傳感技術高科技企業；作為國際領先的3D傳感方案提供商，是繼蘋果、微軟、英特爾之後，第四家（國內第一且唯一）能夠量產消費級3D結構光傳感器的公司。
奧比中光3D結構光深度攝像頭，是基於3D結構光技術所設計的一種高精度、低功耗的3D攝像頭，可為智能終端加上了物體感知功能，從而引入多個「痛點型應用場景」，包括人臉識別、活體檢測、人機互動、人流統計、三維建模、AR、安防和輔助駕駛等，讓所有終端都能看懂世界。3D結構光深度攝像頭可實現實時三維信息採集，為這些應用功能提供必要的且高質量的三維數據，從而大大提高了應用功能的安全性、可靠性等各項性能。
ASTRA產品圖片（來源：奧比中光）
ASTRA Pro拆分圖（來源：奧比中光）
ASTRA Pro結構圖（來源：奧比中光）
3D結構光產品可廣泛應用於3D人臉識別/3D表情識別，包括3D刷臉支付、3D人臉門禁、3D動畫表情等；也可以用於3D點雲（彩色圖/深度圖），包括3D物體尺寸測量、機器人Slam、3D試衣服、距離測量等；還可以用於人體骨骼識別和跟蹤、行為分析，應用場景包括娛樂、安保、客流分析等。
3D結構光典型代表：華捷艾米
北京華捷艾米成立於 2014 年，專注於計算機 3D 視覺、人機智能交互及 3D MR 混合現實技術。擁有核心智慧財產權的 3D 視覺及 MR 解決方案的人工智慧企業，打破蘋果、微軟的技術壟斷。
提供包含「3D 攝像頭、3D攝像頭模組、3D AI/MR 晶片、3D AI/MR 算法體系、開發工具包等」在內的一站式企業級解決方案。在人臉支付領域和騰訊達成戰略合作。
在新零售領域，華捷基於3D 機器視覺及MR人工智慧技術達到顧客購物的全程身份識別、行為監控、記錄、分析及智能支付，並提供客戶消費行為全程雲平臺大數據。典型應用包括3D 刷臉支付、客流統計；在智能家居領域，華捷基於人體行為識別和 MR 人工智慧技術達到精準、自然人機互動。典型應用包括人臉門禁系統；在智能安防領域，華捷艾米利用自有硬體和算法，利用當前先進的深度識別算法，通過 3D 檢測技術，獲取人流數據。當所監控的人流數量達到設定的閥值或出現異常行為時，自動啟動預警方案。
華捷艾米的主要產品集中在以下幾個方面：
3D 攝像頭。3D骨架識別、3D智能SLAM、3D手勢識別、3D人臉識別等多種算法。
3D AI/MR 晶片。面向消費電子、智能安防、智能物流等 AIOT 領域的 3D Sensor 專用晶片，產品搭載了華捷艾米第四代深度測量引擎，晶片大小只有 5*5 ㎜，產品功耗 100 毫瓦（mw），解決了行業通用晶片功耗高、效率低等諸多弊端。
3D 攝像頭模組。基於業界領先的設計能力，華捷艾米 3D 光學模組產品可用於單目結構光、主動雙目等 3D測量方案，並提供不同功率、不同尺寸、不同視場角的適用於室內和戶外場景的系列化產品。
SDK。華捷艾米 SDK 是一個多語言跨平臺的 AR/MR 應用開發套件。
核心技術（來源：華捷艾米）
代表產品：A200+mini模組
A200+mini結構圖（來源：華捷艾米）
華捷艾米A200+mini自主研發的高清智能 小型化超薄 3D 攝像頭產品 ，基於散斑結構光原理設計，搭載華捷艾米最新ASIC晶片，能快速準確獲取目標的深度信息可適用於近距離 （0.28 ~1m ）人臉識別、深度數據採集，立體與平面判斷等。應用於近距離物體識別場景 ，如新零售行業的人臉支付 、火車站的人證核驗等。
3D結構光典型代表：的盧深視
一般的人不大了解的盧深視，如果是長期從事公安人臉解決方案的同行可能就聽說過，尤其是他們的產品已經在安檢、邊檢方面取得大量應用成果，擁有大容量的3D人臉庫建模和訓練經驗。的盧深視是一家專注三維機器視覺和人工智慧領域的高新技術企業，成立於2015年8月，總部位於北京，在杭州、合肥兩地設有研發中心，在結構光深度感知、三維實時高精度重建、三維跟蹤識別及感知等技術方向上處於領先地位。
的盧深視以「真」三維人臉識別技術為依託，區別於常見的「二維識別+ 三維防作偽」產品，以技術迭代引領業界標準，其三維人臉識別技術水平遠超其他識別手段。關鍵是擁有百萬級三維人員庫高準確度識別經驗，千萬級以上大庫也有實操經驗。
據媒體公開報導：的盧深視在結構光深度感知、三維實時高精度重建、三維跟蹤識別及感知等技術方向上，實現了技術領先。布局了自己的」雲端芯「的產品戰略，發布了哨兵、天眼、鷹眼、火眼、冰鑑五個產品系列。
的盧深視的產品線主要包括：
三維智能人臉開發套件
三維人臉開發套件（來源：的盧深視）
集成了三維/ 二維人臉識別功能、三維人臉建模功能、活體檢測功能於一體的人工智慧開發平臺。採用散斑結構光技術來獲取準確的三維人臉數據，內嵌高性能硬體處理平臺和強大的人工智慧處理算法，具有高擴展性和集成度，滿足多樣化行行業需求。
嵌入式三維人臉驗證一體機/閘機終端/門禁終端
三維人臉終端（的盧深視）
一款集成了三維高清攝像機、具備三維人像採集功能的人證通類產品。該類設備能夠提取現場持證人的三維人像和身份證照片，進行1:1 比對，完成身份核驗。基於深度學習算法，識別速度快、準確率高，基於三維人像的防作偽能力比二維相機更高，它能夠利用三維人臉特徵的唯一性進行精準識別，解決人員忘帶證件無法通行、冒用他人證件非法通行等問題。的盧深視三維人臉驗證閘機終端採用基於自研的深度學習三維人臉識別智能算法，具有先進、高效、安全等優點，適用於閘機廠家、系統集成商和設備廠商。
這大概是紐豪斯所知的唯一大規模商用的3D結構光人臉終端機。
「天眼」高清三維網絡攝像機
MN100/200 是在出入口通道用於動態採集二維視頻及三維深度信息並通過網絡編碼傳輸的高清三維網絡攝像機。
「天眼」三維人臉智能盒子
配合「天眼」高清三維網絡攝相機，實現三維人臉檢測、跟蹤、抓拍、識別以及屬性分析的軟硬一體的計算模塊。它採用了嵌入式作業系統和高性能硬體處理平臺，具有較高的穩定性和可靠性。
哨兵系列 | 一次通行、多維採集、關聯碰撞、全面預警
哨兵系列（來源：的盧深視）
這兩款哨兵系列已經得到大規模的應用。擁有多種功能，一次性可以採集多維數據，包括人、碼、證的信息。
-上篇完-
AI智道深度文章下篇文章將為大家深度揭秘ToF技術和雷射雷達技術，敬請持續關注。
參考文獻：
深度相機技術對比，人人智能，王海增
雙目立體視覺的數學原理，沈子恆，https://blog.csdn.net/shenziheng1/article/details/52883536
深度相機原理揭秘--結構光，計算機視覺life，https://blog.csdn.net/electech6/article/details/78707839
深度相機原理揭秘--飛行時間（TOF），計算機視覺life，https://blog.csdn.net/electech6/article/details/78349107
3D ToF技術市場熱度高居不下，系統級解決方案引爆新一輪行業應用浪潮，MEMS，麥姆斯諮詢
版權說明：本文核心素材來自人人智能，部分素材來源於網際網路，凡能註明素材出處的儘可能都予以註明。本文內容禁止用於商業目的，如需轉載事先和AI智道聯繫獲取授權。
致謝：感謝人人智能王海增提供了基礎素材，感謝PICO小鳥看看、華捷艾米、奧比中光、的盧深視、鐳神智能提供的內容素材。
AI智道，賦能落地！