全面解析深度攝像頭(TOF Camera)的原理

全面解析深度攝像頭（TOF Camera）的原理

胡薇 發表於 2018-10-19 17:09:08

深度攝像頭是什麼?

深度檢測只是計算機視覺中一個基本而又核心的任務，要準確地檢測目標，可能還需要做很多圖像分割，識別，跟蹤方面的工作。

人類雙眼的基本原理就是stereo vision的主要依據，依靠視差(disparity)來估計深度。

本身沒有深度檢測功能的攝像頭，可以使用立體視覺的原理(stereo，MVS)來估計深度，而有深度檢測的攝像頭，比如說Kinect，也常常是利用視差原理來求取深度的，投射一個pattern，然後比較。

當然最開始求取深度的，還有廣泛使用的雷射雷達(RangeFinder)，只是成本很高，軍用，工業用比較多。

深度攝像頭面臨的問題

可以肯定的是深度攝像頭獲取的深度信息有非常廣泛的應用，但目前仍存在一些問題，我覺得最為核心的兩個方面：一是測量範圍;二是應用環境。

目前深度相機的測量範圍也就幾米，對應用環境的要求也比較苛刻(主要受環境光影響嚴重)。所以，目前的深度相機應用在監控上還有非常遙遠的路要走。

計算機視覺的範圍就太廣了，除了通過相機獲取信息之外，更重要更複雜的是對獲取的信息進行理解：

包含三維信息提取、物體識別、分類、運動跟蹤等等。雙目視覺是目前深度測量的一種方法，這種方法同樣面臨很多問題，比如要求場景有明顯的特徵，算法複雜等等。

總之，現在離深度攝像頭被廣泛應用還有很長的路要走。

未來深度攝像頭的市場

2017年蘋果將發布三款機型，其中OLED機型的前置攝像頭可能有重大升級，預期配備深度攝像頭模組。他預期此先進的深度前置攝像頭模組，將具備三維感測與三維建模能力。

消息一出，整個資本市場沸騰了，紛紛尋找供應鏈相關企業投資標的，相關公司股票都有巨幅上漲。

顯然僅僅認為這是一次資本市場的題材操作，這是對國外成熟資本市場的侮辱，由於蘋果巨大的光環效應，它的一舉一動都會引起整個高科技行業的劇變，一旦傳聞坐實，深度攝像頭將從原來相對小眾的行業市場快速進入大眾消費移動市場。

我們從蘋果供應鏈得到的消息是：這次蘋果的確是在前置攝像頭使用結構光技術的深度攝像頭，各家供應商都已經確定，連代工廠的相應光學標定流程也已經固化，現在就等蘋果正式發布的時候公布具體信息了。

同時消息源指出，由於該深度攝像頭模組的功耗較高，接近1瓦，所以現在只是用在前置攝像頭用作手勢和面部識別等時間較短的應用，後置攝像頭的環境建模等應用起碼要等下一代產品才可能用上了。

果粉可能認為深度攝像頭又是啥獨家黑科技了，其實前兩年開始晶片業巨頭Intel一直在各個公眾場合高調宣傳的RealSense實感攝像頭，其實就是一個深度攝像頭。

它的各類應用也引起了業內人士和一些行業媒體的關注。怎奈Intel在消費市場的影響力差蘋果有100個高通的距離，所以深度攝像頭的概念對普通大眾來說仍舊是不知所云。那麼它到底是何方神聖?

這種攝像頭和普通攝像頭的區別就是除了能夠獲取平面圖像以外還可以獲得拍攝對象的深度信息，也就是三維的位置和尺寸信息，於是整個計算系統就獲得了環境和對象的三維立體數據。

實際深度攝像頭早在上世紀80年代就由藍色巨人IBM提出相關概念，這家現在顯得有點英雄遲暮的巨頭在基礎研究領域可謂是整個時代的領跑者。

2005年創建於以色列的 PrimeSense 公司可謂該技術民用化的先驅，以色列的創新能力由此可見一斑，而且該領域以色列技術公司的數量是最多最好的。

當時，在消費市場推廣深度攝像頭還處在概念階段，此前深度攝像頭僅使用在軍事和工業領域，為機械臂、工業機器人等提供圖形視覺服務。由它提供技術方案的微軟Kinect1代成為深度攝像頭在消費領域的開山之作，並帶動整個業界對該技術的民用開發。

PrimeSense本來以為抱到微軟大腿就可以仙福永享了，但是在2012年微軟先後收購了以色列的TOF攝像頭公司canesta和3dv，2013年微軟終止與PrimeSense的合作，自行開發了Kinect2代(成為Kinect one)，改走TOF技術路線。

這一變故使得PrimeSense只能另找靠山，於是在2013年蘋果正式收購PrimeSense，將它的技術和專利收入囊中，並且停止對外技術授權和供貨。顯然這次蘋果使用的深度攝像頭技術就是來自收購的PrimeSense，使用結構光技術路線。

如果大家認為只有微軟和蘋果有大動作，那就圖樣了，前面提到的Intel也是通過收購Tyzx和Omek等公司做出了RealSense這一明星級產品，現在任何公眾場合都是Intel高調宣傳的重點，去年還收購了視覺處理器廠商Movidius。被Facebook收購的VR巨頭Occulus在2014年左右接連收購了Nimble VR、13th Lab、Surreal Vision和Pebbles Interfaces等多家相關領域創業公司，完善了自己的技術布局。

索尼則在 2015 年 10 月宣布收購比利時一家名為 SoftKinetic 的TOF傳感器初創公司，為自己的VR和遊戲機產品保駕護航。

軟體巨頭谷歌雖然沒有通過收購直接進入深度攝像頭硬體領域，但它的Project Tango卻是利用深度攝像頭做移動應用的最佳軟體範例，並且前不久開源了一個業界最關心的視覺SLAM(同步定位與建圖的縮寫)方案，聯想也發布了一款使用Tango方案的Phablab2手機，作為開發者的開發平臺。

顯然深度攝像頭及相關的計算視覺領域已經成為整個科技行業最熱門的領域之一，為何熱門?

從前面的介紹中可以看出，一個能夠獲得環境三維信息的傳感器對機器識別和認識世界起到了極端重要的作用，因為視覺信息是人腦和機器獲取外界信息最大的渠道，人的眼鏡能夠獲得三維的信息，所以對世界的識別會比較準確。

原來由於技術的限制，普通攝像頭獲得的平面圖像信息對機器理解世界產生了巨大的限制，現在由於深度攝像頭的出現，使得機器也獲得了三維視覺能力，讓機器認識和理解世界產生了飛躍的進步。人工智慧要藉助於計算視覺的發展來獲取和識別外界的視覺信息。

所以今天在機器人導航、自動駕駛、無人機、AR/VR/MR、三維重建、人機互動、智能製造等最熱門的領域都有深度攝像頭的身影閃現，而且在這些領域都是必不可少的基礎傳感器，所以巨頭的這些動作也就不難理解，最基礎核心的技術自然要自己掌握才放心。

在人工智慧火熱的今天，該領域成為顯學自然是應有之義，只不過行業內熱鬧不代表能傳遞到大眾領域，這次蘋果的出手終於將熱度帶到大眾市場，並且在資本市場已經產生影響。

尤其是蘋果在整合供應鏈的方面也有了大動作，它主導的幾個供應商之間的資本運作已經啟動，比如奧地利微電子(AMS)就高價收購了Heptagon，歐菲光也收購了一家以色列初創公司mantis vision。當然，這一切都僅僅是開始，今後的資本運作會更加頻繁。

顯然國內資本市場也不會放過這個風口，搜索枯腸，國內能夠和該領域直接掛鈎的上市公司幾乎沒有。那麼非上市公司呢?居然發現中國在該領域的初創公司已經走在了世界的前列。圖漾科技就是其中一家，這家總部位於上海的初創公司在業內已經名聲在外，最近更是接到大量投資機構的拜訪請求。「最近來找我們的投資機構幾乎踩破門檻，主要是來了解行業信息，當然也會提到今後的投資機會，」圖漾科技的副總經理徐韜向我們透露。近期他們發布了一款高清解析度(實際達到960P)的深度攝像頭，從性能指標看，它已經超越RealSense和Kinect2。

說到技術路線，現在深度攝像頭主流有三個技術路線：單目結構光、TOF(飛行時間)和雙目視覺。TOF原理是傳感器發出經調製的近紅外光，遇物體後反射，通過計算光線發射和反射時間差或相位差來換算被拍攝物體的距離。

結構光(Structured Light)技術則要相對複雜一些，該技術將編碼的光柵或線光源等投射到被測物上，根據它們產生的畸變來解調出被測物的三維信息。

雙目視覺則是和人眼一樣用兩個普通攝像頭以視差的方式來計算被測物距離。三種方式各有優缺點，在現有技術條件下各有應用場景。

但圖漾則是結合了雙目和結構光提出了主動雙目的技術，相比現有方案有了相當的原理優勢，可以獲得更好的深度數據質量，更好的環境適應性，更高的產品工作壽命和多設備間無幹擾的特性，這些特性在行業應用中幾乎是必備條件，所以他們的產品主要針對行業市場開發，現在主要用在機器人、安防、物流和工業自動化領域。

徐韜認為：隨著Mantis被收購，現在市面上的獨立深度攝像頭供應商只剩下中國幾家初創公司，那些巨頭都不屑做配件供應商，只會為自己的整機服務，比如蘋果收購PrimeSense以後就不再對外供貨，很多廠商失去核心部件供應商，造成巨大的供應鏈風險。只有Intel提供攝像頭模組，但需要搭配它的處理器，型號也極少，不能定製，無法滿足絕大部分客戶需求。

再加上全球電子產業鏈高度集中在中國，讓本土的初創企業擁有了極大的生存空間。

結合智慧型手機市場份額愈來愈集中到中國廠商的趨勢，深度攝像頭移動市場的戰爭幾乎就是在蘋果和中國廠商之間展開。

蘋果所開啟的深度攝像頭移動市場將會在大眾市場快速普及三維視覺的應用，其市場想像空間巨大，但這次我們終於可以看到有本土企業在這個新興市場成為主力玩家。

打開APP閱讀更多精彩內容

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容圖片侵權或者其他問題，請聯繫本站作侵刪。 侵權投訴