3D成像:飛行時間法(ToF)可望推動CMOS圖像傳感器的發展

2020-12-16 電子發燒友

3D成像:飛行時間法(ToF)可望推動CMOS圖像傳感器的發展

伍文輝 發表於 2018-04-02 09:33:40

3D成像(3D imaging)技術問世已有幾十年之久,但商用產品卻在本世紀初才開始上市。起初,電影製作公司使用最新高解析度攝影機製作3D影片;在那之後,3D成像技術發展迅速,橫掃消費品市場與機器視覺產業。

第四次工業革命對目前的流程監控與自動化規模提出了前所未有的要求,也為3D視覺帶來了新的發展驅動力。傳統的2D視覺方法已無法滿足複雜物件識別與尺寸標示應用的精確度與測距要求,日益難以因應越來越多的人機協同工作等複雜互動狀況。本文回顧工業市場的3D成像技術,探討為何飛行時間法(Time of Flight,ToF)成為當前最具發展前景的方法,最後概述ToF系統專用的CMOS圖像傳感器最新發展。

3D成像概述取得3D圖像主要有四種方法,包括立體視覺法(Stereo Vision)、結構光法(Structured light)、雷射三角法(Laser triangulation)以及ToF。後三種方法屬於自動成像系列,需要用到人造光源。

立體視覺法

立體視覺法需要安裝兩臺攝影機來取得物件的不同視角(圖1)。採用校正方法調整攝影機與準確深度信息之間的像素信息使之一致,這類似於大腦目測距離的原理。因此,在系統中融入認知過程仍離不開大量的運算工作。

立體視覺法採用標準圖像傳感器,因而降低了成本。傳感器越複雜(例如高性能傳感器或全域快門裝置),系統成本越高。其應用的距離範圍受到機械局限的限制:過程中需要一條實體基準線,因而需要更大尺寸的模組,同時還需要精確的機械對準與重新校正。此外,此方法不適用於光線條件差或變化不定的情況,很大程度上取決於物件的反光特性。

圖1 立體視覺(來源:Tech Briefs)

結構光法

在結構光方法中,預先確定的光圖案被投射於物件上,然後通過分析圖案如何失真變形而取得深度信息。由於frame周期並無概念上的限制,也不至於造成任何動作模煳不清,對於多路徑界面非常適用。然而,自動照明要求配置複雜的攝影機,以及在鏡頭與圖形投影儀之間提供精確、穩定的機械校正功能。此外,這種方法存在著標定降級(de-calibration)的風險,反射的圖案對於環境中的光幹擾非常敏感,而且也僅限於室內應用。

圖2 結構光法(來源:University of Kentucky、Laser Focus World)

雷射三角法

雷射三角法針對一條光束的幾何偏移量進行測量,其數值與物件高度相關。這是一種基於物件掃描的單維成像方法。雷射點出現於攝影機視野範圍內的不同位置,具體取決於雷射打在物件表面的距離範圍。由於雷射點、攝影機與雷射發射器形成了一個三角形,因此這種方法被稱為三角法。

圖3 雷射三角法位移與位置監控應用要求高準確度、高穩定性以及低溫度變化,因此,一般採用高解析度雷射。雷射三角法的缺點在於這種方法只能覆蓋到一段較小的距離範圍,易受環境光線影響,並且僅限制於掃描應用。同時,它需要用到複雜算法與校正,而且受到結構性或複雜表面的影響。

飛行時間法

此方法體現了在攝影機與場景之間,通過光子雙向飛行時間直接獲取或計算距離的所有測量實施方法——可通過直接飛行時間法(D-ToF)或間接飛行時間法(I-ToF)測量方式執行。D-ToF的概念很簡單,但需要配置複雜且具有限制時間解析(time-resolved)的裝置;I-ToF的操作更簡單:光源與圖像傳感器同步。光的脈衝以與攝影機快門一致的相位發射。採用光脈衝去同步化作用計算光子飛行時間,就能推導出發射點與物件之間的距離。

圖4 ToF工作原理這確保我們能夠對每個像素的深度與幅度進行直接測量。這種圖像稱為深度圖像。該系統具有較小的高寬比,只需一次校正,即可在環境光線條件下運作良好。不足之處在於它需要主動照明同步,而且可能出現多路徑幹擾與距離混疊。

3D成像技術方案比較

每種方法都具有各自不同的優缺點,如表1。

表1 常用的3D成像技術比較

目前,3D系統的應用尚未普遍,因此主要採用3D立體視覺法、結構光攝影機或雷射三角法系統。這些系統在固定的工作距離內運作,針對特定的測距區域則需要進行大量的校正工作。ToF系統可克服這些方面的挑戰,從應用面提供更大的靈活性。目前,由於像素的複雜度或耗電問題,大部份的商用解決方案仍受限於採用視頻圖形陣列(VGA)或更低的圖像解析度。

飛行時間法的CMOS圖像傳感器方案看好ToF的應用前景,Teledyne e2v開發出首款3D ToF解決方案,支持130萬像素解析度深度以及1英吋光學格式,並配置高靈敏度、高動態範圍的CMOS圖像傳感器。

這種ToF途徑可實現灰階圖像與深度融合功能:

- 先進的130萬像素深度圖解析度:全解析度的深度圖,準確度達±1cm、速度快

- 可獲取快速移動的物件3D圖像:速度高達120格/秒(fps),30fps的解析度深度圖、全域快門效率高

- 3D檢測範圍大:0.5~5m,支持90dB高動態範圍(HDR)

- 可見光與近紅外光(NIR)高靈敏度傳感器:850nm波長時量子效率約50%,支持HDR:夜間/日夜視覺

- 嵌入式3D處理:多個感興趣區域(multi-ROI)——雙視窗、像素合併(binning)、晶片長條圖資料統計功能

最新開發的展示平臺可用於評估以深度圖或點雲格式輸出的獨特1.3MP深度解析度。

如圖5所示的ToF系統展示平臺由一個精巧的1英吋光學成像系統構成,配置高靈敏度的1.3MP圖像傳感器。該平臺內建多整合晶片功能(閘極傳感器)、光源以及相關光學元件,並以1.3MP全解析度實現ToF成像。

圖5 ToF展示平臺(來源:Teledyne e2v)

採用ToF的5T CMOS圖像傳感器主動成像

主動成像使用同步光源。輔助自動對焦功能是主動成像的簡單形式,可見於低光條件下採用紅外光測距的現代攝影機中。主動成像可應用於惡劣天氣條件(如下雨或起霧時)。而採用同樣的傳感器則可能實現兩種主動成像方法:距離選通法與ToF。距離選通法(range gating)結合了兩種組成:脈衝光波前端裝置與一臺專業高速快門攝影機。首先將光線發射至目標物件,當反射光從反射表面返回時,攝影機高速電子快門適時地開啟。距離選通成像可依據光與傳感器的同步特性選擇圖像平面距離。因雨天、多霧或霧氣粒子瀰漫的環境導致目標物件與攝影機隔離時,部份光子仍得以穿過介質返回攝影機。這些光子被稱為「彈道光子」(ballistic photon)。雖然這類光子數量較少,但可同步獲取這些光子,因此可通過散射介質進行成像。距離選通方法可在遠距離成像,且幾乎不受任何限制,但具體也取決於光源的強度。飛行時間法(ToF)的工作原理不同於距離選通。它可以直接測量ToF光線,從而推導出反射面的距離。由於物件與攝影機之間距離短,因此,基於ToF的系統需要配置一個全域快門攝影機。相較於主動成像,ToF並非聚焦於特定的圖像平面,因而能在理想範圍內直接成像。如圖6所示,距離選通圖像獲取的建置主要依據同步的攝影機光源系統。它能在主/從模式下運行,具體採用哪種模式取決於應用環境的狀況。攝影機配置了快速的全域快門,速度快達數百納秒(ns)。光源根據T0時間點攝影機的觸發情況發射光脈衝。經過一段時間後(T1),光脈衝到達此距離範圍,並根據是否存在物件而發生反射與否。在發生反射的情況下,光線在T2期間返回攝影機;在此情況下,T3 = T0 + 2 τ,其中τ是攝影機快門開啟並獲取到反射信號的返程飛行時間。在信號格的時間內,這種周期過程周而復始幾千次,最終累積到足夠的信噪比(SNR)。產生的圖像為灰階圖像,且僅與出現在距離範圍內的物件一致。為了產生一個深度圖像,必須在距離選通模式下掃描多個深度以取得一組圖像,或調整延遲時間。然後根據這組圖像計算各個點的距離。

圖6 距離選通工作原理圖7描述了全域快門的像素傳感器結構,以及其產生短曝光與信號同步的原理。最簡單的全域快門形式採用五個電晶體(5T)構成的像素,以及一個專用相位驅動器。因此,信號積分相位並不是一次性完成的,而是隨著同步多次積分而逐漸形成的。

圖7 全域快門像素結構Teledyne e2v的專利技術基於5T像素結構與計時產生器,以實現Δt周期(Δt周期縮短至10ns左右)。這表明在暫態解析度方面已獲得了巨大的提升。支持高靈敏度/低雜訊的1.3MP CMOS圖像傳感器正配置了這項功能,並帶有多暫態積分模式(又稱「累積」模式)。此外,在圖像傳感器還需要有高寄生電荷靈敏度(PLS),也稱為「消光比」(extinction ratio),能避免攝影機選通「關閉」期間的雜散光線,進而獲得清晰的圖像。

圖8 支持計時調整與同步電路的5T像素CMOS需要充份的「消光比」,以避免場景的背景光線

為了提高工業系統的有效性與自主性,視覺系統在視覺引導機器人與其他自主機器設備中的應用日漸增多,目前已開始採用3D視覺系統(如物件識別、準確度)。現有的幾種3D方法都各自具有優點與限制,可取決於具體的應用要求作選擇;其中,飛行時間法(ToF)提供了非凡的3D視角,可望推動新一代專用CMOS圖像傳感器的發展。

打開APP閱讀更多精彩內容

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容圖片侵權或者其他問題,請聯繫本站作侵刪。 侵權投訴

相關焦點

  • cmos圖像傳感器結構_cmos圖像傳感器市場
    cmos圖像傳感器結構   CMOS圖像傳感器的像素結構目前主要有無源像素圖像傳感器(Passive Pixel Sensor,PPS)和有源像素圖像傳感器(Active Pixel Sensor,APS)兩種,如圖1所示。
  • CMOS技術的圖像傳感器,對高性能、高解析度成像的要求有哪些?
    CMOS技術的圖像傳感器,對高性能、高解析度成像的要求有哪些? 工程師周亮 發表於 2018-09-30 08:46:12 儘管基於CMOS技術的圖像傳感器在許多應用中已得到廣泛應用,但一些要求嚴苛的工業成像應用仍需要CCD圖像傳感器獨有的性能。
  • CMOS圖像傳感器推動機器視覺技術系統軟體的發展
    機器視覺技術的定義源於智慧機器人行業,美國機器人行業協會將其定義為:「根據光電設備和非接觸式傳感器,自動接收並求解真實物體的圖像,從而獲得 所需的信息內容或用於控制智慧機器人健身運動的設備。」 機器視覺技術往往以詳細的系統軟體形式出現,可分為電子光學成像、光學鏡頭、圖像處理、IO、信息顯示五大控制模塊。
  • ToF技術推動3D視覺井噴
    TOF 是飛行時間(Time of Flight)技術的縮寫,其原理是:傳感器發出經調製的脈衝紅外光,遇物體後反射,傳感器通過計算光線發射和反射時間差或相位差,來換算被拍攝景物的距離,以產生深度信息,此外再結合傳統的相機拍攝,就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現出來。
  • 中國CMOS圖像傳感器產業迎來新突破
    換成@)用於成像和傳感的攝像頭需求激增正在推動CMOS圖像傳感器的產業發展! 2016年和2017年CMOS圖像傳感器市場(按照應用領域細分) CMOS圖像傳感器產業從佔據42%市場份額的全球龍頭企業——索尼(Sony)的運營復甦中獲益,以較高的增長速度發展,並已成為半導體行業中關鍵的組成部分
  • 新型XGS CMOS圖像傳感器增強安森美半導體的高解析度工業成像陣容
    推動高能效創新的安森美半導體(ON Semiconductor),擴展高性能、低噪聲的XGS系列圖像傳感器,該系列產品以高幀速率提供12位圖像質量。
  • 3D成像技術來襲 金融科技將迎來哪些變革?
    被動式視覺效仿生物的雙眼視覺(binocular vision)原理,由至少2枚圖像傳感器(image sensor)構成,運用其觀測對象在每個圖像傳感器單獨成像的位置,結合2枚圖像傳感器的相對物理位置,根據幾何關係測量原理,可以計算出景深(depth)。請注意,景深和距離是不同的概念,如下圖1所示。
  • CMOS圖像傳感器產業現狀 國產幾近於無
    2016年和2017年CMOS圖像傳感器市場(按照應用領域細分)  CMOS圖像傳感器產業從佔據42%市場份額的全球龍頭企業——索尼(Sony)的運營復甦中獲益,以較高的增長速度發展2016年和2017年CMOS圖像傳感器各大廠商的市場份額  上述一些市場正推動有實力的CMOS圖像傳感器廠商通過資金投入來跟上技術和產能的發展。
  • CMOS圖像傳感器在安防攝像機中的應用
    隨著各式消費性電子的興起,圖像傳感器已成為半導體業中最耀眼的明星產品之一,而在圖像傳感器中,CCD傳感器與新興成長的CMOS Sensor也逐漸找到自己的應用市場,希望成為市場上的主流技術。CMOS圖像傳感器與CCD傳感器相比具有感光度低、信噪比高的缺點,但是其仍具有低功耗、低成本等優點。
  • 思特威CMOS圖像傳感器 圖像信噪比得到了極大的提高
    自成立伊始,思特威就專注於視覺成像尖端技術的自主創新與研發,並且憑藉著其出色的超星光級夜視全彩成像技術、StackBSI的全局曝光技術、單幀HDR技術以及近紅外增強等諸多業內頂尖的技術成果獲得眾多一線客戶的青睞
  • 高性能標準CMOS傳感器在3D視覺技術中的應用
    它在工廠或倉庫應用有不可或缺的角色,而隨著區塊煉技術的引進和電商市場發展,它在物流中心和運輸應用有顯著的增長。Teledyne e2v 擁有專為條形碼掃描而設計的2D 成像產品,例如是集合高性能和能夠實現高可靠性高速掃描的Snappy 傳感器系列。 3D圖像的生成有好幾種技術和科技。
  • CMOS傳感器在3D視覺、感測和度量中的應用
    它在工廠或倉庫應用有不可或缺的角色,而隨著區塊煉技術的引進和電商市場發展,它在物流中心和運輸應用有顯著的增長。Teledyne e2v 擁有專為條形碼掃描而設計的2D 成像產品,例如是集合高性能和能夠實現高可靠性高速掃描的Snappy 傳感器系列。3D圖像的生成有好幾種技術和科技。
  • CMOS圖像傳感器,路在何方?
    CMOS圖像傳感器上集成了許多微小的光敏像素。像素間距指從一個像素中心到另一個像素中心的距離,以微米(m)為單位。並非所有手機都需要配備最先進的CMOS圖像傳感器,也並非所有消費者都樂於用手機拍照。但不可否認,消費者對更多成像功能的追求不會停止。
  • 意法半導體:飛行時間測距傳感器--ToF
    意法半導體:飛行時間測距傳感器--ToF 廠商供稿 發表於 2019-03-27 08:47:12 TOF是飛行時間(Time of Flight)技術的縮寫,即傳感器發出經調製的近紅外光
  • 我國研發出世界最高解析度CMOS圖像傳感器
    人民網深圳11月17日電(趙竹青)長久以來,我國用於高端光學成像的核心元器件一直受制於人。然而,在16日召開的第十七屆中國國際高新技術成果交易會(高交會)上,記者看到了世界上像素解析度最高、靶面最大的CMOS傳感器GMAX3005,以其1.5億像素的超高解析度,打破了我國一直以來都不具備高解析度和高靈敏度CMOS圖像傳感器研發能力的窘境。
  • 圖像傳感器大PK:CMOS較量CCD
    圖像傳感器包括CCD與CMOS兩種。其中,CCD是「電荷耦合器件」(Charge Coupled Device)的簡稱,CMOS是「互補金屬氧化物半導體」(Complementary Metal Oxide Semiconductor)的簡稱。
  • CMOS圖像傳感器的基本原理及設計考慮
    如果把CMOS圖像傳感器的光照靈敏度再提高5倍~10倍,把噪聲進一步降低,CMOS圖像傳感器的圖像質量就可以達到或略微超過CCD圖像傳感器的水平,同時能保持體積小、重量輕、功耗低、集成度高、價位低等優點,如此,CMOS圖像傳感器取代CCD圖像傳感器就會成為事實。
  • 索尼並非獨一無二 手機CMOS圖像傳感器誰家更強?
    發展一些不同路線 比如RGBW除了上面提到這些比較主流的索尼圖像傳感器,還有一些相對偏門的產品,比如LG G4、nubia Z9系列所用的IMX234;再比如華為P8採用一種叫做RGBW的IMX278傳感器,P8發布後短時間內引起了人們熱烈討論。
  • CMOS圖像傳感器在全球安防和汽車市場的表現
    自從蘋果在2007年推出iPhone之後,智慧型手機就成為了集成電路和半導體市場的重要營收來源,在手機和消費者推動下的CMOS圖像傳感器(CMOS Image Sensor,CIS)產業也毫不例外。日本廠商索尼甚至憑藉在CIS上面的表現,一改以往的頹勢,開啟了新一輪增長,國內也湧現了格科微、比亞迪、思比科和思特威等一系列CIS廠商,市場也在快速增長。
  • 思特威科技:重磅推出了兩款CMOS圖像傳感器
    縱觀當前安防監控、網絡攝像機主流市場,200萬像素的全高清CMOS圖像傳感器仍然是眾多鏡頭集成商們的首選,但隨著安防監控市場的發展以及人工智慧應用的滲透普及,更高清的畫質、複雜光線環境下的良好適用性等要素,已經成為網絡攝像機與安防監控應用廠商迫切的需要。