深度解析iphone x的結構光原理及結構

2021-02-25 光學技術社區

3D 立體影像傳感技術

        數位相機只能取得平面彩色影像,完全沒有深度的資訊,這代表當我們看到一張照片,只知道這個人的臉部有多寬多高,卻不知道他臉部的立體結構,例如:鼻子有多挺(有多深),為了取得影像的深度資訊,近年來許多廠商投入研發,目前比較成熟的技術有下列兩種:

Diode,LED)或雷射二極體(Laser Diode,LD)發射出紅外光,照射到物體表面反射回來,由於光速(v)已知,可以利用一個紅外光影像傳感器量測物體不同深度的位置反射回來的時間(t),利用簡單的數學公式就可以計算出物體不同位置的距離(深度),如圖 (a)所示。

Light Processor,DLP)打出不同的光線圖形,經由物體不同深度的位置反射回來會造成光線圖形扭曲,例如:打出直線條紋的光線到手指上,由於手指是立體圓弧形造成反射回來變成圓弧形條紋,進入紅外光影像傳感器後就可以利用圓弧形條紋反推手指的立體結構,如圖 (b)所示。


TrueDepth 相機

       蘋果將 iPhone X 所使用的 3D 立體影像傳感技術稱為「TrueDepth 相機」,採用結構光方案實現,結構如圖 1 所示,TrueDepth 相機為 700 萬像素的 CMOS 影像傳感器,配合紅外光相機、泛光照明器、接近傳感器、環境光傳感器、點陣投射器等組件,以下簡單介紹每個組件的功能:

1.  泛光照明器(Flood illuminator):使用低功率的垂直共振腔面射型雷射(Vertical Cavity Surface Emitting Laser,VCSEL),發射出「非結構」(Non-structured)的紅外光投射在物體表面。

2.  接近傳感器(Proximity sensor):使用低功率的垂直共振腔面射型雷射發射紅外光雷射,當有物體靠近時會反射雷射光,因此手機可以知道有物體接近,這個組件很早之前智慧型手機就有了,一般都是安裝在擴音器(Speaker)旁邊,當使用者撥電話並且將手機靠近耳朵時,接近傳感器偵測到耳朵接近就知道使用者正要講電話,會自動關閉屏幕節省電力消耗。

3.  環境光傳感器(Ambient light sensor):使用光二極體(Photo diode)可以偵測環境光亮度,在明亮的太陽下使用者眼睛瞳孔縮小,因此自動將屏幕調亮讓使用者容易觀看;在陰暗的室內使用者眼睛瞳孔放大,因此自動將屏幕調暗避免使用者感覺太刺眼。

4.  點陣投射器(Dot projector):使用高功率的垂直共振腔面射型雷射發射紅外光雷射,經由晶圓級光學(Wafer Level Optics,WLO)、繞射光學組件(Diffractive Optical Elements,DOE)等結構,產生大約 3 萬個「結構」(Structured)光點投射到使用者的臉部,利用這些光點所形成的陣列反射回紅外光相機(Infrared camera),計算出臉部不同位置的距離(深度)。

圖 1:iPhone X 使用的 3D 立體影像傳感技術。(Source:蘋果)

Face ID 解鎖原理與步驟

       Face ID 解鎖主要分為兩個步驟,首先必須辨識接近手機的是否為刻意靠近的臉部,或者只是使用者不小心由手機前面晃過去而已;確認是刻意靠近的臉部之後,才開始進行人臉辨識,從前面的介紹可以發現,啟動 Face ID 解鎖必須同時開啟好幾個組件,是有些耗電的,因此必須確認是刻意靠近的臉部之後,才開始進行人臉辨識。

       當有臉部或物體靠近時,會先啟動接近傳感器(Proximity sensor),再由接近傳感器發出訊號啟動泛光照明器(Flood illuminator),發射出非結構(Non-structured)的紅外光投射在物體表面,再由紅外光相機(Infrared camera)接收這些反射的影像資訊,傳送到手機內的處理器,iPhone X 使用蘋果自行開發的 A11 處理器,內建雙核心的「神經網絡引擎」(Neural Engine,NE),經由人工智慧的運算後判斷為臉部後,再啟動點陣投射器(Dot projector)產生大約 3 萬個光點投射到使用者的臉部,利用這些光點所形成的陣列反射回紅外光相機(Infrared camera),計算出臉部不同位置的距離(深度),再將這些使用者臉部的深度資訊傳送到手機內的處理器內,經由計算比對臉部特徵辨識是否為使用者本人。

       所有的 3D 立體影像傳感技術都面臨相同的問題,那就是深度資訊的精確度實際值大約只有 1%,意思是距離 1 米遠的物體量測出來的精確度與誤差大約是 1 公分的等級;Face ID 解鎖時臉部與手機的距離大約 10 公分,因此精確度與誤差大約是 1 毫米(mm)的等級,這大概足夠進行臉部特徵辨識了!此外,點陣投射器使用高功率的垂直共振腔面射型雷射發射紅外光雷射,雖然它的功率並不是真的很高,但是入射到眼睛,個人以為長期使用是否會造成眼球的傷害,是另外一個值得醫學界研究探討的問題。

ZEMAX中文論壇專供光學行業及光學工程師交流之用,目前註冊會員8000多,是專注於光學技術交流的網絡社區。

社區網址:www.optzmx.com

微信公眾號:ZEMAX中文論壇


相關焦點

  • 還是結構光 蘋果新機為何繼續選擇這項FaceID技術
    深度解析度結構光:100萬像素ToF:30萬像素深度精度結構光:刷臉精度≤1mm ToF:稍差不同時間的一致性結構光:更穩定ToF:稍差不同方向的一致性結構光:不存在多路徑反射問題ToF:多路徑反射可能導致人臉輪廓失真
  • 由榮耀V10說起 Face ID結構光技術大起底
    所以小編今天搜集了一些專業資料,試著和大家分享一下結構光方案人臉識別的深層次原理。結構光的原理不是「點」,而是「陣」結構光聽起來很高大上,但實際上也很好理解,工作時相關器件會投影具備一定結構的光,比如亮滅相間的條紋光線,如果打到平面上,那麼反射回來會是原樣粗細的條紋;而如果打到不規則物體上,那麼反射回來就會時條紋就會發生變化,然後根據計算,就能得出物體的結構了。
  • AI深度(續) | 3D人臉識別和雙目結構光慣導
    深度檢測主要技術方法在《AI深度(上) | 3D人臉識別和結構光》中,紐豪斯就提到深度相機分為雙目、ToF、結構光和雷射雷達四種。雙目跟結構光一樣,都是使用三角測量法根據物體匹配點的視差反算物體距離,只是雙目是用自然光,而結構光是用主動光發射特定圖案的條紋或散斑。
  • 工業機器人結構原理!詳細解析機器人手臂!
    工業機器人(機械手,機械臂,機械手臂)-隨著自動化和工業4.0的普及發展,機器人機械手在各個行業都有使用,它是自動化改造常用的機器設備,今天海智機器人就講講工業機器人結構和動作原理,詳細解析機器人手臂組成和配件。
  • iPhone X「劉海」深度解析:刷臉全靠它(圖)
    原標題:iPhoneX「劉海」深度解析:刷臉全靠它   ▌1.紅外鏡頭   劉海上第一個就是紅外鏡頭,這是此次iPhoneX上才添加的模塊,專為面部識別Face ID而生。
  • 抽水馬桶工作原理及結構介紹
    馬桶,日常生活的衛浴必用品,這是每個家庭都必須有的,但是如果我們一點也不了解馬桶的結構及原理,那麼當馬桶出現小問題的時候我們就被難住了,實際上馬桶的工作的原理是很簡單的,不過我們現在還沒有真正的了解馬桶,如果我們了解了就不會再覺得馬桶只是髒、臭的印象了。
  • 火花四射——當結構光掃描技術遇上可攜式測量臂
    結構光掃描儀儘管並不以測量速度著稱,但在數據收集方面,它們確實是非常高效的測量設備——結構光掃描儀可以瞬間完成數米寬部件的高清圖像。因此,當我們看到客戶在使用絕對臂測量系統來完成超大部件的數位化掃描所遇到的各種問題時,我們知道結構光掃描技術就是答案。
  • 深度解析:為什麼我不買iPhone X?
    比換一個新iphone更有意義!1、南  海中國固有的領土,一點不能少
  • 深度解析獵青無鉛自立漂、無鉛釣法!
    無鉛釣法是什麼原理?又有怎樣的優勢?諸如此類的問題還是很多,這裡呢小編給新手朋友們重溫一下這些問題。 老瑭給出了深度解析! 獵青無鉛自立漂3D結構視頻!
  • iPhone X徹底被玩壞!原來Animoji還能這麼用?
    而蘋果的面部解鎖,則是基於3D 結構光技術,iPhone X通過前置的 Infrared Camera 和 Dot Project 組件,iPhone X 能夠快速掃描人的面部並在人臉表面形成 3 萬個看不見的 IR Dot,就像 3D 建模一樣。
  • 華為P11劉海屏沒跑:配人臉識別對標iPhone X
    儘管華為P11採用異形屏設計讓不少人網友有些排斥,但這樣的做法顯然是為了結構光人臉識別功能而準備。並且根據聯創電子不久前在投資者互動平臺上確認的消息,聯創為華為生產的結構光鏡頭已經出貨,所以從時間點來看,華為P11搭載結構光鏡頭,並實現人臉識別功能也同樣已經實錘。而在此前的榮耀V10發布會上,華為已經通過相關結構光附件為我們展示了將來華為
  • VR眼鏡的基礎結構解析
    打開APP VR眼鏡的基礎結構解析 Rockeymen 發表於 2020-12-10 11:20:39 1.處理器 計算的核心,用來生成圖像,根據陀螺儀數據計算姿態定位等。
  • 從5G和3D結構光,看OPPO技術驅動引擎如何加速度
    此次演示在深圳的OPPO研究院進行,由集成3D結構光攝像頭的定製版OPPO R11s智慧型手機,通過手機的RGB和結構光攝像頭分別採集人物色彩和3D信息,經過5G傳輸,最終在遠端接收顯示器實現三維人像畫面的還原。這其中涉及了面向未來的兩個核心技術:3D結構光和5G。3D結構光是一個技術術語。
  • 《彩虹六號圍攻》開鏡靈敏度原理解析
    導 讀 展開 《彩虹六號圍攻》有不少玩家並不明白壓槍的原理,也不清楚壓槍究竟是如何做到的,下面小編就為大家帶來一篇《彩虹六號圍攻》開鏡靈敏度原理解析,
  • 素描入門教程——帶你深度解析五官結構
    有不少同學都開始畫素描人像了並且畫的腦闊痛送大家一期五官解析吧然後去畫個幾百幾千張的1嘴巴觀察正面嘴唇時,上嘴唇的輪廓基本形為「M」,下嘴唇 基本形為「W下面有一個大的溝槽,稱為領唇溝,是下唇結構的重要部分。正面角度嘴部左右透視距離基本對稱,兩邊嘴角完整展現。人中在嘴唇垂直正.上方。上唇注意亮面的色調有微弱區分。同時,上下唇之間結合處不是平直的,中間與嘴角形成了微妙的起伏。朝上朝下的兩面色調區分明確,注意暗部的反光,體現上唇往裡繞的深度關係。