不久前,蘋果春季新品以官網直接上線的形式進行了亮相,沒有傳說中的iPhone 9,幾款新品大都是常規升級,包括iPad Pro、Mac mini和MacBook Air家族的產品。
但有一款產品卻不得不引起我們的關注,那就是2020版iPad Pro,不是因為其加入了「雙攝」,而是其首次引入的「雷射雷達」組件。在蘋果官網,對這部分做了相當篇幅的介紹。蘋果公司認為這是實現革命性AR應用的重要一步。以往,蘋果曾多次激進採用的新技術都改變了整個行業,Touch ID、Face ID結構光鏡頭、AirPods的SiP封裝等等,所以有必要從技術本身到應用及產業鏈深扒下這顆雷射雷達背後的玄機。
蘋果官網對iPad Pro雷射雷達組件的介紹
「雷射雷達」這兩年更多被提到是在自動駕駛領域,所以看到蘋果把雷射雷達裝到了iPad裡的消息,很多人的疑問是,雷射雷達不是長得「那麼大」,多用在自動駕駛汽車、掃地機器人上的嗎?難道是蘋果偷換了概念?
其實並不是一回事,在同多位業內從業者交流中得知,iPad Pro雷射雷達背後仍是ToF三維視覺技術方案,其實華為、三星、OPPO、vivo等安卓廠雖然早就玩過。比如華為智慧型手機中出現過的隔空操控屏幕,即利用了ToF鏡頭實現,但iPad Pro這裡用的ToF鏡頭技術和這些廠商所用有很大不同。
注意,蘋果iPad Pro上用的ToF技術多了一個前綴「d」,dToF。利用dToF,iPad Pro有望將AR應用效果的精確度、流暢性提高到新的級別,同時能耗大大降低。有人說,蘋果可能是第一個將dToF技術商用化的消費級硬體公司。
利用iPad Pro的雷達系統實現增強現實功能
據了解,應用在iPad Pro上的dToF雷射雷達,只是一個開始,iPhone或許很快也會用上,很有可能就在今年,早在兩年前蘋果就讓工程師研究後置三維深度相機。
從2017年首次推出ARKit,蘋果一直在探索AR在移動終端中的應用,這次dToF雷射雷達的加入是其繼結構光鏡頭模組之後在硬體上圍繞AR應用的又一次重要革新。蘋果的做法到底有什麼不同,背後又牽涉到哪些技術和供應鏈?通過與多位從業者的交流,我們來扒一扒iPad Pro雷射雷達葫蘆裡賣的什麼藥,以及背後又蘊藏著蘋果怎樣的AR野心。
iPad Pro裝雷射雷達,老賣點還是新變革?
說到雷射雷達,很多人會聯想到自動駕駛汽車。雷射雷達以接近真實的方式構建周圍的三維地圖,從而使汽車「看見」其它汽車、樹木、道路。
自動駕駛領域的雷射雷達公司RoboSense聯合創始人兼COO Mark告訴智東西,完全是兩回事,車載雷射雷達主要保障安全,識別距離遠,性能要求高;相比於男士錢包大小的車載雷射雷達,iPad Pro上的雷射雷達可識別數米,探測標準不同,成本也更低。
根據Mark的推測,新版iPad Pro背部的雷射雷達大概率採用的是Flash方案。固態雷射雷達目前大致形成了三種技術路線:MEMS、OPA與Flash。按照專業認知,其中MEMS和OPA均為掃描式,而Flash為非掃描式。簡單說,Flash就是快速直接發射一大面光牆,從而通過飛行時間法獲知深度信息,某種意義上,它類似於夜視攝像機,不過光源是自己主動發射出去的。
既然沒機械式的「掃描」動作,那麼蘋果官網上為什麼宣傳「雷達掃描儀」?相比於其它兩種技術路線,Flash不靠活動的機械部件,而是靠電子部件發出的數位訊號來控制雷射發射角度。因此,蘋果宣傳頁面中的「掃描」可能是描述了具象的感知過程,而不是機械運轉。
那麼,蘋果的雷射雷達和華為、OV、三星、小米等推出的ToF深度相機有什麼區別?其實,雷射雷達是傳感器硬體,ToF則是雷射測距的方法,指向的是一個事情。
OPPO R17 Pro的ToF模組
ToF譯為飛行時間法,是一個包羅萬象的術語,指的是通過光、氣體、液體等粒子的速度計算距離的一種技術,已有一百多年歷史。早在1887年,麥可遜就首次提出將光波作為測量長度的尺子。20世紀60年代,雷射的發明讓「以光測距」成為現實。
國內推出的智慧型手機中ToF相機模組的部分應用情況
用三星Note10系列手機進行三維建模
除此之外,蘋果只說了測量距離達五米,這不是很遠,同時5m內的識別效果怎麼樣,抗幹擾性怎麼樣?都還不知道,相信產品開賣後,用戶會有直觀體驗。
由此我們可以看到,蘋果iPad Pro上的dToF方案,和之前安卓手機上用過的iToF方案以及車載雷射雷達有這些異同:
1. 三者都用到了光學傳感和ToF距離計算方法。
2. iPad Pro的dToF方案相比車載雷射雷達,前者是固定的平面3D傳感器,後者是旋轉的單線或多線;同時Flash這一方式在車載應用中有感知距離短的問題,在蘋果設定的場景中則正合適。
3. iPad Pro的dToF方案相比安卓機的iToF方案,發射的脈衝信號不同,因而傳感器組件、算法也都有差異。
下面我們對dToF和iToF的差異做進一步的拆解。
一顆進化版的ToF相機,有何技術玄機?
雖然都是ToF測量方法,但是蘋果這次用的是dToF 直接測量飛行時間法,有別於華為Mate30、vivo NEX等機型中的iToF 間接測量飛行時間法。
dToF與iToF的主要區別
iToF與dToF的測量法示意圖
從圖表可以看出來,dToF相比於iToF在性能上要好很多,但在生產工藝上也更複雜。
由於採用dToF方法,iPad Pro背部的雷射雷達將能解決直接測距面臨的低時間解析度難題,達ps級時間解析度,精度也不會隨距離拉遠有大的衰減。換句話說,iPad Pro的ToF相機性能將提升的不是一點半點,它帶來了一顆進化版的ToF鏡頭,AR體驗的精準度、流暢度將大大提高,功耗也會大大降低。
視覺效果更真實、流暢的AR遊戲體驗
同時,dToF大多依託陣列SPAD等元件,而SPAD工藝非常複雜,世界上能做的廠家較少,集成難度高,這也是為什麼先前一直沒有廠家將dToF方案塞進手機平板累產品中的一大原因,不過現在逐漸有廠家開始將dToF技術引入到掃地機器人這樣的產品中,不過模組體積要比iPad Pro上大很多。
這裡引用一位知乎達人Zhang Eric對dToF關鍵部件SPAD的科普:
雪崩二極體是dToF的關鍵,下圖左起第一個是一般成像使用的PD,第二是APD,第三個是SPAD,其主要差別APD和SPAD在通過增加偏置電壓,在光子到光電二極體的時候會產生雪崩效應,就是產生大量的電子。這對成像不利,但是對於檢測脈衝則很好.而SPAD比PAD更敏感,也就是只需要很少的光子就能產生雪崩效應。
SPAD的小型化是dToF難以在手機等小型消費電子上使用的技術瓶頸之一,Zhang Eric認為,其實dToF並不是第一次在消費類設備上使用。最早在手機的後攝雷射對焦和蘋果Face ID測距也用到dToF sensor。但優於SPAD的難以小型化的限制導致sensor的的解析度很難提高。這次iPad Pro的雷射雷達在這方面是有所突破的,解析度比之前設備上的dToF都要高,他預估蘋果這次的雷射雷達解析度應該能達到QVGA~VGA間。
SPAD單光子雪崩二極體元件的功能特點示意
既然關鍵零件的小型化這麼難,蘋果又是如何做到的呢?有分析人士認為蘋果是將專門用於感光的雪崩二極體和數字電路部分完全獨立製造後進行晶圓級縫合而成,看來這極有可能又是蘋果倒逼供應鏈技術進步的一個例子。
誰會是iPad Pro雷射雷達背後的贏家?
那麼iPad Pro的雷射雷達背後的產業鏈供應商是誰?會是為蘋果提供Face ID技術的Lumentum嗎?Face ID同樣採用三維視覺技術獲取人臉深度信息,但其採用的是結構光三維視覺技術,與ToF、RGB雙目視覺是三種不同的技術方向,與iPad Pro上的雷射雷達-ToF方案也有區別。
同時,據外媒Fast Company上周報導,Lumentum公司表示還沒有和蘋果探討在未發布設備中使用其三維視覺技術。
為iPhone 7 Plus提供傳感器的意法半導體參與了嗎?該公司是全球首家提供基於SPAD技術的公司,目前也沒有回應。
另據了解,蘋果公司曾在2019年獲得了一項「Light Detection and Ranging Sensor」的授權,其中提到的Trilumina也可能參與了iPad Pro的雷射雷達設計。
一位雷射雷達產業鏈資深專業人士分析認為,iPad Pro背部雷達SPAT傳感器的供應商無外乎索尼、意法半導體、LG innotek等幾家公司。據推測,新版iPad Pro很有可能採用了索尼的背照式堆疊技術,採用LG在韓國大邱的攝像頭模組工廠製造,才將雷射雷達濃縮到如此小的空間裡。
有沒有國產玩家在內呢?該專業人士稱,國產Sensor還要很長一段路要走,國產模組、鏡頭則在準備一段時間後會陸續進入。還有業內人士透露,之前聽產業鏈消息說蘋果到2021年才可能推出dToF,目前來看,國產手機可能要兩年後才能做到這種程度。
華為Mate 30 Pro中的ToF方案供應商中有許多國產廠家
營銷賣點背後,蘋果的AR生態應用大廈
如果說iPad Pro的雷射雷達是一顆進化版的ToF相機,那麼我們又要回到老生常談的話題。
為什麼是蘋果第一個吃螃蟹,應用生態有沒有準備好?
從市面上已有產品來看,後置深度傳感器的應用主要有三大方向:
一是相機拍照優化,能使景深虛化、美顏等效果更好;二是AR體驗,比如人物識別、MR遊戲、體型測量、AR尺子、Emoji表情、三維建模、AR導航等;三是人臉解鎖、手勢操作等更複雜的功能。
利用AR進行導航
總體來說,這些應用都不夠硬。而在人臉解鎖、手勢識別相對硬核一些的應用上,ToF雷射雷達方案其實很容易被毫米波雷達、結構光三維視覺等方案替代。
「應用乏力」問題直擊ToF三維視覺技術的「切入點」和「落腳點」。如果三維視覺應用需求「硬」不起來,雷射雷達也好,ToF相機也好,都是科技圈換了馬甲、一年一更新的營銷賣點罷了。
但是,跳出來看,蘋果會不會是在醞釀什麼別的驚喜呢?很有可能。
蘋果為什麼選擇在iPad上最新推出ToF相機?有人說,可能模組還沒發小到能集成到手機上。
但是上周,外媒Fast Company報導今年至少有一款iPhone會在背後安裝ToF三維深度攝像頭。據稱,iPhone的工程師們已經花了至少兩年的時間研究後置三維深度相機,而更輕巧便攜的AR眼鏡也已經在路上。
除了技術上,蘋果自身也在推進AR應用的開發和賦能。早在三年前,蘋果就推出了AR開發平臺ARKit,但一直以來略顯低調。蘋果的AR布局已久,可謂「軟硬兼施」,還有一种放長線釣大魚的樣子。
醉翁之意不在酒,蘋果眼下在傳感器硬體上進行新嘗試,看中的卻是將AR應用程式和軟體生態帶向新的高度。在蘋果推動AR的三年時間裡,沒有「殺手級」應用出現。而雷射雷達傳感器的進展,就是要望解決這個難題。
在iPad Pro雷射雷達傳感器應用展示中,蘋果已經在努力展現其AR應用的強大。例如,其Apple Arcade Hot Lava遊戲,可以使用數據更快更準確地為客廳建模以生成遊戲表面;有一個CAD應用程式,可以掃描房間的3D模型並查看其外觀;另一個演示可以準確確定手臂的運動範圍。
利用AR玩逼真的在線遊戲
利用AR模擬生態系統
利用iPad Pro實現更多學習、工作方面的功能
據9to5Mac的Benjamin Mayo報導,蘋果公司目前正在為iOS 14系統開發一款AR應用,用戶可以將iPhone對準蘋果商店和星巴克的商品,從而在手機屏幕上看到商品的更多信息,以AR疊層形式顯現。
夏蟲不可語冰,蘋果的眼光,遠不在衝營銷賣點,而是在消費級AR的新風口,是一座平地而起的AR大廈。到時候,手機會不會變成了AR設備,蘋果會不會成了AR公司?
結語:一顆攝像頭背後,是蘋果的AR野心
蘋果iPad Pro推出雷射雷達,乍見驚奇,細看不足為奇。它更像一顆進化版的ToF相機,雖然這個賣點早在去年被各大安卓廠商玩過了,但蘋果的到來,可能會再次引燃這一技術應用。
早在2016年蘋果推出AirPods耳機的時候,並未引起行業的關注。但此後幾年的發展,直接催生了一個年出貨量過億臺的TWS耳機市場,而蘋果也因此創造了一個超過Mac電腦的營收新品類,立訊精密、歌爾股份等供應鏈公司更是跟隨TWS的東風,股價水漲船高。這次由iPad Pro開端的dToF技術應用,如果能夠廣泛使用,勢必會給上遊供應鏈帶來新的機遇。
在應用層則有可能催生真正的AR殺手級應用,畢竟蘋果為AR方向已經打了三四年的地基。從2017年首推ARKit,到推動開發者在AR應用上的開發,比如宜家公司的家具選購App等等,蘋果公司一直是AR領域最積極的探索者。
跳出這一層來看,蘋果在iPad布設雷射雷達背後還凸顯了更深遠的謀慮。隨著帶有後置ToF相機的iPhone也面世,那麼AR眼鏡、輕量級的MR設備還會遠嗎?再加持蘋果AR應用生態的雙管齊下,蘋果的AR大廈會不會越築越高?還有很多想像空間。