導讀:ToF在近期被我們越來越熟知,ToF是Time of Flight的縮寫,即飛行時間。簡單來講,就是通過內置在手機或其他設備上的ToF模組,向物體連續發射雷射信號,再用一個傳感器接受反射回來的光,計算與物體之間的距離,從而讓設備形成立體視覺,實現多場景的應用。
因為ToF的綜合性能更加優秀,在現有的手機、平板,到掃地機器人、智能安防設備、醫療器械、工業視覺等領域,ToF都在全面開花,隨著未來AR/VR/MR的場景應用化,未來還有更廣闊的想像空間。
手機、平板和各類智能設備,越來越成為我們生活中不可或缺的物品。在非專業領域的攝影設備中,手機、平板現在已經佔據了97%以上的市場,膠片相機、微單、單反、DV,也都以令人驚嘆的速度消失於我們的視野,而手機的迭代更新和攝像頭的數量的增加,也是超乎人們想像的快。
第一臺前置攝像頭的手機:
京瓷VP-210(1999年)
第一臺後置攝像頭的手機:
夏普J-SH04(2000年)
100萬像素:卡西歐A5401CA(2003年)
自動對焦:松下P505iS(2003年)
光學變焦:夏普V602SH(2004年)
1200萬像素:索尼愛立信Satio(2009年)
第一臺支持雙攝像頭的手機:LG P925(2011年)
雷射對焦:LG G3(2014年)
結構光Face ID:iPhone X(2017年)
首款搭載ToF鏡頭手機:OPPO R17(2018年)
三攝+ToF:VIVO NEX(2018年)
四攝:三星Galaxy A9(2018年)
小米CC9:一億像素(2019年)
五攝ToF:華為P40 PRO+(2020年)
首款搭載ToF鏡頭的平板:iPad Pro(2020年)
還有諾基亞恐怖誇張的七星瓢蟲
對於科技愛好者和數碼愛好者而言,上述裡程碑事件的發生仿佛還歷歷在目,現在手機攝像頭的數量也跟花灑一樣多和密,網友甚至戲稱現在手機攝像頭的排布跟我們的國粹「麻將」的筒牌排列如出一轍,超過9個之後再怎麼辦?
玩笑歸玩笑,現實生活中,手機攝像頭的像素越來越高,鏡頭也從黑白單攝、彩色單攝、高像素、雙攝、三攝、四攝、五攝快速迭代,價格越來越低,用照相機去記錄生活的人也越來越少了。
2017年,蘋果的十年重磅產品iPhone X發布,其中突破性的人臉解鎖和支付的Face ID更是引爆市場。2018年,OPPO R17和VIVO NEX首次搭載TOF攝像頭,將3D成像這一在手機上的應用方式,推上了風口浪尖。
3D成像技術和ToF攝像頭:
主流的3D成像技術包括雙目成像測距、結構光和ToF攝像頭。
「奢侈」的雙目測距
雙目測距,顧名思義,通過2個「眼睛」(Stereo Camera)拍攝同一物體,因為攝像頭之間的空隙,理論上就可以構建出一個物體的三維模型。
只要知道兩個攝像頭之間的距離,計算偏角,就可以得出物體到攝像頭的距離。但與此同時,雙目攝像頭帶來的計算量將會陡然升高,並且,兩個攝像頭的間距一定要越大越好,否則達不到最佳效果,至少要與人眼的間距接近。
我們之所以能實現快速準確的對眼前的一切物品實現立體感知,因為人的一雙眼睛就是最經典的雙目成像「產品」。
谷歌對雙目成像及時投入了大量的精力,在2014年啟動的Project Tango作為雙目測距的代表性產品,連歐巴馬都親身代言:
谷歌宣稱,雙目測距在功能上也很強大:支持感知測繪,三維場景建模,運動跟蹤,以及AR技術等。
然而,為了實現「雙目測距」,谷歌的左右攝像頭岔開了一個手機的高度,這在消費級手機上是根本不可能實現的。
上圖為Google Project Tango原型機
雙目測距有還有天生的弊端,兩顆「眼睛」必須保持一定距離,而且需要用到兩個攝像頭模組,一來產品比較厚重,二來成本比較高,目前在一些工業應用和汽車領域有少量使用,真正的消費電子,已經面世的產品銷量平平且很快被遺忘。
LG的Project Tango產品
iPhone的思考:「結構光」
2017年,iPhone十周年,蘋果推出了他們的深度構思:Face ID。
和雙目測距相比,結構光只需要一個雷射發射器和一顆攝像頭進行接收。結構光採用的是「形變」原理,當光打到物體表面時候,勢必會因為物體表面的凹凸不平導致投影偏移。攝像頭可以記錄並進行分析,產生深度圖像。
蘋果將結構光技術用於人臉識別,實現解鎖和支付的功能,由於投放的是點陣,夜間也可以很好地工作,同時距離要求相比雙目攝像低很多。在iPhone X推出的一年後,OPPO Find X,小米8探索版均搭載了結構光模組。
但是為了保證識別精度,點陣投影器和接收器需要保留一定的距離,iPhone X 上的 3D 結構光就需要 25 毫米左右,「大劉海」始終不美觀,在顏值至上的今天,消費者越來越難以接受。其次,結構光不抗強光,白天投射出來的雷射點陣,很容易被強自然光淹沒。
並且,當物體距離相機較遠時,物體上投射到的圖像或光點越大,精度也越差,所以,結構光近距離體驗佔優,但無法在遠距離上發揮優勢(大多在1米內)。目前幾乎所有的廠商(包括蘋果)都放棄了在手機端使用結構光技術。
崛起的ToF
所以在以手機為代表性的行動裝置中,哪一種解決方案最能滿足要求呢?現在看來,ToF技術是行之有效的解決辦法。
ToF有如下優點:
1)模組小,集成度高;
2)未來成本有進一步降低的空間;
3)ToF的測量範圍達數米,並且不容易被強光所影響;
4)可以應用的場景非常豐富。
ToF模組
ToF除了有點陣、線陣方案,更有面陣方案,精度更高。
所以,我們可以看到,部分廠商例如華為的最新旗艦機型,不僅在後置鏡頭上安裝了ToF,前置攝像頭上也上了ToF,作為人臉識別的支持硬體。
一向固執的蘋果也動了心,蘋果已經在前不久發布的最新款iPad Pro上使用了搭載dToF技術的雷射雷達,並且根據目前的情報,今年的新iPhone將會在後置攝像頭上上馬ToF模組。
當然ToF技術也並不是完美無缺,目前ToF最大的問題,一是模組成本較貴,國內的公司產品也還比不上索尼、意法半導體等大廠;二是主流的ToF鏡頭解析度較低,目前還以使用240*180為主,不過例如深圳光微科技有限公司等企業,已經成功的設計出了1280*960解析度的ToF鏡頭,晶片和算法也全部掌握自主智慧財產權,相信不久的將來,能很快打破國外廠家壟斷的格局。
技術講完了,那麼ToF鏡頭和這個技術最終到達消費者身上,能在哪些應用場景給我們的生活帶來哪些改變?
(1)虛擬實境、增強現實
蘋果砸重金,最看重的就是在虛擬實境和增強現實上的應用,包括了AR試裝、虛擬會議、手勢識別、遠程教育、家居家裝、花卉識別等等。
(2)基於人臉識別的應用
人臉識別已經是ToF的最基本功能,基於人臉3D建模產生的應用場景,也可謂豐富多彩,包括行動支付、角色創建、藝術應用(繪畫、雕塑)、智能門鎖、以及軍警用的逃犯追蹤定位、公共安防等。
智能門鎖近幾年可謂大熱門,再也不用帶鑰匙出門。可謂誰試誰知道。除了現有的鑰匙、NFC門禁、藍牙、指紋、虹膜等解鎖技術外,人臉解鎖目前基本都是使用的普通攝像頭通過對比已存儲的照片進行解鎖,理論上用照片就可以打開,十分的不安全,與行動支付的原理一致,使用ToF鏡頭對人臉進行完整的3D建模後解鎖或支付,能極大的提高安全性和可靠性。
在安防領域,還有更有意思的應用。
1)居家安防:基於移動檢測報警,判斷家裡是否有小偷或者不速之客的入侵,相信大家也都有所耳聞,但是家裡的小朋友或者貓貓狗狗如果不小心跑動,也會不斷的報警,有了ToF技術的3D感知,對已有的「安全」目標進行定義後,只對沒有存儲內容的「物體」進行預警,可以大大提高用戶的體驗。
2)軍警監控:藉助天網系統和已經有的公共場所監控系統,增加ToF技術,可以實現對特殊場合精確的「數人頭」和「找人頭」,對公共安全和犯罪偵查也能提供幫助。
(3)掃地機器人
掃地機器人也是近年來火熱的產品,跟洗碗機洗衣機一樣,如果有機器能做,誰還願意自己去掃地。
但是根據市場調研,買完掃地機的消費者的評價並不高,主要原因有2個,一是根本掃不乾淨,二是機器人太傻,不知道規劃路徑,還經常被卡住。
基於這個痛點,掃地機器人的龍頭企業科沃斯、石頭等都已經開始在自己最新一代的產品上布局使用線陣ToF技術,來實現對現有掃地機器人智商的提升。利用ToF攝像頭,機器人在掃地之前,就會對家裡的情況進行3D建模,哪裡有樓梯、哪裡有障礙物,在開始工作之前,可以讓主人先確定例如廚房位置、衛生間位置,定義這些地方需要用去汙能力更強的溼抹布或者增加清潔劑,對於普通位置,掃地機器人有了家庭的3D模型後,可以更加智能的規劃路線和避障,讓掃地機器人更加聰明,掃地更乾淨。
(4)無人駕駛
汽車的未來毫無疑問一定是電動化、智能化、無人化。從特斯拉這個汽車的「攪局者」開始到今年突如其來的疫情,又讓無人駕駛走到人們的視野中。
疫情期間一些物資運輸和物流方已經採用無人車送貨的方式,避免人與人直接接觸的問題;有些醫院採用了無人消毒、清潔車;有些在醫院為患者進行無人送餐等。諸如這些鮮活的事例在這次疫情中可以說是不勝枚舉。據統計 ,我國這次採用自動駕駛的達到十幾個地級市,北上廣都涵蓋在其中,同時此次使用的投入量也達到數百個。不僅在國內,國外也是如此,法國的NAVYA與美國的診所合作,也開始進行無人車配送藥品或者檢測樣本。
「自動駕駛」在這次疫情中實際的投入和使用,雖然是牛刀小試,但足以讓人們對此有了全新的認識。由此我們看到了自動駕駛領域應用的廣泛前景和巨大市場潛力。自動駕駛一直是人類對未來的幻想,而想要實現真正的無人駕駛仍然面臨諸多挑戰。如何快速實現商業化,是現在很多投資自動駕駛的公司所倍加關注的問題。以前更多的聚焦是在無人車是一種交通工具,主要用於解決運輸人的問題;而現在,它更像是可以成為替代簡單重複性工作的「助理」。
ToF和AI在無人駕駛中的應用,可以很好地解決一個無人駕駛的最基本的問題:識別、建模和避障,知道哪條路可以走,哪裡有障礙物。配合其他技術和算法,以及智能道路RSU(Road Side Unit),配上雷射雷達的掃描處理,讓汽車和道路進行信息的即時傳遞,以此大幅提升無人車路徑規劃和決策的準確性。隨著5G的商業化部署和其他新技術引入,勢必也將給無人駕駛汽車行業和各國政府所選擇的技術路線帶來更多新的機遇和挑戰。
(5)工業視覺
機器視覺在工業上應用領域廣闊,核心功能包括:測量、檢測、識別、定位等。產業鏈可以分為上遊部件級市場、中遊系統集成/整機裝備市場和下遊應用市場。機器視覺上遊有光源、鏡頭、工業相機、圖像採集卡、圖像處理軟體等軟硬體提供商,中遊有集成和整機設備提供商,行業下遊應用較廣,主要下遊市場包括電子製造行業、汽車、印刷包裝、菸草、農業、醫藥、紡織和交通等領域。
機器視覺中,缺陷檢測功能,是機器視覺應用得最多的功能之一,主要檢測產品表面的各種信息。在現代工業自動化生產中,連續大批量生產中每個製程都有一定的次品率,單獨看雖然比率很小,但相乘後卻成為企業難以提高良率的瓶頸,並且在經過完整製程後再剔除次品成本會高很多(例如,如果錫膏印刷工序存在定位偏差,且該問題直到晶片貼裝後的在線測試才被發現,那麼返修的成本將會是原成本的100倍以上),因此及時檢測及次品剔除對質量控制和成本控制是非常重要的,也是製造業進一步升級的重要基石。
在檢測行業,與人類視覺相比,機器視覺優勢明顯
1)精確度高:人類視覺是64灰度級,且對微小目標分辨力弱;機器視覺可顯著提高灰度級,同時可觀測微米級的目標;
2)速度快:人類是無法看清快速運動的目標的,機器快門時間則可達微秒級別;
3)穩定性高:機器視覺解決了人類一個非常嚴重的問題,不穩定,人工目檢是勞動非常枯燥和辛苦的行業,無論你設計怎樣的獎懲制度,都會發生比較高的漏檢率。但是機器視覺檢測設備則沒有疲勞問題,沒有情緒波動,只要是你在算法中寫好的東西,每一次都會認真執行。在質控中大大提升效果可控性。
4)信息的集成與留存:機器視覺獲得的信息量是全面且可追溯的,相關信息可以很方便的集成和留存。
ToF在機器視覺成像尤其是3D視覺和深度學習上的應用,可以極大的提升工業行業的效率和品質。
(6)物流倉儲
電商的迅速發展也帶動了物流行業的迅速發展,目前全球的物流行業每年還能保持15%以上的速度發展,中國更是超過30%。迅速發展的背後,每個物流企業都越來越重視成本和效率,ToF在物流行業也有突破性的運用。
搭載工業級ToF攝像頭的機器可以精準快速的掃描出物品的體積,配合稱重設備,配合計算機能快速的計算出貨車、飛機貨倉的最佳配重和裝配方案,以及倉庫的倉儲方案,極大的提高了空間的利用效率。
(7)醫療器械
在醫用領域,ToF也有他能大顯身手的地方。
在已有和在研的產品中,ToF鏡頭已經被設計到了3D牙齒掃描、智能監控陪護、骨畸形矯正治療、運動檢測等,相信不久的未來就有產品面世。
小結:
就像金融賦能產業才能發揮金融工具的作用一樣,作為一項技術手段,一定要落地到場景和產品中,才能發揮其提升產品體驗和效率的目的。
攝影160年,汽車發明150年,智慧型手機20年,在TOF鏡頭進入民用消費領域第3年,已經給了我們無比精彩的產品:商店用ToF技術進行支付、公司門禁用ToF識別打卡、回家掃地機器人利用3D建模清潔、汽車利用機器視覺無人駕駛、老賴和犯罪分子無處可逃,未來還有多少產品可以賦能,讓我們拭目以待。
(本文部分圖片和內容來自網際網路,如有侵權,請及時聯繫)