誰在打造3D深度傳感技術?中外有何差異?

2020-12-04 EDN電子設計技術
Z6Fednc

3D軟體與計算

Faceshift (Apple旗下子公司)Z6Fednc

Apple在2015年底悄悄地收購了Faceshift——這是一家從瑞士洛桑聯邦理工學院(EPFL)獨立出來的新創公司。這家瑞士新創公司開發了一種能實時捕捉角色的人臉識別而打造動畫化身的技術。Z6Fednc

Z6Fednc

Apple iPhone X提供Animoji動畫表情（來源：Apple）Z6Fednc

聽起來很耳熟吧？沒錯！就是有了Faceshift的臉部追蹤技術，才成就了iPhone X Animoji動畫表情的基礎。Z6Fednc

Movidius (英特爾旗下子公司)Z6Fednc

英特爾子公司Movidius在今年初推出Myriad X視覺處理單元(VPU)，被稱為「業界首款帶有專用神經運算引擎的SoC，可用於邊緣為深度學習推理進行硬體加速。」Z6Fednc

Movidius在被收購之前，即展開3D傳感的技術開發。其晶片最初用於作為3D渲染的引擎。Movidius曾與Google合作開發Tango (Google先進技術與項目。Z6Fednc

Project Tango（Google）Z6Fednc

Google Project Tango的目標是使用計算機視覺，讓行動裝置能夠在沒有GPS或其他外部信號的情況下，檢測其相對於周圍環境的3D位置。Movidius為Project Tango提供了一種用於計算機視覺定位與動作追蹤的晶片。Z6Fednc

Movidius的超低功耗視覺晶片最先出現在這一市場上，並成為3D傳感在行動裝置上的先驅。大多數的視覺處理平臺出現在2010年初，例如微軟(Microsoft)一開始的Kinect中搭載的PrimeSense晶片(比Movidius的視覺處理器功耗更高)。值得注意的是，PrimeSense於2013年底被Apple以3.6億美元收購。Z6Fednc

Z6Fednc

Project Tango (來源：Google)Z6Fednc

Softkinetic (現為Sony Depthsensing Solution)Z6Fednc

2015年10月，Sony收購位於比利時的3D傳感計算機視覺技術製造商SoftKinetics。SoftKinetic的技術包括微軟的Kinect深度相機、CMOS深度晶片和手勢追蹤中介固件。Z6Fednc

從各種跡象來看，這家日本巨擘目前正積極地成為3D CMOS ToF傳感器和相機的關鍵廠商，Sony並於去年底將SoftKinetics改名為Sony Depthsensing Solution。Z6Fednc

Z6Fednc

Sony最新的娛樂機器人'aibo'就採用了DepthSense技術和手勢識別軟體（來源：Sony）Z6Fednc

據Sony表示，SoftKinetic開發CMOS 3D傳感器、3D相機參考設計、SDK、算法以及用於手勢識別、對象掃描、汽車控制和AR/VR等應用，始終如一地提供3D傳感和處理方面的先進解決方案。Z6Fednc

由布魯塞爾團隊開發的DepthSense相機模塊和軟體已經被設計用於Sony最新的娛樂機器人——aibo。Z6Fednc

InuitiveZ6Fednc

以色列無晶圓廠晶片公司Intuitive Ltd.專注於3D成像的發展。去年秋天，該公司推出了一款多核心視覺處理器NU4000，支持3D成像、深度學習和計算機視覺處理，適用於AR/VR、無人機、機器人和許多其他應用。Z6Fednc

視頻連結：https://youtu.be/lsz4kJo-yz8Z6Fednc

該公司聲稱，其新款處理器將實現「高質量的深度傳感、晶片上SLAM、計算機視覺和深度學習(CNN)等——這些功能都整合於精巧的外形和最低功耗中。」Z6Fednc

3D系統設計

LIPSZ6Fednc

臺灣立普思(LIPS)成立於2013年，是3D深度相機和3D完整解決方案的供貨商，擁有專利的相機設計和軟體算法。Z6Fednc

Z6Fednc

LIPSedge M3是一款專為嵌入式系統設計的多功能ToF深度相機，可產生實時3D數據（來源：LIPS）Z6Fednc

LIPS設計、建構和客制3D深度相機，同時還創建了識別中介固件和解決方案，以滿足OEM的各種應用，包括機器人真空吸塵器、AR/VR、家用機器人、ADAS和工廠自動化等。Z6Fednc

Mantis VisionZ6Fednc

以色列Mantis Vision將自家定位為3D視覺的重要推手，並為其技術繪製了3D視覺的美好未來——讓消費者可在智慧型手機上拍攝3D照片或使用平板電腦掃描對象，然後將其發送到3D印表機。該公司擁有所謂的「專用編碼結構光技術」。Z6Fednc

Z6Fednc

Mantis Vision的模式採用獨特的程序代碼，能在更小面積上識別較標準方法更多的點。該公司聲稱，這種獨特的技術提供了更高的解析度和準確度，以降低最小的對象尺寸（來源：Mantis Vision）Z6Fednc

Mantis Vision不久前還宣布與小米合作，該公司執行長Gur Arie Bittan指出，該公司的團隊克服了許多挑戰，透過使用其內部IP，才使迅聯開發出市場上最具成本效益的3D結構光攝像頭模塊。Z6Fednc

他指出，該公司還能夠將光學堆棧和尺寸從釐米(cm)縮小到毫米(mm)，並採用當時仍處於新興技術的VCSEL雷射，滿足OEM廠商的功耗要求，並符合眼睛安全規定。他表示，Mantis Vision還能打造了一個與RGB現有相機同步的攝影機支架模塊、定義並準備量產校準，以及開發一個可在Arm Core上執行的有效解碼模式算法和管線。Z6Fednc

OrbbecZ6Fednc

深圳奧比中光科技是黃源浩在2013年成立的公司。他畢業於中國北京大學，並在美國麻省理工學院(MIT)的SMART Center取得博士學位。他以雷射散斑幹涉、數字散斑相關、射彈結構光和計算機視覺等方面的研究而聞名。自2001年以來，他一直在研究和開發3D掃描技術。Z6Fednc

據奧比中光表示，「過去三年來一直在努力實現3D——完善該公司的Astra 3D相機系列，並設計內建完備計算機功能的Orbbec Persee 3D相機。Z6Fednc

Z6Fednc

Astra Mini有兩個版本。短程版Astra Mini S相機支持0.35～1公尺的追蹤範圍，Astra Mini遠程相機的範圍約為0.6～5公尺（來源：Orbbec）Z6Fednc

Orbbec聲稱其Astra 3D相機「比當今市場上的其他相機更好」，提供「最高深度解析度、更卓越的範圍、卓越的準確性和最低延遲」。Z6Fednc

Orbbec據稱是Oppo的合作夥伴——使用其基於結構光的3D傳感技術。Z6Fednc

PMDZ6Fednc

德國PMD Technologies AG成立於2002年，致力於開發CMOS半導體3D ToF組件，同時為數碼3D成像領域提供工程支持。Z6Fednc

值得一提的是，該公司引以為榮的先進ToF技術——整合於晶片上，PMD稱其「十分精巧、可擴展且功能強大」。Z6Fednc

Z6Fednc

德國徠卡(Leica)為PMD設計了專用的光學鏡頭，用於其行動裝置的3D深度傳感成像器和相機模塊。（來源：PMD）Z6Fednc

PMD並為OEM的相機開發提供參考設計，包括標準和客製版。PMD聲稱擁有多年的ToF相機設計經驗，可協助系統設計人員加速其硬體開發過程，而該公司的可擴展技術「將符合各種不同的特定相機模塊要求」。Z6Fednc

英飛凌一直是PMD的長期合作夥伴。雙方共同開發了用於3D人臉識別的ToF影像傳感器。英飛凌的Real3 (或IRS238xC)尺寸還不到12mm x 8mm，包括接收光學系統和VCSEL照明，能將相機模塊整合於智慧型手機中。Z6Fednc

PMD據傳與中國智慧型手機供應商Vivo合作夥伴，為其提供配備基於ToF的3D技術。Z6Fednc

（原文發表於ASPENCORE旗下EDN姐妹站EETimes，參考連結：Jury Still Out on 3D Sensing for Smartphones；Susan Hong編譯）Z6Fednc

相關焦點

  • 3D深度傳感ToF技術的基本原理解析
    飛行時間（ToF）相機憑藉更小的外形尺寸、更寬的動態感測範圍，以及在多種環境下工作的能力，成為首選的深度傳感方法。雖然ToF技術已在科學和軍事領域應用多年，但隨著21世紀初圖像傳感技術的進步，才得到更加普遍的應用。性能的變革意味著，包括 ADI ToF 技術在內的探測技術，已被應用到智慧型手機、消費電子和遊戲設備中，未來將不僅限於消費市場。
  • 3D傳感行業專題報告:下一代圖像傳感升級方向、AR定位底層技術
    在AIoT時代，機器學習、圖像識別等技術開始廣泛應用， 如果在輸入端沒有深度的信息，AI對世界的認知就會失真，進而輸出錯誤的 判斷。在精細化遇到瓶頸的情況下，為了更好地還原、接近人眼感受到的世 界，圖像傳感器的發展趨勢是三維化。
  • 探究3D傳感和近眼顯示應用的關鍵技術
    加之自動駕駛傳感技術（如雷射雷達）的迅猛發展，催生各類微光學元件逐漸從「實驗室」走向了量產的「商業化產品」。為學術界與產業界架設橋梁，是麥姆斯諮詢「見微知著」培訓課程的宗旨之一，為此特開辦《第28期「見微知著」培訓課程：微光學元件核心技術》。
  • 光學3D傳感器行業深度報告:百億藍海,龍頭企業發力3D傳感
    目前，3D 傳感的主流 技術包括：雙目視覺、結構光與 TOF（time of flight）。 雙目視覺與結構光主要基於三角 定位原理測距，TOF 主要基於光的飛行時間測距。雙目視覺是基於視差原理並利用成像設備從不同位置獲取被測物體的兩幅圖像，通過三 角定位方法獲取深度信息，屬於被動式方案。但由於現實世界難以精準抓取定位點，目 前推廣度較差。
  • 結構光、立體視覺、ToF 3D傳感原理是啥?ams 3D傳感助力應用落地
    基於雙目立體視覺的深度相機類似人類的雙眼，和基於ToF、結構光原理的深度相機不同，它不對外主動投射光源，完全依靠拍攝的兩張圖片（彩色RGB或者灰度圖）來計算深度，因此有時候也被稱為被動雙目深度相機。ToF技術到底是什麼？和現在大熱的結構光技術、雙目立體視覺技術到底有什麼區別？ToF（Time of Flight，飛行時間）的基本原理是通過紅外發射器發射調製過的光脈衝，遇到物體反射後，用接收器接收反射回來的光脈衝，並根據光脈衝的往返時間計算與物體之間的距離。這種調製方式對發射器和接收器的要求較高，光速那麼快，對於時間的測量有極高的精度要求。
  • 中國·煙臺首屆微納傳感技術與智能製造院士論壇舉辦
    本次論壇邀請中國工程院蔣莊德、徐芑南、侯立安、王浩和中國科學院姚熹、宋振騏等6位院士，暢談微納傳感技術與智能製造的深度融合與發展。蔣莊德院士發言院士齊聚煙臺 暢談微納傳感技術與智能製造微納傳感技術是高端傳感器智能製造的核心、關鍵環節，能夠結合產業需求，進行定製化的設計和加工，有效解決封裝技術的可靠性、安全性以及標準化等一系列關鍵性、共性的問題。
  • 風吹草動誰先知？分布式光纖振動傳感技術告訴你
    說光纖具有「神經系統」，眾人肯定認為匪夷所思，是搞笑的「天方夜譚」，但中科院上海光學精密機械研究所張海文研究員領銜的團隊，厚積薄發、歷經十餘年研製成功的分布式光纖振動傳感技術，卻已經開始落地實用。傳統的傳感器我們經常用到，比較熟悉，可對光纖打造的「神經系統」能在千裡之外，實時靈敏而準確地感知目標所在地的風吹草動，自動判別環境異樣變化及細微程度，可能許多人還鮮有所聞。
  • 深度解析3D攝像頭技術與應用報告
    其明星項目Project Tango在2016年成功植入聯想手機PHAB2 Pro，提前在移動端運動追蹤、深度感知和區域學習方面實現布局。2015年的谷歌開發者大會上提出了的60GHz毫米波手勢識別技術Project Soli更是讓人耳目一新，採用的60GHz毫米波彌補了紅外光無法穿過被遮擋物的缺點。
  • 首屆國際技術交易大會 中外科學家聚焦前沿技術領域
    水母網11月3日訊（YMG全媒體記者 信召紅）作為煙臺首屆國際技術交易大會系列活動的一場國際科學盛宴，昨日上午舉辦的主旨演講可謂大咖雲集，5位頂級中外科學家圍繞智能製造、傳感技術、能源與環境等前沿技術領域發表了主題演講，分享前沿學術成果，探討學科交叉創新，推進科學產業應用。
  • 奧比中光黃源浩:用最好的3D傳感技術賦能人工智慧時代
    作為一家初創公司,奧比中光有過「一路狂奔」的歷史。 2013年1月,在深圳市南山區一個160平方米的辦公室裡,黃源浩拿著上千萬元的天使投資,開始了3D傳感技術的研發和積累。自主設計研發的關鍵是一「芯」一「線」:「芯」是3D感知深度算法的核心晶片,「線」則是3D傳感攝像頭模組的生產線,這些都是難啃的「硬骨頭」。
  • Facebook 開源 3D 深度學習函數庫 PyTorch3D
    原標題：Facebook開源3D深度學習函數庫PyTorch3D來源：開源中國Facebook近日開源了將PyTorch用於3D深度學習的函數庫PyTorch3D，這是一個高度模塊化且經過優化的庫，具備獨有的功能，旨在通過PyTorch簡化3D深度學習。
  • 魅族的3D深感探測器是啥?與iPhone的3D結構光有何不同
    它與蘋果iPhone上的搭載的3D結構光有什麼不同？又對手機的成像帶來了什麼改變呢？對比iPhone的3D結構光有何不同當前主流的3D成像傳感技術主要有三類：雙目立體視覺技術、結構光技術和ToF飛行時間技術，他們有各自的優缺點及適用範圍。魅族17 Pro搭載的3D深感探測器本質上就是ToF攝像頭，這裡我們只探討它與蘋果3D結構光的不同。
  • 如何利用近紅外傳感技術實現土壤監測?
    打開APP 如何利用近紅外傳感技術實現土壤監測？對於有能力支付土壤檢測的農場，他們需要將土壤樣本送到第三方實驗室進行檢測。這不僅費時費力、成本高昂，而且往往不能提供實時的結果。而對於那些無法承擔實驗室測試的農場來說，他們只能憑藉經驗來進行猜測，尤其是在施肥方面，因此，很多農田都有過度施肥的情況。   Q：如何利用近紅外傳感技術實現土壤監測？
  • 與結構光及雙目立體視覺相比,ToF技術有何優勢?
    9m1edncToF有何優勢？目前能夠接觸到的實現3D方案的一種技術手段，是模仿人的雙目，因此手機的發展趨勢是從單目到攝像頭越來越多。「我們為什麼有這樣的發展呢？」在ADI中國25周年媒體技術日上，ADI系統應用工程經理李佳女士說，「手機單目無法滿足我們一些應用的開發，因此手機開發者會使用更多的攝像頭來模擬深度場景，我們看到最大的轉變就是由單攝變成雙攝，即模擬人的雙眼，實現深度信息的提取。」
  • 多位院士齊聚煙臺共話微納傳感技術與智能製造
    中國·煙臺首屆微納傳感技術與智能製造院士論壇18日舉行。　鍾欣　攝中新網煙臺8月18日電 (張玉雷)中國·煙臺首屆微納傳感技術與智能製造院士論壇18日舉行，中國工程院院士蔣莊德、徐芑南、侯立安、王浩以及中國科學院院士姚熹、宋振騏等人齊聚山東煙臺，暢談微納傳感技術與智能製造的深度融合與發展。
  • 中科院青促會第一屆青年微納傳感技術論壇舉辦
    劉倩介紹了中科院青促會第三屆理事會的工作，指出本屆理事會將繼續圍繞青促會宗旨，加強多學科交叉交流，力爭將青促會打造成為中科院青年科研人員合作交流、協同創新、促進共同成長的平臺。　　交流會上，20多名青促會成員圍繞當前的傳感需求，以傳感原理、工藝技術、新型材料等為切入點展開交流和探討，產生了激烈的思想碰撞。洛可可智能硬體的創新總監結合具體產品設計分享了成果轉化和創新創業心得。
  • 光電3D傳感合輯重磅上線,4節課帶你搞懂ToF、立體視覺、結構光及DOE
    在實際開發中，開發者需要根據不同的應用場景和不同3D視覺技術特性，來選擇適合的解決方案。不同3D傳感技術由於實現原理的差異，所需要的硬體組成也有很大不同，通常3D 傳感模組由紅外發射端、接收端以及圖像處理晶片組成。結構光與 TOF 方案解碼原理不同，但所需要核心部件基本相同。
  • 奧比中光黃源浩:向3D傳感「無人區」進發,爭做賽道領跑者
    作為一家初創公司,奧比中光有過「一路狂奔」的歷史。2013年1月,在深圳市南山區一個160平方米的辦公室裡,黃源浩拿著上千萬元的天使投資,開始了3D傳感技術的研發和積累。自主設計研發的關鍵是一「芯」一「線」:「芯」是3D感知深度算法的核心晶片,「線」則是3D傳感攝像頭模組的生產線,這些都是難啃的「硬骨頭」。
  • 「3d掃描儀結合3d列印技術」學校3d創新教育的一把利器
    3d創新教育是以培養學生創新精神、創新能力、動手實踐能力為價值取向的新型教育。在3d創新教育中，我們要如何讓「3d掃描儀、3d列印技術」這兩把利器發揮重要作用呢？從提供3d掃描獲取數據到3d設計、數據再創造再到3d列印創意實現的完整解決方案是廣大師生的呼聲，更是教育改革時代背景下的一條創新之路。
  • 3d投影儀怎麼樣 3d投影儀推薦【圖文】
    投影儀隨著人們的需求加大還設計出了3d版的，視覺效果更加顯著，接著就為大家推薦幾款不錯的3d投影儀。機身頂部按鈕採用圓盤式設計，配有電源、菜單、方向等按鈕，布局合理，反饋觸感有彈性。為兼顧造型與功能，將兩側散熱孔的葉片設計至一定深度，有效遮蔽內部的許多結構，讓外觀更為簡潔時尚。　　作為一款全高清家用智能投影機，明基i700在客戶的應用體驗上做了深度優化，採用原生1920×1080全高清解析度、6段式6倍速RGBRGB純色系色輪、2200流明高亮度以及10000：1的對比度，為用戶提供更為出色的畫質顯示效果。