谷歌AR新推強大功能:虛擬對象無縫嵌入,可與現實環境交互

2021-01-10 DeepTech深科技

谷歌在去年推出了增強現實平臺 ARCore,近日,谷歌向更加現實的 AR 又邁進了一步。根據官方博客文章介紹,谷歌為升級之後的 ARCore 增加了 Depth API,將可以實現在有遮擋場景中 「無縫嵌入」 虛擬對象。

如下圖所示,把虛擬的貓放在屋子裡,當貓與鏡頭之間有實際物體遮擋時,貓不會因為遮擋而無法成像。

圖 | Depth API 關閉(左)和打開(右)的對比(來源:谷歌)

去年六月,Pokémon Go 遊戲的開發者 Niantic 曾發布過一個視頻 Demo,視頻中皮卡丘可以實現在廣場中奔跑、在花盆中隱匿等等,和現實場景無縫融合。但是這個只是一個視頻展示,未能在實際產品中實現。

圖 | Niantic 曾發布過一個 AR 視頻 Demo(來源:Niantic)

谷歌實現了這項技術,它不再是一個視頻演示,一些媒體親自體驗了在自己手機上實施處理的虛擬對象。媒體在谷歌安排的測試環境下試玩了有 Depth API 功能的軟體,證明確實有效。

這項技術的原理在於,Depth API 可以進行更深的檢測和理解,手機可以更清楚地知道每個場景下每個物體之間的距離和位置等信息。

在此之前,手機要獲得深度圖像,通常需要雙攝像頭或 ToF 傳感器。ToF(Time of Flight,飛行時間)是一種深度信息測量方案,原理是投射器向外投射紅外光,紅外光遇到被測物體後反射,並被接收模組接收,通過記錄紅外光從發射到被接收的時間,計算出被照物體深度信息。

在 Depth API 的支持下,手機在僅有單顆攝像頭的情況下就可以實現自動捕捉並估量手機與周圍環境之間的距離。

谷歌表示,這一切意味著你不需要去更換一個帶有特定傳感器的手機,要實現這些僅僅只需要優化軟體,而且不依賴於任何雲。不過儘管如此,有 ToF 傳感器加持的話能實現更快地動態遮擋,銜接過渡需要的處理時間會更短。

圖 | iphone 將裝備 ToF 相機鏡頭組件(來源:wccftech)

谷歌表示,該軟體目前還未向所有用戶開放,但是大家可以在 Play Store 提供的最新版本的家居設計 App Houzz 上,或者谷歌自己的搜索中添加有 AR 功能的內容中看到新功能的運行情況。

一旦成熟,它將支持所有搭載 Google Play 應用商店的 Android 7.0 或更高版本的設備。中國市場上搭載 Android 系統的手機,則可以通過小米應用商店、華為應用商店、OPPO 軟體商店、三星應用市場、vivo 應用商店下載安裝。ARCore 也支持所有運行 iOS 11.0 或更高版本的 ARKit 兼容設備。

圖 | 家居設計 APP Houzz 上已經開放最新版本

在谷歌展示的體驗視頻中,還有一些功能已經超越了遮擋銜接,進入了更深的物理層面以及 3D 描圖。虛擬對象可以與現實環境進行交互,比如,用戶可以憑空構建出一些立體塊,這些虛擬的三維物體可以在現實平面中實現反彈等等物理互動,甚至在不規則平面,比如自行車把手上實現交互。

圖 | 物理、路徑規劃和表面相互作用的例子(來源:谷歌)

交互感的增強意味著 AR 遊戲可以更逼真和有趣。谷歌製作了一個與烹飪機器人進行 「食物大作戰」 的小遊戲,體驗者可以躲在沙發背後,發射的牛奶、蛋糕等等都可以在牆壁或者其他平面上留下逼真的飛濺印記。

圖 | 谷歌的演示小遊戲,你必須成功躲避攻擊並向機器人廚師扔食物(來源:谷歌)

谷歌表示,接下來將會逐步把技術提供給開發人員,與開發人員和合作夥伴一起共同開發和提供商用程序或服務,進一步改善用戶體驗。這些功能或許會在明年出現在一些 App 和 AR 網頁體驗中。

谷歌發布 ARCore 已經快兩年了,尤其在近期動作頻頻,這與 AR 軍備競賽的加劇不無關係。三家科技巨擎聚首 AR,Facebook 和蘋果虎視眈眈。大家都很清楚,贏得這場競賽的人將會成為 AR 開發人員的首選。押注 AR 也是因為這項技術的應用將遠遠超出古怪貼紙、購物或者遊戲。

圖 | 三家巨頭聚首 AR(來源:nqapia)

尤其是今年,幾家明星 AR 公司 ODG、Meta 和 Daqri 相繼倒閉或被收購,表明企業 AR 市場的競爭越來越激烈。

這幾年一直風光無限、各種光環加身的 MR/AR 技術公司 Magic Leap,估值高達 60 億美元,卻在近期被曝視頻作假,技術難產。公司甚至為了繼續融資,與摩根大通籤署了一份專利權抵押協議,將全部 1903 份專利抵押給後者。

與 Magic Leap 曾經的光芒褪去形成對比,谷歌、微軟、蘋果等美國科技巨頭在 AR 領域的布局都處於上升期,自身龐大體量帶來的平臺、資金和人才優勢很可能使其佔據產業的主導地位。

在可穿戴 AR 設備方面,數年前谷歌發布的 Google Glass 曾掀起一陣短暫的 AR 眼鏡熱潮,後以失敗告終。數年時間過去,隨著 「蘋果 AR 眼鏡將取代 iPhone」 類似言論的興起,AR 領域的戰況已經發生改變。

圖 | 據 DeepTech此前報導,蘋果公司高管曾告訴員工們:他們相信更高版本的 AR 眼鏡可以在大約十年內取代 iPhone 的需求(來源:DeepTech)

谷歌雖然在眼鏡上吃了虧,但在安卓系統上找回了場子,ARCore 平臺,不僅讓自家的地圖、照相和翻譯等服務都可以受益,App 開發者也可以很方便地開發移動端 AR 應用。可以預見的是,在 AR 技術積累更加成熟後,谷歌眼鏡很可能捲土重來。

Facebook 在 2014 年斥資 30 億美元收購了虛擬實境領域的領導者 Oculus,前不久它宣布在近兩年瘋狂購買和積累相關技術和人才,資本預算可能超過數十億美元。

在 AR 軟體領域探索多年,但在硬體方面一直按兵不動的蘋果也傳出消息,稱其很可能已有一支規模龐大的 AR 團隊,一些基礎專利已經就緒,並且實現了內部演示,目前正在制定 AR 頭顯和眼鏡的產品研發時間表,計劃在 2022 和 2023 年推出。

作為 AR 技術的早期參與者,微軟如今已推出了第二代 HoloLens,影像質量高,手勢、語音和眼球操作配合流暢,支持 Azure 雲服務,已有醫療、建築和製造領域的企業商用,甚至一度被美軍看上。

相關焦點

  • VR-AR腳手架: Leap Motion演示堆疊與裝配互動設計
    在VR/AR的很多場景中都需要移動、組裝虛擬對象,特別是在教育、企業和工業培訓中——更不用說桌面和實時策略遊戲了。在最新的交互實驗中,我們(Leap Motion)探索了如何讓搭建、堆疊類交互變得順暢、穩定、有效響應,以及如何在保持完整物理模擬的細微差別和豐富性的同時,快速準確地放置、堆疊和裝配虛擬物體。1. 挑戰使用裸手操作符合物理定律的虛擬對象是一項極其複雜的任務。
  • 蘋果新AR/VR專利提出「觸控平板」外設交互方案
    來源:映維網 作者 流水原未來的蘋果眼鏡可允許用戶感知增強現實內容,但用戶同樣需要與虛擬對象進行交互。常規的設備是通過手柄或手套實現,但蘋果正在研究一種能夠檢測觸碰的物理表面。團隊正在考慮通過AR控制計算機生成環境的大型觸控面板。
  • 谷歌AR搜索來了!Chrome能「雲吸貓」,更有50種動物可「餵養」
    當你點擊「View in 3D」 ,它會打開你的相機,把3D 動物放在你的環境中,這樣你就可以抓拍一些照片,比如說,一隻河馬在你的浴缸裡泡澡。今年8月,谷歌還在 AR 的幫助下重現了古代生物,可以通過智慧型手機在客廳自由漫遊。
  • 蘋果AR新專利:可共享AR體驗的應用程式
    Beat Saber多人遊戲版本最多可容納五名玩家,並讓他們有機會在比賽中製作自己的個性化形象。多人遊戲最初是在幾年前提出的,但是長時間的沉默讓大家懷疑該功能是否已被擱置。不過,上周還有關於的Beat Saber的其他新聞。Beat Games還宣布了BTS Pack將於今年年底發布。
  • 蘋果新專利:採用AR技術支持線上購物並構建虛擬Apple Store
    蘋果公司現在已經在使用AR技術讓人們預覽新設備,例如讓潛在的Mac Pro用戶看到這款筆記本電腦在桌面上的大小。不過,即使是蘋果也不能在所有設備上都做到這一點,但近日一款專利顯示,其打算擴大這項技術的採用範圍。
  • 蘋果最新AR專利可用多設備輔助實現更穩定虛擬對象定位
    來源:映維網 作者 廣州客隨著AR技術的興起,越來越多設備開始支持這種數字增強功能。但有時候,設備無法精確地使用計算機生成內容來增強物理環境。例如,設備會在不合適的位置顯示虛擬對象。針對這種情況,蘋果希望利用多設備的圖像來進行定位和映射,從而提高虛擬對象顯示位置的精確性。名為「Localization And Mapping Using Images From Multiple Devices」的專利申請指出,所述映射和定位方法由包含顯示屏、攝像頭傳感器和運動傳感器的第一電子設備執行。
  • AR增強現實的技術支撐
    而在現實環境中,由於現實環境的不完美性,或者稱為複雜性,增強現實系統在這種環境下的效果遠不如在實驗室的理想環境中。 由於現實環境中的遮擋,未聚焦,光照不均勻,物體運動速度過快等問題,對增強現實的跟蹤定位系統提出了挑戰。
  • 虛擬實境,讓生活更精彩(開卷知新)
    用戶藉助頭盔顯示器、數據手套、運動捕獲裝置等必要設備,與數位化環境中的對象進行交互,產生親臨環境的感受和體驗。廣義的虛擬實境還包括增強現實、混合現實和增強虛擬。增強現實是將計算機生成的數位化對象疊加在視頻圖像或現實環境之上,向用戶呈現出一種虛實結合的新環境;混合現實和增強現實類似,只是前者中的計算機生成對象與現實環境對象可區分,而後者難以區分。
  • 谷歌在搜尋引擎內加入萬聖節主題AR功能
    來源:新浪VR 在萬聖節前夕之前,谷歌在其谷歌搜索上推出了一系列有趣的增強現實的功能,當用戶使用行動裝置搜索特定的萬聖節關鍵詞時,這些功能會作為選項顯示。其中包括AR幽靈、一個跳舞的骨架、一組令人毛骨悚然的燈籠,以及被裝扮起來的貓和狗等等。
  • AR將改變世界——看蘋果、微軟、谷歌如何布局
    另外,Metaio的熱感應觸摸技術充滿未來科技感,可讓任何一塊平面變成觸控螢幕,在今年的MWC上強勁吸睛。十幾年的精耕細作,強大的科研實力,雄厚的合作夥伴,軟硬結合的成熟案例,Metaio被蘋果看中,並不是一件讓人意外的事。雖然蘋果從未發布AR產品,但它也從未掩飾對AR的興趣。
  • 〔Part 3〕Oculus Quest手部交互指南之互動設計
    「Interaction Primitives(交互原語)」頁面則根據Oculus實驗的內容列出了最適合特定任務的選項。1. 交互選項最佳體驗結合了多種交互方法,可為任何給定的任務或活動提供正確的方法。下面Oculus概述了多個供你參考的選項。
  • 虛擬實境,讓生活更精彩
    用戶藉助頭盔顯示器、數據手套、運動捕獲裝置等必要設備,與數位化環境中的對象進行交互,產生親臨環境的感受和體驗。 廣義的虛擬實境還包括增強現實、混合現實和增強虛擬。增強現實是將計算機生成的數位化對象疊加在視頻圖像或現實環境之上,向用戶呈現出一種虛實結合的新環境;混合現實和增強現實類似,只是前者中的計算機生成對象與現實環境對象可區分,而後者難以區分。
  • 福克斯體育直播賽事引入虛擬觀眾,微美全息AR+IP服務5G通訊領域
    在周四發布的一條推文中,該公司展示了一段虛擬球迷出現在看臺的視頻。可以看到,這些觀眾可以穿上自己支持球隊的隊服、為其歡呼、發出噓聲甚至揮手。 AR增強現實(Augmented Reality,簡稱AR),是指將計算機生成的虛擬成像和真實世界結合起來,構造成虛實結合的虛擬空間。它通過電腦技術,將虛擬的信息應用到真實世界,真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間而同時存在。通過AR,可以讓動畫、3D模型、視頻等在大屏幕中與觀眾或使用者一起互動起來。
  • 微軟/微美全息推出AR/VR可穿戴設備 提升更逼真的產品體驗
    在操作上,用戶可在HoloLens上與增強現實應用自然交互,比如可以使用語音命令,眼球移動以及手勢操作等。眼鏡將會追蹤你的移動和視線,進而生成適當的虛擬對象,通過光線投射到你的眼中。有眾多硬體幫助HoloLens實現栩栩如生的效果。各種傳感器可以追蹤你在室內的移動,然後透過層疊的彩色鏡片創建出可以從不同角度交互的對象。
  • 中國工程院院士趙沁平:虛擬實境 讓生活更精彩
    用戶藉助頭盔顯示器、數據手套、運動捕獲裝置等必要設備,與數位化環境中的對象進行交互,產生親臨環境的感受和體驗。廣義的虛擬實境還包括增強現實、混合現實和增強虛擬。增強現實是將計算機生成的數位化對象疊加在視頻圖像或現實環境之上,向用戶呈現出一種虛實結合的新環境;混合現實和增強現實類似,只是前者中的計算機生成對象與現實環境對象可區分,而後者難以區分。
  • 2020年12月11日美國專利局新申請AR/VR專利報告
    虛擬角色可以在混合現實環境中移動。在一個實施例中,虛擬角色可以根據與混合現實環境中的元素相關聯的興趣值比較而移動。與運動相關的空間關係變換可以用運動信息來表示。在一個實施例中,從神經網絡接收運動信息。 3.
  • 《精靈寶可夢GO》和微美全息AR成為5G時代典型應用場景
    熱門增強現實遊戲《精靈寶可夢GO》的開發商Niantic於9月1日宣布,將與來自北美、歐洲和亞洲的5G運營商合作,在5G技術已部署在世界各地無線網絡的背景下,利用5G技術能夠處理豐富的AR場景這一特性,幫助他們將高質量的AR體驗通過5G技術向數百萬新用戶中擴散。
  • 高德地圖ar功能在哪裡設置打開 ar實景導航怎麼打開使用教程
    高德地圖最近推出了全新的功能,相信很多車主都是非常關注的吧,打開手機就可以了解哦,其實主要還是為了方便大家開車上路,因為是實景的模式,所以看起來更加的直觀,在某些場景之下就能夠做出更加及時的反應和決策。  高德地圖ar功能在哪裡設置打開 ar實景導航怎麼打開使用教程
  • 谷歌裸眼3D動物意外躥紅,掀起一股AR體驗小高潮
    隨著網際網路的發展,AR 和 VR 技術得到了極大的改進,但是直到智慧型手機的發明和普及,諸如谷歌 3D 動物之類的實現成為現實。現在,大多數智慧型手機都能夠將 3D 模型實時投影到物理物體上,尤其是通過 AR 應用程式。而這次 AR 搜索功能早在 2019 年的 I/O 大會上就已發布。
  • 15個可交互的真實房屋場景,李飛飛組開源大型室內場景的模擬環境
    受限於 LoCoBot 的技術限制與環境的離散化,機器人無法在模擬環境內學習並解決複雜的交互任務。我們想要研究的任務是複雜的、long-horizon(長線)、 mobile manipulation(移動操作)任務,例如:收拾房間、找尋物品等。為了研究可以落地到現實世界的解決方案,模擬可真實交互的大型場景變得尤為重要。