谷歌在CVPR2020分享最新AR/VR研究成果

2020-12-06 砍柴網

來源:映維網 作者 廣州客

2020年計算機視覺和模式識別大會(Conference on Computer Vision and Pattern Recognition;CVPR)正在如火如荼地進行中,來自世界各地的計算機視覺研究者和工程師都在這裡分享最新的進展。

對於今年的CVPR大會,谷歌人工智慧團隊共有近70份論文獲得了收錄,並介紹了在計算機視覺的一系列研究,包括對象映射與渲染,3D人類姿態生成,語義分割和透明對象關鍵點估計等等。

下面是或能用於增強現實/虛擬實境領域的論文及相關摘要整理:

1. Local Deep Implicit Functions for 3D Shape

這個項目的目標是通過深度攝像頭視圖推斷來學習一個實現精確表面重建,緊湊存儲,高效計算,相似形狀一致性,以及不同形狀類別歸納的3D形狀表示。為此,我們引入了局部深隱函數(LDIF),一種將空間分解為一組結構化的學習隱函數的三維形狀表示。我們提供從三維網格或姿勢深度圖像推斷空間分解和局部深度隱式函數的網絡。

相關論文:Local Deep Implicit Functions for 3D Shape

2. GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models

我們在一個完全可訓練的、模塊化的深度學習框架內提出了一個活節3D人類建模管道。通過以各種姿勢拍攝高解析度的人體三維掃描,再加上頭部和面部表情的特寫鏡頭,以及手部關節,以及初步的、由藝術家設計的、性別中立的四邊形網格,並且使用變分自編碼、位姿空間變形校正、骨架關節中心預測器和混合蒙皮函數,我們在一個一致的學習循環中訓練包括非線性形狀空間在內的所有模型參數。所述模型與所有的三維動態掃描數據同時進行訓練,從而獲取相關性並確保各種組件的一致性。模型支持面部表情分析,以及身體(手部細節)形狀和姿勢估計。我們提供了完全可訓練的,包含不同解析度的通用人體模型,對它們進行了比較,分析了不同組件的影響,並用圖像數據說明了它們的重建。

相關論文:GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models

3. Deep Homography Estimation for Dynamic Scenes

單應性估計是許多計算機視覺問題中的一個重要步驟。近年來,深層神經網絡方法比傳統方法更有利於解決所述問題。然而,新方法沒有考慮輸入圖像中的動態內容,只用可以完全對齊的圖像對來訓練神經網絡。本文探討了如何設計和訓練處理動態場景的深層神經網絡。我們首先收集一個具有動態內容的大型視頻數據集。然後我們開發了一個多尺度神經網絡,並證明當使用我們的新數據集進行適當訓練時,所述神經網絡能夠在一定程度上處理動態場景。為了估計動態場景的單應性,我們需要識別動態內容。由於動態內容檢測和單應性估計是兩個緊密耦合的任務,所以我們遵循多任務學習原理,擴展了我們的多尺度網絡,使之能夠聯合估計動態掩碼和單應性。實驗結果表明,所述方法能夠很好地估計具有動態場景、模糊偽影或缺少紋理的複雜場景的單應性。

相關論文:Deep Homography Estimation for Dynamic Scenes

4. 3D-MPA: Multi Proposal Aggregation for 3D Semantic Instance Segmentation

我們提出了一種基於三維點雲的實例分割方法3D-MPA。在給定輸入點雲的情況下,我們提出了一種以對象為中心的方法,其中每個點為其對象中心投票。我們從預測的對象中心採樣對象建議。然後,我們從投票給同一對象中心的分組點特徵中學習建議特徵。圖卷積網絡引入了建議間關係,除了lower-level的點特徵外,還提供higher-level的特徵學習。每個proposal都包含一個語義標籤、一組關聯點,而我們在關聯點定義了一個前景背景掩碼、一個對象評分和聚合特性。以前的研究通常對proposal執行非最大抑制(NMS),以獲得最終的對象檢測或語義實例。然而,NMS可以丟棄潛在的正確預測。相反,我們的方法保留所有proposal,並根據所學的聚合特徵將它們組合在一起。在ScanNetV2基準和S3DIS數據集上,我們發現它在三維目標檢測和語義實例分割任務上優於NMS,並且優於現有的最新方法。

相關論文:3D-MPA: Multi Proposal Aggregation for 3D Semantic Instance Segmentation

5. KeyPose: Multi-View 3D Labeling and Keypoint Estimation for Transparent Objects

估計桌面對象的三維姿態對於機器人操作等應用至關重要。解決這個問題的眾多現有方法都需要一個用於訓練和預測的對象深度映射。在這篇論文中,我們放棄使用深度傳感器,轉而使用原生立體輸入。我們解決了兩個問題:第一,我們建立了一個用RGB攝像頭在桌面對象捕捉和標記3D關鍵點的簡單方法;第二,我們開發了一個名為KeyPose的深層神經網絡,它可以從立體輸入中學習使用3D關鍵點來精確地預測對象姿勢,甚至可以用於透明對象。為了評估我們方法的性能,我們創建了一個由15個清晰對象組成的數據集。我們訓練實例和類別模型,並顯示對新紋理、姿勢和對象的歸納。KeyPose在3D姿勢估計方面超過了其他先進的方法。立體輸入對於這種性能至關重要,因為它比使用單目輸入提高了2倍的效果。我們將發布數據捕獲和標記管道、透明對象資料庫、KeyPose模型和評估代碼的公共版本。

相關論文:KeyPose: Multi-View 3D Labeling and Keypoint Estimation for Transparent Objects

6. DOPS: Learning to Detect 3D Objects and Predict their 3D Shapes

我們提出了一種快速的單級三維目標檢測方法DOPS。以前的方法通常會做出特定領域的設計決策,例如在自動駕駛場景中將點投影到鳥瞰圖中。相比之下,我們提出了一種通用方法,它既適用於室內場景,也適用於室外場景。我們方法的核心之處是一種快速的單通道架構,它既能檢測三維對象,又能估計對象的形狀。三維邊界框參數在每一個點上一次估計,通過圖形卷積進行聚合,並輸入網絡的一個分支。在合成數據集上學習潛在形狀空間和形狀解碼器,並將其作為三維目標檢測管道端到端訓練的監督。因此,我們的模型能夠在不訪問目標數據集中的基本真實形狀信息的情況下提取形狀。

相關論文:DOPS: Learning to Detect 3D Objects and Predict their 3D Shapes

原文連結:https://yivian.com/news/75720.html

相關焦點

  • VR和AR的未來發展
    vr/ar的應用什麼是虛擬實境?虛擬實境技術(vr)是一種能夠創造和體驗虛擬世界的計算機仿真系統,它使用計算機生成一個模擬環境,它是多源信息融合、交互式三維動態場景和實體行為的系統仿真,使用戶能夠沉浸在環境中,什麼是AR?
  • 2020谷歌開發者大會:AR軟體工程總監介紹ARCore最新動態
    Google 開發者大會 (Google Developer Summit) 是谷歌面向開發者展示最新產品和平臺的年度盛會。2020 Google 開發者大會於 11 月 16 日 至 21 日舉行,這是谷歌首次以全線上大會的形式與中國開發者相聚。
  • 今日起,有關AI/AR/VR/MR的知識你一定要知道
    ar 其次,AR。Augmented Reality:增強現實的簡稱。 vr 第三,VR。Virtual Reality:虛擬實境的簡稱。
  • vr又稱靈境技術,是模擬虛擬環境中角色的真實表現
    vr在虛擬環境中構建交互虛擬世界,運用真實的人機互動手段,創造和構建具有真實感和臨場感的虛擬世界。vr裝置類產品目前主要涉及電商,醫療健康,新零售,廣告,旅遊,房產等行業領域。通過vr設備獲取用戶的真實信息,並通過ar立體化技術將用戶的信息3d化,再根據需要列印成vr產品,產品可擺放在用戶面前就可以直接觀看和使用,用戶可根據需要進行身體和頭部的轉動和旋轉,且隨時可以攜帶。主要用戶可以在遊戲中打怪,聽音樂,與虛擬世界中的人進行交互,獲取虛擬世界的信息反饋等等。通過「vr+ar」這一創新營銷模式,可以實現消費者體驗到ar應用的內容,ar應用可使消費者感受到真實的虛擬的感覺。
  • 通過引入 ML,谷歌 ARCore 實時自拍 AR 的逼真效果更進一步
    不到一個月前,谷歌正式推出 ARCore 1.7 版本,為其添加了前置攝像頭 AR 自拍能力以及動畫效果支持;而日前,谷歌又為其引入了機器學習技術,使其實時自拍 AR 的逼真效果更進一步,該技術相關的文章發布在谷歌 AI 的官方博客上,雷鋒網(公眾號:雷鋒網) AI 科技評論編譯如下。增強現實(AR)通過將數字內容與信息疊加到物質世界的真實場景中,來讓人類實現超越現實的感官體驗。例
  • SIGGRAPH 2017:一窺 AR/VR 最新趨勢
    本月底,2017 SIGGRAPH年度會議將於美國洛杉磯召開,屆時大會將匯集大量沉浸式計算領域的領先創作者和研究人員。雷鋒網(公眾號:雷鋒網)也將前往現場為大家帶來最新的報導。在過去的幾年裡,SIGGRAPH計算機圖形學年度會議一直是沉浸式計算邁向主流應用的重要推動者。
  • Jeff Dean撰文:谷歌AI 2018研究成果匯總
    谷歌AI團隊負責人Jeff Dean今天發布博客文章,總結了谷歌的研究團隊在2018年的主要研究成果。 我們還看到大量的外部研究者,有時與谷歌的研究人員和工程師合作,使用TensorFlow等開源軟體應對廣泛的科學和社會問題,例如使用卷積神經網絡識別座頭鯨,檢測新的系外行星,識別病變的木薯植物等等。 我們的大部分研究集中在使用ML和計算機科學來幫助用戶更快、更有效地完成任務。通常,研究團隊與不同的產品團隊協作,研究成果被應用於不同的產品特性和設置中。
  • 谷歌用46個攝像頭組「複眼」,打造沉浸式AR/VR光場視頻方案
    從1974年開始,SIGGRAPH每年都會舉辦一次年會,絕大部分計算機圖技術軟硬體廠商每年都會將最新研究成果拿到SIGGRAPH年會上發布,大部分遊戲的電腦動畫創作者也將他們本年度最傑出的藝術作品集中在SIGGRAPH上展示。
  • 谷歌AR新研究:只需陀螺儀的即時運動追蹤
    文章相關引用及參考:google谷歌的即時運動追蹤方法不需要校準,可以支持任何搭配陀螺儀的安卓設備。(映維網 2018年02月07日)谷歌於2017年夏天推出了安卓版Motion Stills,為一大批安卓手機帶來了優秀的視頻捕捉與觀影體驗。谷歌隨後進一步優化了Motion Stills,使其能夠支持Pixel 2中最新的運動圖片功能。
  • ECCV 2020|Workshop第一彈:視覺研討會,最新研究成果一網打盡
    Workshop是研究人員們交流最新的研究成果、科研經驗、新興研究方向的主要途徑之一。內部學習近年來逐步發展,實現了可以利用單個樣本訓練深度神經網絡的成果,不僅實現了優異的性能,更具靈活性與適應性。本研討會將探討內部學習的最新進展、討論未來的發展方向,為研究內部學習的學者提供交流的平臺和豐富的交流機會。
  • 谷歌推出AR地圖導航 無GPS預測定位和方向
    谷歌AR/vr產品副總監Aparna Chennapragada在今天谷歌的I/O開發者大會進行了亮相,而他梳理了谷歌正在將增強現實整合至谷歌地圖中的一些工作進展。  Chennapragada表示,團隊整合了智慧型手機的攝像頭,計算機視覺,谷歌街景和谷歌地圖,以「重新想像行走導航」。
  • 谷歌推出AR地圖導航,無GPS預測定位和方向
    文章相關引用及參考:roadtovr一系列AR功能來瀏覽導航線索。(映維網 2018年05月09日)谷歌AR/VR產品副總監Aparna Chennapragada在今天谷歌的I/O開發者大會進行了亮相,而他梳理了谷歌正在將增強現實整合至谷歌地圖中的一些工作進展。
  • AR、VR、全息投影……2020線上智博會開幕,大寫的「智能化」!
    9月15日,2020線上中國國際智能產業博覽會開幕式暨峰會在重慶兩江新區禮嘉智慧公園舉行,來自國內外的嘉賓通過線上、線下的方式,共同探討全球大數據智能化領域新動態、新趨勢,描繪未來發展新願景。紅星新聞記者發現,開幕式上,虛擬AR、VR、裸眼3D、全息投影等信息技術給參展方和觀展方帶來可視化、沉浸式的全新體驗,包括聯合國副秘書長劉振民、新加坡人力部部長兼內政部第二部長楊莉明、圖靈獎獲得者大衛·帕特森等嘉賓大咖則通過視頻連線的方式參會分享前沿觀點,諾貝爾獎得主科斯提亞·諾沃肖洛夫先生還通過全息投影的方式發表了主題演講。
  • 潘建偉團隊光量子研究最新進展:優越性比谷歌快100萬倍
    9月8號,據《安徽日報》報導,長期從事量子光學、量子信息和量子力學基礎問題檢驗等方面的研究工作的學者、中國科學院院士、中國科學技術大學常務副校長潘建偉教授近日對外透露光量子計算最新進展。他指出:「我們剛剛完成了對50個光子的玻色取樣,相比谷歌的『量子優越性』大概可以快100萬倍。」
  • 【VR/AR】DaydreamVR入門系列教程
    1)  首先要做的是給自己一個Pixel手機(或其他Daydream認證的手機),並確保你是最新版本。2)  前往Unity的Daydream技術預覽網站,閱讀最新信息,或者只是向下滾動到底部並下載最新的安裝程序。
  • CVPR 2017國內外亮點論文匯集:史上最盛大會議,華人佔據半壁江山
    眾多參會的中國研究機構又貢獻了多少?我們為你整理了一篇觀看指南。  不久之前,谷歌發布了 2017 版學術指標。從這次公布的數據來看,只有少數學術會議的影響因子超過了熱門的預印版論文發布平臺 arXiv。 其中可以看到,在計算機視覺與模式識別領域,CVPR 是影響力最大的論文發布平臺。
  • 【討論】AR你懂我的意思吧 一起來捉妖
    早幾年刀劍神域風靡的時候,玩家想體驗一把vr遊戲帶來的樂趣,同時也讓遊戲市場有了新的目標。刀劍神域的故事引人入勝,無論是亞絲娜還是桐人,都是遊戲玩家的楷模。而在pokemon go遊戲熱爆全球的時候,ar遊戲也開始進入新的紀元,開發這個遊戲的公司也因此賺得滿盆頗豐,ar遊戲市場還是很有潛力的。接下來小編就來給大家盤點ar遊戲,好玩又有趣。Pokemon Go:點開手機上的《Pokemon Go》,手機攝像頭實時拍攝的現實畫面中,便會出現皮卡丘、小火龍、比比鳥、傑尼龜等寵物小精靈形象。
  • 6位院士分享最新研究成果!探討海洋監測領域的「現在」與「未來」
    2020-12-21 18:41:42 來源: 海洋知圈 舉報
  • VR,AR,MR傻傻分不清楚?驅動哥十分鐘教你區分
    ▼當然,HTC vive,sony psvr這些貴价頭顯,比起幾十塊的紙質VR眼鏡(也包括小米vr,google vr,暴風魔鏡等只帶有鏡片的設備),最大的差別是虛擬實境中的物體能對參與者進行互動▼代表設備:谷歌glass▼