谷歌用46個攝像頭組「複眼」,打造沉浸式AR/VR光場視頻方案

2020-12-05 智東西

智東西(公眾號:zhidxcom)編| 信儀

導語:想足不出戶就能感受世界風光?沉浸式AR/VR帶你時空穿梭身臨其境!

智東西6月24日消息,近日,谷歌發布了一項新的球形「光場視頻」捕捉方案,以提升沉浸式媒體技術。它將傳統的攝影和視頻以更加身臨其境的方式呈現。它將傳統的攝影和視頻以更加身臨其境的3D方式呈現,可以使用戶隨時改變觀看視角,甚至可以觀察到畫面內物體的細節。

這項新技術將會在今年8月舉行的SIGGRAPH上展出。從1974年開始,SIGGRAPH每年都會舉辦一次年會,絕大部分計算機圖技術軟硬體廠商每年都會將最新研究成果拿到SIGGRAPH年會上發布,大部分遊戲的電腦動畫創作者也將他們本年度最傑出的藝術作品集中在SIGGRAPH上展示。

一、46個攝像頭擰成一個球,多視角3D成像

據悉,谷歌的這項光場捕捉方案是一個球型結構,這一92釐米直徑大的球由46個攝像頭組成。這個方案的原理類似於蒼蠅的複眼,每一個攝像頭可以從不同的角度捕捉周圍的場景,將多方向的視角合併為一個視角。

▲相機的視圖

相比於現有VR視頻中採用的普通3D立體效果,光場攝影具備更多視角,空間立體感更強。

在谷歌呈現出的視頻中,畫面可以隨著用戶的視角進行轉變,用戶可以看到不同角度的圖像,這樣的圖像看起來更真實,並且具有動態效果。

▲谷歌的光場捕捉方案捕捉和分割視圖的步驟

二、 瀏覽超180°場景,使用DeepView拼接算法

在細節方面,這項方案捕捉的光場視頻可實現10ppd(角解析度)、220°以上的視場角、30fps刷新率。

儘管每一個攝像頭模組之間的平均距離為18釐米,但是其使用的DeepView拼接算法,可通過替代數據中包含的多層球形圖像,重建距離攝像頭20釐米處的物體。

▲攝像機放置在一個92釐米直徑大的球上

谷歌研究人員曾在SIGGRAPH 2018大會展示過類似的研究,當時他們在沉浸式VR中引入了具有圖片真實感的光場靜止圖像。而今年推出的全新系統增加了視頻要素,為用戶提供了一個更為動態的虛擬環境,使用戶可以瀏覽跨度超過180°的場景。

▲谷歌光場視頻捕捉畫面呈現

據悉,該方案可拍攝6DoF場景視頻,經過壓縮後可在AR/VR頭顯或網頁端播放。此外,光場視頻的體積之小足以通過常規Wi-Fi傳輸,從而大大促進了沉浸式AR和VR領域的進步。

結語:谷歌沉浸式體驗升級,虛擬體驗更加真實

谷歌這項在光領域研究的新成果,為消費者提供了一種真正的沉浸式體驗。在疫情期間,大多數人不得已居家辦公,因此行動裝置中的圖片和視頻的利用率越來越高。

這一成果的研究人員希望沉浸式光場圖像和視頻能夠在未來的AR和VR平臺中,能夠像行動裝置的圖像視頻那樣在人們的生活中發揮重要作用。

消息來源:Tech Crunch

相關焦點

  • VR和AR的未來發展
    vr/ar的應用什麼是虛擬實境?虛擬實境技術(vr)是一種能夠創造和體驗虛擬世界的計算機仿真系統,它使用計算機生成一個模擬環境,它是多源信息融合、交互式三維動態場景和實體行為的系統仿真,使用戶能夠沉浸在環境中,什麼是AR?
  • 沉浸式視頻雲,金山雲怎麼做?
    當人們習慣打開手機刷著各種長短視頻平臺來消磨時間,用各種Vlog設備來記錄生活點滴時,毋庸置疑,視頻已經成為當今獲取信息和傳播信息的重要方式。你會如何定義一個極致沉浸的視界?是躺在床上打開天花板的投影儀觀看一部高清IMAX電影?或是戴上VR設備來一次身臨其境的叢林冒險?或是在課堂上通過MR親眼見證一個奇妙的化學反應產生的全過程?
  • 谷歌宣布沉浸式VR音頻SDK Resonance Audio
    谷歌宣布了一套沉浸式音頻開發軟體工具SDK,該套件名為Resonance Audio能夠為360環景視頻、VR/AR提供內嵌的高保真立體音效,支持桌面及移動平臺,兼容多種VR平臺設備,兼容網頁端至Unity等3D遊戲引擎,甚至能夠作為虛擬工作室技術(VST)軟體接口的音頻插件使用,嵌入多種多媒體音樂製作程序中使用
  • 最新蘋果AR/VR專利提出「基於反射鏡的場景攝像頭」解決方案
    來源:映維網 作者 流水原光學反射鏡對於沉浸式現實系統而言十分重要。在日前由美國專利商標局公布的一份專利申請中,蘋果就描述了一項基於反射鏡的場景攝像頭髮明。文件描述了關於場景攝像頭的各種體現。例如,場景攝像頭可用於混合現實或虛擬實境系統中的視頻透視組件。
  • 哈曼發布並沉浸式演示了三項全新ExP解決方案
    在2021哈曼ExPLORE汽車技術展示活動上,哈曼發布並沉浸式演示了三項全新ExP解決方案,為消費者展示智聯科技如何重新定義車載體驗,為汽車廠商創造新的機遇。為此,哈曼開發出了遊戲體驗解決方案。 對遊戲愛好者來說,任何地方都可轉化為擁有多位玩家的競技場,汽車也無例外。哈曼ExP遊戲體驗解決方案利用哈曼可擴展的計算平臺,5G TCU以及哈曼Ignite SDP,帶來高速、純正的沉浸式遊戲體驗。此外,該方案運用哈曼的音響技術如ClearChat技術,在遊戲過程中降低回聲和背景噪音,而哈曼的車內通訊(ICC)解決方案保證了車內清晰的雙向通訊。
  • SIGGRAPH 2020 AR/VR論文匯總
    我們不依賴完全動態的解決方案,而是使用傳統的靜態照明烘焙管道,並通過一組小功能對其進行擴展,從而使得我們能夠在運行時以最小的性能和內存開銷動態更新預計算的照明。這意味著我們的系統能夠支持從高端PC到前代遊戲機的各種系統。特別地,我們展示了如何有效地預計算由於單個照明的啟用和禁用,以及大門打開和關閉而引起的照明變化。
  • 手機想要替代單反也只有這三種方案試試看了,複眼攝像技術
    而手機攝像頭由於鏡頭直徑限制,如果想要達到單反的畫質也是可以的,就是減少景物的取景有效面積,相當於專注於一個小範圍。正因如此,手機拍攝同樣的景色範圍毫無疑問其灰度、色彩解析度都要大大降低。換個角度來說,這麼點直徑收到的光信息量就算飽和了也就那麼一點點。在陽光下光線充足的時候拍照比黑夜拍照要鮮豔動人也是這個原理。
  • 中國移動打造國內首個8K影院,超高清技術打造沉浸式觀影體驗
    2019年3月1日,工業和信息化部、國家廣播電視總局、中央廣播電視總局聯合發布了《超高清視頻產業發展行動計劃(2019-2022年)》,按照「4K先行,兼顧8K」的總體技術路線,大力推動超高清晰度視頻產業及相關應用領域的發展。隨著5G商用與超高清產業融合,超高清視頻產業迎來了前所未有的發展機遇。
  • 諾基亞五攝手機不算什麼,LG申請手機16個複眼攝像頭專利
    隨著手機行業的不斷發展,如今智慧型手機的設計已經進入到瓶頸期,同質化嚴重的時代,許多廠商都開始「摳細節」,比如在手機拍照性能上就大做文章,從單純的提高像素到搭配更好的傳感器,再到簡單粗暴的增加攝像頭數量,似乎手機廠商們都在手機鏡頭上樂此不疲。
  • 索尼發布新款VR/AR頭戴顯示設備專利,微美全息AI視覺搭建流媒體...
    因此,這對於那些早已經布局 AR 領域的科技公司來說無疑是個好消息。對於微美全息而言,同樣如此。 在這樣的大環境下,微美全息多媒體技術的改革與創新與時俱進,隨著AR全息科技進步而蓬勃發展,為產品受眾開啟了數字藝術的互動之旅,並且通過AI視覺,為受眾搭建了流媒體交互沉浸式體驗。
  • 10米弧形拼接 沉浸式3D投影應用方案
    1沉浸式3D投影應用方案  [中關村在線投影機頻道原創]3D立體影院的體現,屬大屏幕最能逼真演示,四維灝景科技有限公司用3臺7000註明的DP M-Vision Cine 400-3D
  • 12月VR/AR行業投融資報:全球完成16筆,總金額超3億人民幣
    國外CREAL時間:12月2日垂直領域:光場顯示器投融資情況:650萬法郎(4750萬人民幣)886w投資方:Swisscom Ventures領投,Investiere、DAA Capital Partners和Ariel Luedi等參投。
  • VR/AR體驗、智慧機器人、沉浸式球幕影院……24家頂尖文化裝備企業...
    ▲烏木作品24家頂尖文化裝備企業齊聚山城VR/AR體驗、智慧機器人、沉浸式球幕影院、4G直播包······匯集各種「黑科技」的上海文化裝備展是本次文博會的一大看點。記者了解到,本次展覽聚集了曾為《流浪地球》、《捉妖記2》等電影做過影視雲渲染支持的量子云、致力於VR\AR系統研發的圖萌科技、專注摩天輪項目創新研發製造的巨馬、打造沉浸式球幕影院全套方案的互動世界集團、研發了4G直播背包的愛米科技等24家文化裝備企業。「此次參展的文化裝備企業不僅是國內頂尖,部分甚至處於國際領先水平。」
  • 2020年世界VR產業大會上那些值得關注的VR/AR產品和企業
    這裡的大屏幕上顯示著雙方玩家在基於MR頭顯進行對戰的視頻場景。實際體驗中,玩家用蘋果設備作為手柄,通過手勢發射不同的技能攻擊對方。第一款設備為科駿投資的一家國外企業zSpace,這款設備採用一對紅外攝像頭加單目攝像頭的方式,對分布在3D眼鏡上的五個反光點進行追蹤,以實現立體畫面跟隨體驗者頭部運動的自然效果。 另一臺,是科駿自研的3D教育顯示器設備。和上面設備不同,這款設備採用三對紅外攝像頭,感應快門式立體眼鏡上的光線反射傳感器實現追蹤。
  • 萊茵TUV:5G助力VR/AR等XR將大規模落地,蘋果谷歌微美全息等產業...
    作為5G應用的生態服務商,微美全息專注於計算機視覺全息雲服務,微美全息雲產品布局商業應用場景主要聚集在家用娛樂、光場影院、演藝系統、商業發布系統及廣告展示系統等五大專業領域。近期,微美全息發布一款混合現實(「MR」)頭戴式顯示器的新產品 「全息柔光影院」,以進一步擴充公司的全息產品組合矩陣。這款專注於音影娛樂的頭戴式設備,帶來更加沉浸式的體驗,更大的屏幕、更舒適的座椅、更好的沉浸感。蘋果發布的新款iPhone與AR相得益彰。
  • VR次元 | 這是全球首份AR報告 2萬字告訴你它為什麼比VR還酷
    根據真實環境的表現形式劃分,主要有視頻透視式頭盔顯示器和光學透視式頭盔顯示器兩種形式。視頻透視式頭盔顯示器通過安裝在頭盔上的微型攝像頭獲取外部真實環境的圖像,也就是通過攝像頭來採集真實場景的圖像進行傳遞。計算機通過場景理解和分析將所要添加的信息和圖像信號疊加在攝像機的視頻信號上,將計算機生成的虛擬場景與真實場景進行融合,最後通過類似於浸沒式頭盔顯示器的顯示系統呈現給用戶。
  • vr是什麼
    其具體內涵是:綜合利用計算機圖形系統和各種現實及控制等接口設備,在計算機上生成的、可交互的三維環境中提供沉浸感覺的技術。其中,計算機生成的、可交互的三維環境成為虛擬環境(即Virtual Environment,簡稱VE)。  2014年3月26日,美國社交網絡平臺Facebook宣布,將斥資20億美元收購沉浸式虛擬實境技術公司Oculus VR。
  • 視頻:複眼的秘密
    人類的眼睛是典型的相機型眼,用一個單鏡頭(眼珠)將圖像聚焦到光敏感的視網膜上。相機型眼的動物通過不同方式來調節其晶體,以看清不同距離的目標。雖然科學家早就知道相機型眼的每個部分的功能,但要製造一個功能全面的人造眼睛還有很長的路要走。
  • VR/AR產業發展介紹匯總篇
    DaydreamVR、三星電子的Gear VR、HTC 集團的HTC Vive、索尼電子的PlayStation VR 以及Oculus 公司的Oculus Rift 等多種頭戴式VR產品為代表的雙目視覺VR產品,是當前最為主流的VR 顯示系統,其主要目的是創造沉浸式的立體體驗。
  • 簡單解讀VR/AR主流光學手勢識別技術
    在使用了他家的軟體之後,用戶可以用幾個手型來控制播放器。用戶將手掌舉起來放到攝像頭前,視頻就開始播放了;再把手掌放到攝像頭前,視頻又暫停了。「靜態」是這種二維手勢識別技術的重要特徵,這種技術只能識別手勢的「狀態」,而不能感知手勢的「持續變化」。舉個例子來說,如果將這種技術用在猜拳上的話,它可以識別出石頭、剪刀和布的手勢狀態。但是對除此之外的手勢,它就一無所知了。