每幀3GB:HypeVR推出空間全息影像技術

2020-12-04 IT之家

在VR頭顯裡想像這樣一個場景:

你站在中越邊境的河谷,觀看壯美的景色——但頭顯裡播放的並非普通的全景視頻,而是可以隨著身體移動和頭部傾斜,看到被畫面中的物體擋住的更多東西,甚至……整個場景。

比如你的面前有一個油桶,但你可以稍微挪動一點,或者把頭向右傾斜,就能看到油桶背後的溪流:

這顯然不是一個幾百塊錢的雙攝全景攝像頭就能實現的。其實,這部視頻的拍攝手法叫做Volumetric Capture,翻譯成中文叫「容積捕獲」,採用特殊的設備,像三維空間掃描一樣記錄下了攝像頭周圍所在區域的全部物理環境。拍攝它的公司叫做HypeVR,該公司聯合創始人泰德·施洛維茨告訴我,這段全息影像的每幀數據量就高達3GB。

昨天,PingWest品玩在英特爾的VR發布會上粗略體驗了一下HypeVR所拍攝的這段內容。今天我們又找到了該公司的創始人兼CEO Tonaci Tran,更深入地體驗和了解了這項技術。

這段全息影像的記錄時間是2016年11月14日,地點是中越邊境的板約瀑布。簡單來說,HypeVR開發的這種新視頻格式,具有三個特性:360°全景+高清+六自由度。

全景不消細說。在清晰度方面,一般的全景攝像採用多相機陣列(比如GoPro)的方案,和HypeVR根本沒法比——該公司的一個多相機陣列就要用到Velodyne開發的雷射雷達(LiDAR),再配上12臺世界上最頂級的Red超高清攝像機。僅供參考:Red的解析度為5K,12臺……清晰度難以想像。

至於六自由度,英文叫做6 degrees of freedom (6dof)是一個物理上的術語,指的是物體能夠在三維空間裡,在xyz三軸方向上自由運動以及圍繞三軸自由轉動的能力。在VR業界,6dof是一種技術指標,指的是當頭顯的佩戴者在三維空間裡前後左右上下移動和搖頭、擺頭時,頭顯裡所顯示的空間畫面能夠隨之變化,就像在真實空間裡一樣。

但並非所有的VR內容的錄放都支持6dof。如果一個全景攝像頭放在定點上錄製內容,它拍下的其實也只是一個二維的畫面。而在拍攝中加入雷射雷達,使得最後產生的二維畫面多了一維——空間,其實是HypeVR全息影像錄製技術最大的不同。這樣錄製和最後剪輯製作完成的內容,不是二維的畫面,而是具有空間感的全息影像。

還有一個問題:最後成片中的畫面裡,那些桶、水牛和其他擋住視野的物體,它們背後的畫面又該怎樣拍呢?HypeVR以商業機密為由沒有想我透露太具體的細節,但我猜測採用的方法應該類似於:先在一個點拍攝(point zero),然後更換一個能拍到障礙物背後的點(point a),然後按照從0到a的距離和方向,在全息場景重建的時候,拼接a的內容到0的內容裡。

蹲下,或者往左/右邊走,就能看到被水牛擋住的地方。這是其它VR視頻絕對無法做到的。

但顯然,這樣製作出來的最終內容格式肯定不是普通和VR視頻一般採用的mp4格式,而是一種全新的格式。Tran對我表示:

從容積捕獲(volumetric capture)、場景重現(reconstruction)、壓縮編碼(compression codec)、播放和直播串流所採用的圖像引擎(graphics engine for playback and volumetric streaming),一切都是全新的。我們認為這就是視頻2.0時代。

Tran是美國出生的越南人,曾在加州大學聖地牙哥分校學習數字媒體創作。因為10年前創立了第一家Red高清電影攝像機出租服務,他在越南也引起過不小的轟動,還曾因此在越南電影界獲得了不小的名氣。

2014年,為了實現「打造下一代視頻技術」的夢想,他和電影巨頭二十世紀福斯的數位技術專家泰德·施洛維茨一同創立了HypeVR。

該公司總部位於加州聖地牙哥。Tran告訴我,他認為HypeVR在相機陣列、全息場景重建、6dof全息視頻壓縮和全息視頻串流方面,有著絕對的技術優勢。至於公司的技術優勢,他用一句話總結為「獨家的容積捕獲、製作和播放引擎,專為視頻2.0時代打造。」也正因此,英特爾將HypeVR視作重要的合作夥伴,邀請其參加CES的發布會和現場演示。

接連兩天由淺及深地體驗了HypeVR帶來的全息可互動影像之後,我心理對於VR視頻的芥蒂消除了一些。之前我對所謂的VR內容不太感冒的原因就在於,它們只是把我綁在一個固定的地方,然後允許我轉動腦袋,並沒有什麼所謂的「沉浸」感,反而感覺自由被限制了。

我問Tran「在你們這段視頻裡,我到底有多大的自由度?」他告訴我:「只要這條頭顯的線夠長、頭顯還在傳感器追蹤的範圍裡,你想走多遠走多遠。」

相關焦點

  • 不一樣的3D——全息影像技術
    所有這些,都被統稱為全息影像技術。根據維基百科給出的定義,真正的全息影像技術是指通過相干光幹涉原理記錄和查看圖像,當合適地將其呈現時,便可以精確地再現被記錄物體的三維外觀。由於全息圖的每一部分都記錄了物體上各點的光信息,因此全息圖的每一部分都能再現原物體的整個圖像,經多次曝光後還可以在同一張底片上記錄多個不同的圖像,而且能互不幹擾地分別顯示出來。
  • 什麼叫全息影像技術
    全息技術是利用幹涉和衍射原理來記錄並再現物體真實的三維圖像的技術,其通過將雷射作為照明光源,並將光源發出的光分為兩束,在感光片上疊加產生幹涉,最後利用數字圖像基本原理再現的全息圖。   1、全息技術是利用幹涉和衍射原理來記錄並再現物體真實的三維圖像的技術;   2、全息攝影採用雷射作為照明光源,並將光源發出的光分為兩束,一束直接射向感光片
  • 【漲姿勢】全息影像技術的版權挑戰
    採用這種技術人們不需要戴上任何設備,即可全程看到畫面精美的3D影像。這種新技術就是在G20文藝晚會上大出風頭的全息投影。然而全息影像技術在展示強大吸引力的同時,也帶來了隱藏的版權隱患。下面,讓我們一起聊聊全息影像技術引發的版權話題吧!
  • 全息技術實現空間物聯 數字營銷的新未來正在重構商業格局
    周末明明是在杭州請朋友吃飯,就能看到浪漫的義大利,也能是身處東京或巴黎;我們明明只花一點點錢辦了一個婚禮,結果現場又有飛機入場,又有鮮花遍布,還有身騎白馬的王子;當我們人在杭州的會議室裡準備開遠程會議時,通過某項技術,遠在海外的與會同事們「真實」地坐在辦公室裡……你以為以上場景是瞎說的,但是2019的電博會、數交會上「空間物聯——全息×新媒體全產業應用」就會告訴你,這叫全息影像技術
  • 新技術顛覆全息影像傳輸方式
    光明日報記者 孟歆迪 曹繼軍  假想有這樣一種場景,悠閒的午後,兩個姑娘坐在咖啡館裡收到了同一份加密全息數據,然而利用不同的「光鑰」解碼,一人在看演唱會,另一人眼前呈現的是一場電影的全息影像。  比科幻大片裡的場景還更進了一步!
  • 論VR與3D以及雷射全息投影的區別與特點
    雷射全息投影:裸眼3D成像  雷射全息投影技術也稱虛擬成像技術。它是利用幹涉和衍射原理記錄並再現物體真實的三維圖像的技術。  其中,全息投影中被運用最成熟的就是幻影成像。  幻影成像是基於全息投影而誕生的技術。
  • 走入未來的先進技術行列,全息投影浮空顯示視頻影像
    虛擬實境技術已經愈加廣泛地使用在生活之中,除了AR、VR技術嶄露頭角之外,全息投影技術也逐漸步入人們的視野,並成為現代科技應用的一個絕妙典範。利用幹涉和衍射原理,記錄並再現物體真實的三維圖像,可以不需要依賴介質,(或者以空氣為介質),然後浮空顯示出視屏的影像,這就是全息投影的魅力。將三位畫面變成懸浮的半空「實景」,營造出亦真亦幻的氛圍,既使人具有真實感和投入感,也能再現場景,避免第三者連結的失誤。
  • 馬雲全息影像亮相引發熱議,微美全息AR+AI視覺引領5G全息通訊應用
    原來是利用了全息影像技術。這樣,很多無法來到現場的嘉賓也能身臨其境地進行演講。這也是世界人工智慧大會第一次將全息影像應用於會場活動。該技術以玻璃為介質成像,整體架構可升降,實現了虛擬嘉賓和現場嘉賓同臺的逼真效果。全息成像並不是最新研發出的技術,其歷史可以追溯到上世紀六十年代。
  • SONY展出圓柱型透明式顯示屏,360度顯示全息影像
    SONY展出圓柱型透明式顯示屏,360度顯示全息影像 2019年07月30日 16:35作者:趙靜編輯:陳浩天文章出處:泡泡網原創
  • 乾貨分享《全息投影技術的原理 》
    有沒有不需要帶眼鏡就能看到的3D影像呢?全息影像技術就提供了這樣一種解決方案觀眾從不同角度看,就可以看到物體的多個側面,只不過看得見摸不到,因為記錄的只是影像目前最常用的光源是投影機,因為一來光源亮度相對穩定,二來,投影機還具有放大影像的作用,作為全息展示非常實用全息影像技術原理:為了讓大家更加直觀的了解全息影像的技術原理,我們通過下面的兩張原理圖來介紹
  • vr是什麼
    vr是什麼?  對於vr很多人還感覺到比較陌生,並不知道這是什麼意思,代表著什麼技術,其實vr也就是虛擬實境,下面我們具體介紹一下vr是什麼,它有哪些特徵,具體應用領域在哪些地方等等,我們全方位了解一下。vr是什麼技術?
  • 如何將3D全息影像漂浮起來?
    其實要說最搶眼的展示方案,我想應該是英國倫敦新創公司 Kino-mo 推出的3D浮空全息投影。智筆記22:如何將3D全息影像漂浮起來?在本次展會上中,Kino-mo給大家介紹並展示了一個3D浮空全息投影,顧名思義其投影出來的影像可以直接懸浮在空中,相比傳統的全息投影顯然要靈活自由的多。
  • 虛擬試衣可行性探究—全息投影技術
    全息投影是一項利用幹涉和衍射原理記錄並再現物體真實三維圖像的技術,其中廣義上的全息投影技術是一類能記錄並再現物體真實三維影像的技術的總稱(包括一些偽全息投影技術)。不夠形象我們上圖,大家是否還記得2015年春晚舞臺上4個李宇春同臺表演給大家拜年;這一切都歸功於3D全息投影技術。
  • 科學網—真正的全息投影「在路上」
    三維顯示可以用每秒幾千幀的速率輸出圖像的高速旋轉投影,或者用投影機陣列和光學屏幕組合的方式來實現光的三維分布。 空間投影顯示時既可以藉助煙霧、水霧等散射介質實現光的空間散射分布,也可以藉助其他介質來實現。桑新柱說,北京郵電大學研究團隊研發的空中成像裸眼3D光場顯示技術,利用空間光場技術配合多重控光器件調控三維空間光場,實現不同方向的光在空間的重組。
  • 索尼展示可 360 度顯示影像的圓柱型透明式全息屏幕技術
    首頁 > 見聞 > 關鍵詞 > 索尼最新資訊 > 正文 索尼展示可 360 度顯示影像的圓柱型透明式全息屏幕技術
  • 新技術實現多角度看三維圖像 逼真全息影像有望「走入」行動裝置
    在《復仇者聯盟》等科幻電影中,我們經常看到有三維立體的虛幻人物或物品的出現,每當我們觀看到這一影像時,都會感嘆未來科技的先進和神奇魅力。電影中所展示出的這種神奇影像被稱為全息影像。其實,早在上世紀40年代,就出現了這種技術。
  • 如何製作全息影像_全息影像的製作方法
    打開APP 如何製作全息影像_全息影像的製作方法 發表於 2018-01-10 14:10:38 全息投影技術的最大優點就是真實感強,顯示出來的圖像跟現實中的完全相同,給予觀看者強烈且深刻的視覺心理反應。從這一角度認為,全息投影才是真正意義上的三維圖像,並且也是不久的將來快速發展的趨勢。 全息投影技術(front-projected holographic display)也稱虛擬成像技術是利用幹涉和衍射原理記錄並再現物體真實的三維圖像的技術。
  • 全息投影技術概念與分類
    全息投影技術(front-projected holographic display)也稱虛擬成像技術是利用幹涉和衍射原理記錄並再現物體真實的三維圖像的記錄和再現的技術。,把物體光波上各點的位相和振幅轉換成在空間上變化的強度,從而利用幹涉條紋間的反差和間隔將物體光波的全部信息記錄下來。
  • 這才是真正的全息影像
    要對辨別看到的影像是不是全息,首先要明確全息的定義是什麼。根據字典和維基百科上的定義,全息(holography)是一個技術名詞,指通過相干光(雷射就是其中一種)幹涉原理記錄和查看圖像,當合適地將其呈現時,便可以精確地再現被記錄物體的三維外觀。
  • 別被忽悠:這才是真正的全息影像
    要對辨別看到的影像是不是全息,首先要明確全息的定義是什麼。根據字典和維基百科上的定義,全息(holography)是一個技術名詞,指通過相干光(雷射就是其中一種)幹涉原理記錄和查看圖像,當合適地將其呈現時,便可以精確地再現被記錄物體的三維外觀。