高通對虛擬實境和增強現實感興趣,但對當前技術還不滿意。該公司正在開發最新的移動處理器和其他技術,希望讓VR和AR可以變得「無拘無束」、並能以更高的解析度顯示圖像、使用更好的顯示器、讓其輕量化和提高節能效果,從而使得我們可以長時間佩戴頭顯。隨著時間的推移,高通希望將所有必要的技術都嵌入到一個更小、更舒適的設備中。
負責實現該願景的人之一是Tim Leland,高通產品管理副總裁。Venturebeat在舊金山舉行的VRX會議上採訪了Leland,探討了高通對虛擬實境、至今為實現高質量無線VR所取得的進步、以及對增強現實的看法。以下是YiVian為大家整理的採訪片段:
可以總結一下你在臺上分享的內容嗎?
高通相信VR正在發生。它會在2017年實現增長,然後不斷壯大。隨著新技術的發展,尤其是顯示技術的發展,VR和AR將最終合併,AR會涵蓋VR。如果你想進入VR模式,顯示屏可轉換成不透明。AR和VR將是同一個設備。我不認為我們會過分擔心增強現實、混合現實或融合現實中的術語的連續性。這就是所有一切發展的方向。你會有虛擬對象,你可以放置在這個增強的世界中,並與之進行交互。它們會被正確地錨定。
我們認為AR的未來屬於移動,因為這是消費者想要的事情。消費者不想被任何東西束縛。在延遲方面,在運動—光子和光子—光子的延遲方面存在對應用性能的物理限制,但這會得到解決。如果你讓渲染系統與慣性或位置追蹤系統分離,限制就會出現。你希望這些系統可以緊密耦合,你可以,至少在同一個印刷電路板(PCB)中,但在理想情況下是處於同一個系統單晶片(SOC)。
在未來的產品中,我們將會提高3D圖形和多媒體性能,提高能耗效率,所以你不會遇到這麼一個情況:必須在視覺質量+纜線和較低視覺質量+無線這兩個選項中作出選擇。
我見過Facebook和英特爾都在研發他們的無線頭顯,一體化頭顯,沒有PC電腦。你認為這會發生嗎?
我們有大約20個關於以一體化為主要目的的VR頭顯設計,要在VR頭顯市場中我們競爭,你必須能夠在5瓦或更小的能耗下完成所有必要的處理。我們不認為,在沒有針對異常發熱問題的解決方案下,主要針對PC構建的這些架構可以引入到拓撲中。我們也不認為你可以得到四或五個小時的續航時間。我們在這方面有很多經驗,這是我們通過Daydream和其他頭顯開發所積累得到的。
你是如何看待一體化頭顯和智慧型手機插槽的VR設備。
在一些要求上,一體化頭顯和智慧型手機插槽的VR設備之間並無太大不同,很多要求都是一樣。我們一直在努力實現六個自由度,運動追蹤,由內而外追蹤。要發揮其作用,你不會想被任何東西所束縛
我們認為VR的未來是與AR的融合,而這會是移動化。智慧型手機的定義也會隨著時間的推移而變化。所有這些都可以是某種高度集成的移動可穿戴設備。
(高通和微軟都宣布你的)驍龍晶片能夠運行Windows 10。我想在某個時候,你們關心的不再會是哪個單獨的平臺,而是兼容所有的平臺。VR適合那個更大的策略嗎?
我們與微軟合作,與Facebook合作,也有與谷歌合作。我們認為將有一些VR雲端應用程式,所以你想要能夠來回傳輸雲端的數據。你希望本地能處理有特定數量的任務。你會希望機器學習的某些元素在本地執行,而與雲端服務對話。
5G時代即將到來,這會是一個很棒的技術,可減少無線客戶端和伺服器之間的延遲,並增加了上行鏈路和下行鏈路帶寬的數量,這些設備將生產大量的數據。例如,我們錄製了大量的視頻數據,並將其發送回去,加上最高為8K解析度的流媒體內容的下載。集成連接組件、多模式5G連接、以及集成Wi-Fi和Wi-gig技術這樣的組合很棒。這與用於顯示管理的傳感器採樣和渲染子系統非常接近。相當多的集成。
你有聽(Epic Games創始人)Tim Sweeney的演講嗎?
我有聽
我想知道他提到的某些技術在可行性上有幾許。他提到單眼顯示為8K的奧克利眼鏡(Oakley)。
我認為解析度可以實現。如果你希望它們一次性長時間運行,在主機和PC領域所採用一些強力方法需要改變,以滿足這些輕薄化設備的部分要求。一些漂亮的視覺效果,那些你需要花費額外四五瓦功率才能實現的花哨著色效果,需要付出代價。這可能不是正確的決定。我們認為一些中間件,如遊戲引擎,將會進化,所以你不會得到像『嘿,看看這些出色的視覺效果』的體驗,但你會有一根纜線連接到一臺2000美元的PC上。
我們需要比背包式PC做得更好,因為這並非消費者想要購買的東西。我們需要關注消費者想要購買的產品,也就是超輕薄化的眼鏡,讓你可以同時使用AR和VR功能。你在AR模式可以獲取有趣和有用的數據;你也可以選擇進入VR模式,並感受一個優秀的體驗:舒適、輕量級、永遠無線。
Tim Sweeney提到現在的顯示器主要是為智慧型手機所設計,如果你專為VR開發內容,你可以使用不同的東西來實現高解析度和低成本。
不僅只是解析度,色域也是。這跟注視點渲染類似,所以你不必強行通過更多的像素進行渲染。相反,你把渲染處理的重點放在眼睛實際聚焦的地方,在這個寬廣的視場中,你聚焦的區域並不大。這就是我所說的,不能僅使用傳統的主機和PC渲染方法來處理視覺數據。VR行業必須靈活地實現這一點。我們必須共同努力,使這一切成為現實。
你認同Sweeney關於Metaverse(超元域)的看法嗎?
他看過我們的一些圖形demo。當我們在驍龍820,Unreal引擎4中展示時,他對在移動平臺上可實現的視覺質量感到非常驚訝。
至於Metaverse?對的,我喜歡他所說的比喻。在過去,你需要知道如何編寫HTML和各種基本的編碼才能創建網頁,並把視覺信息發布到網際網路。隨著時間的推移,該工具集變得更加通用,所以每個人都可以創建自己的網站。當談到朝向一個單一設備的趨同時,我和他的感覺很接近。很難說虛擬世界的網站的最終形態是什麼,但我同意他所談論的幾個概念。
談到我們即將公布的內容,對於驍龍835,我們做出了一些改進。其中一些在相機子系統中。有些是為了確保我們為客戶提供的相機功能解決方案的完整性。例如,在相機子系統中,我們現在支持Zig-zag HDR(HDR:高動態光照渲染),這是一種空間方法,多路復用不同的曝光級別、不同的曝光時間,因此你可以得到這種HDR效果,並通過驍龍處理器在內部進行處理。這可以更好地映射出最高亮度下的陰影。你會得到更好的陰影解析度。
我們還對支持10位顯示器的高動態範圍做了一些改進。我們不僅能夠以每秒60幀的速度解碼4K HDR 10視頻,而且我們也可以輸出該視頻。無需降低到標準動態範圍的10位顯示器,可以一直保持高動態範圍。
我們提高了圖形性能。我們一直在努力加快我們的Vulkan性能研發。我們將在驍龍835展示一些優秀的VR demo,我們新的驍龍晶片參考設計會使用高端3D圖形和4K HDR視頻。我們尚未透露具體的類容,只能說這是一個「新晶片」。
我們對視頻編碼子系統進行了一些改進,因此我們正在做諸如感知量化這樣的事情。我們沒有對編碼場景中的每個可能的宏塊進行統一量化,我們根據的事實是:如果你有這堵牆,你可能會對一些編碼工件更敏感,而不是諸如灌木和樹木這樣的紋理,或者是移動速度非常快的東西。我們在驍龍835的Adreno 540子系統中的新視頻編碼器採用的是感知量化,而非統一的量化方法。
在模塊方面,我們一直與模塊製造商合作,預先優化三個不同的模塊。其中一個是1600萬像素的PDAF傳感器,具有出色的光學元件,非常高的圖像質量。另一種是雙攝像頭的單Bayer傳感器,用於最大程度的低光攝影。第三種是具有寬視場的光學變焦雙攝像機解決方案。你在另一個傳感器上有一個望遠鏡鏡片,用於最大縮放。我們還增強了一些縮放框架。我們可以在光學變焦和數碼變焦之間來回無縫轉換。
我們對電子圖像穩定進行了一些改進,這在你進行縮放時尤其有用。我們有新的軌跡算法,可以更準確地採樣一些傳感器數據,以預測運動和衰減振動。
你認為這些事情會讓(Oculus技術總監)約翰·卡馬克等人更開心嗎?他到目前為止都很挑剔。
我們一直在與卡馬克進行對話。總的來說,他在Twitter上說過對驍龍非常有利的言論。我們有興趣獲得他對一些開發工具的反饋,因為他們開始做製作原型產品,並確保他們能在驍龍上獲得最好的性能。