深度對比分析 VR 頭顯 Vive、Rift 的解析度:渲染、失真與校正

2021-01-07 創業家

( 映維網 2018 年 05 月 11 日 )美國加州大學戴維斯分校的研究類計算機科學家 Oliver Kreylos 在今年年初詳細介紹了關於 VR 頭顯解析度的問題,但由於當時手上沒有 Oculus Rift,他只是分析了 HTC Vive。現在 Kreylos 已經拿到並分析 Oculus Rift 的頭顯顯示器解析度,同時撰寫了一篇與 Vive 進行對比的文章。以下是映維網的具體整體:

我在今年年初撰寫了一篇關於 VR 頭顯解析度的文章。遺憾的是,我當時只是分析了 HTC Vive。與此同時,我手上拿到了 Oculus Rift,這樣我就能夠從中獲取必須的原生數據。

有了這些新數據,現在是時候撰寫一篇後續文章了。為了更易於閱讀,我在本文使用一種新方法來重新創建了年初文章中的 HTC Vive 圖表,具體請參見下圖:

1. HTC Vive

前兩張圖表(1 和 2)是通過 Vive 右邊顯示器透鏡中心觀察到的水平橫截面和垂直橫截面顯示解析度,單位為像素/度。

圖 1:水平線下的顯示解析度,單位是像素/度

圖 2:垂直線下的顯示解析度,單位是像素/度

顯而易見的是,顯示器不同位置的解析度並非恆定,而且對於每種基色都有所不同。有關這些觀察的詳細解釋,請參閱年初發布的文章。另一方面,透鏡中心周圍有一個大片「平坦區域」,解析度幾乎不變。因此,我建議在透鏡正中心採用綠色通道解析度,以作為 VR 頭顯「真實」解析度的簡便度量。

需要注意的是,紅色和藍色通道的解析度是標稱(名義)解析度,即每度渲染的像素數量。由於 Vive(和 Rift)採用了 PenTile 亞像素布局,這兩個通道的有效子像素解析度低於 sqrt(2)/2=0.7071,因為紅色和藍色通道使用了相對於綠色通道像素網格旋轉了 45 度的像素網格。

第二組圖(3 和 4)使用了默認渲染目標尺寸(1512×1680 像素)來說明顯示像素與中間切線空間渲染目標上的像素的尺寸關係。小於 1 的因子表示顯示像素小於中間像素;而大於 1 的因子則表示顯示像素覆蓋多個中間像素。關於切線空間渲染和渲染後鏡頭畸變校正的解釋,請再次參閱年初發布的文章。

圖 3:水平線下顯示渲染目標和中間渲染目標之間的採樣因子

圖 4:垂直線下顯示渲染目標和中間渲染目標之間的採樣因子

這些採樣因子是設計 VR 渲染管道時的重要考慮因素。在顯示器的上下邊緣(見圖 4),像 4.0 這樣的高因子意味著渲染器必須(在水平透鏡中心)繪製四個像素,或者在一個圖像角落渲染最多 16 個像素,從而生成單個顯示像素。這不僅浪費了大量的工作,而且還會在鏡頭校正步驟中引起混疊。紋理映射中使用的標準雙線性濾波器不能很好地處理高採樣因子,而諸如 4:1 這樣特別高各向異性的採樣因子需要轉向更複雜和更昂貴的高階濾波器。透鏡匹配著色(lens-matched shading)等渲染技巧是維持大多數標準 3D 渲染管道,同時不需要高採樣因子的一種方法。

有趣的是,在標準渲染目標尺寸下,透鏡中心周圍的採樣因子小於 1.0,這意味著渲染目標的解析度比實際顯示解析度略低。這可能是為了創建更大的視場區域,其中顯示像素和中間像素的尺寸大致相同。

本節中的最後一張圖表(圖 5)展示了鏡頭畸變校正網格,以及實際顯示渲染目標(左)和中間渲染目標(右)之間的空間關係。右邊的黑色矩形表示中間渲染目標的正切空間邊界,即頭顯視場的上限。

圖 5:Vive 鏡頭畸變矯正的可視化圖例。左邊:顯示空間中的畸變矯正網格;右邊:映射至中間渲染目標的畸變矯正網格。只顯示與渲染目標範圍(黑色矩形)相交的部分網格。

請注意,在 Vive 的情況下,不僅某些顯示像素無法顯示有效數據(即映射至黑色矩形之外的失真網格部分),而且中間圖像的所有部分都不參與顯示。渲染目標會超出顯示器的左邊緣,導致圖表出現了透鏡形狀(半圓狀)的「缺失區域」。

2. Oculus Rift

跟上文一樣,前兩張圖標(6 和 7)是通過 Oculus Rift 右邊顯示器透鏡中心觀察到的水平橫截面和垂直橫截面顯示解析度,單位為像素/度。

圖 6:水平線下的顯示解析度,單位是像素/度

圖 7:垂直線下的顯示解析度,單位是像素/度

跟上一節不同的是,圖表只有一條解析度曲線,而不是說每個原色通道各一條曲線。這是因為 Oculus 將鏡頭畸變矯正方法視為商業秘密,而我是採用了某些技巧才獲得了一條曲線。遺憾的是,我不太確定這條曲線屬於哪個原色通道。根據我重建它的方式,它應該屬於綠色通道,但基於曲線的形狀,它看起來更像是紅色通道。請注意透鏡中心的「雙駝峰」。這與 Vive 的紅色通道曲線形狀相同,而 Vive 的綠色通道和藍色通道曲線都不存在這種「駝峰」。這將成為下面比較部分的一個要點。

圖 8 和圖 9 是默認渲染目標尺寸(Rift 是 1344×1600)的水平採樣因子和垂直採樣因子。

圖 8:水平線下顯示渲染目標和中間渲染目標之間的採樣因子

圖 9:垂直線下顯示渲染目標和中間渲染目標之間的採樣因子

最後一張圖表中(10)與之前在 Rift 渲染管道最後使用的鏡頭畸變校正步驟的可視化效果一樣。

圖 10:Rift 鏡頭畸變矯正的可視化圖例。左邊:顯示空間中的畸變矯正網格;右邊:映射至中間渲染目標的畸變矯正網格。只顯示與渲染目標範圍(黑色矩形)相交的部分網格。

3. 對比

根據這兩款頭顯的結果,HTC Vive 和 Oculus Rift 之間最明顯的光學特性差異在於:Oculus 用視場的減少換來了解析度的提高。Oculus Rift 的「單一數字」解析度 13.852 像素/度明顯高於 HTC Vive。假設我從 Rift 提取的單曲線屬於綠色通道,Rift 的解析度將比 Vive 高出 21.2%。如果曲線代表紅色通道(正如「雙峰駝」所示),Rift 解析度仍然比 Vive 高出 20.6%。

前面章節的圖表(1 和 6)展示了解析度在顯示器像素空間上的變化,但由於視場不同,比較效果並不是太好。在同一個圖表中繪製它們需要將水平軸的像素空間轉變成角度空間,如圖 11 所示:

圖 11:水平顯示解析度對比

圖 11 還闡明了兩款頭顯之間像素採樣因子的明顯差異。根據圖 3 和圖 4,Vive 的渲染管道必須在整個顯示器上處理 4.5 的採樣因子動態範圍(從 0.875 到 4.0),而 Rift 僅需要處理 2.9 的範圍。 這是 Rift 減少視場的第二個影響。Vive 使用了更多的透鏡邊緣部分,而這裡的採樣因子出現了明顯的上升。通過緊靠透鏡中心,Rift 避開了那些危險區域。

4. 解析度與視場

考慮到兩款頭顯的顯示器在像素數目上相同(單眼 1080×1200),很明顯的是,有人為了獲得更高的解析度而減少了視場。然而,由於切線空間渲染和透鏡畸變校正的非線性關係,解析度和視場之間並不存在簡單的負相關關係。

幸運的是,如果知道中間渲染目標的切線空間投影參數和鏡頭畸變校正過程中使用的係數,我們可以計算出精確的視場並直接進行比較。第一種方法是比較圖 5 和圖 10,兩者都是以相同的比例繪製。為了方便起見,我在這裡複製了圖 5 和圖 10:

圖 5:Vive 鏡頭畸變矯正的可視化圖例。左邊:顯示空間中的畸變矯正網格;右邊:映射至中間渲染目標的畸變矯正網格。只顯示與渲染目標範圍(黑色矩形)相交的部分網格。

圖 10:Rift 鏡頭畸變矯正的可視化圖例。左邊:顯示空間中的畸變矯正網格;右邊:映射至中間渲染目標的畸變矯正網格。只顯示與渲染目標範圍(黑色矩形)相交的部分網格。

然而,比較這兩個圖表多少會令人產生誤解(所以我沒有將它們疊加在一起)。它們都是繪製在切線空間之中,而切線空間對於 VR 渲染管道非常重要,切線空間大小的差異與觀察到的視場差異不存在線性關係。

對於在 2D 圖標中繪製頭顯視場,沒有一種方法適用於所有的條件,但在這種情況下,我們可以將視場範圍轉換為極坐標,從而繪製出更好的比較結果。其中,顯示器上的每個點都繪製在正方向的測角,而顯示點到中心點的距離與該點與正方向的角度成正比。

圖 12 和 13 分別以極坐標顯示 Vive 和 Rift 的視場。在 Vive 的情況下,圖 11 沒有顯示中間渲染目標隱含的完整視場區域(減去「缺失區域」,參見圖 5),因為 Vive 的渲染管道沒有調用至整個中間目標,而僅僅只是圍繞正方向的圓的內部。

圖 12:極坐標中 HTC Vive 的組合視場(雙眼)。每個灰色圓圈表示距離正方向 5 度。

圖 13:極坐標中 Oculus Rift 的組合視場(雙眼)。每個灰色圓圈表示距離正方向 5 度。

另外為了說明兩款頭顯之間不同的雙眼重疊數量,我同時展示了每款頭顯的雙眼視場組合。在圖 12 中,Vive 的整體視場大致是圓形,在任一眼睛的內側都具有透鏡形狀的「缺失區域」。除了該區域之外,單眼視場的重疊非常優秀。

在圖 13 中,Rift 的視場更像矩形,因為它使用中間渲染目標的整個矩形,而且在兩隻眼睛之間有明顯的位移,這是以雙眼重疊為代價來增加總的水平視場。另外值得注意的是,Rift 視場在垂直方向並不對稱。為了更好地將較小的視場放置在用戶的整體視野之中,透鏡比屏幕下移了一點。

與切線空間不同的是,直接比較極坐標圖十分有意義,參見圖 14:

圖 14:極坐標下 HTC Vive 和 Oculus Rift 的視圖重疊圖。每個灰色圓圈表示距離正方向 5 度。

值得注意的是,Rift 的完整雙目視場都完全包含在 Vive 的雙目重疊區域之內。

5. 提取 Oculus Rift 的鏡頭失真校正係數

正如我在開始時所提到的那樣,Oculus 將 Rift 的鏡頭畸變校正方法視為商業秘密。與 Vive 不同,Vive 通過 OpenVR 提供了計算顯示器上任意點的鏡頭校正切線空間位置的函數,而 Oculus 的 VR 運行時則在後臺進行所有渲染後處理。

所以,我是如何產生圖 6 到圖 10,以及圖 13 中的數據的呢?笨方法。我編寫了一個基於 libOVR 的 VR 應用,它會忽略 3D 和頭部追蹤等其他一切,只是在切線空間中直接將棋盤網格渲染至中間渲染目標。然後,我在 libOVR 鏡像窗口設計功能中使用了一種調試模式,在計算機主顯示器上顯示棋盤的桶形失真視圖,並在其中截取了屏幕截圖(參見圖 15)。

圖 15:libOVR 鏡像窗口的屏幕截圖,其顯示了棋盤的桶形失真視圖。遺憾的是,圖片沒有任何關於色差校正的跡象。

令我感到意外的是,桶形失真視圖沒有任何關於色差校正的跡象。所以正如我想像中那樣,Rift 顯示器上的影像不是 1:1 地對應(證據可見圖 16,Rift 的透鏡確實受色差的影響),但一些偽影可能是由不同鏡頭失真係數組而造成。即使在最好的情況下,這也意味著我無法為三個原色通道創建單獨的解析度曲線。

儘管是這樣,但我還是繼續朝這個方向前進,而且由於我得到的結果有意義,我認為這個調試輸出和真實顯示圖像之間至少存在一定的關係。接下來,我將屏幕截圖投影到鏡頭畸變校正實用程序中,後者提取了畸變網格的內角點,然後通過非線性優化程序運行角點。最後,這個優化程序輸出了這樣一組將輸入圖像映射至我在切線空間中製作的原始圖像的畸變校正係數,像素容差大約為 0.5。藉助這些校正係數,再加上由 libOVR 給出的切線空間投影參數,我可以生成所需的圖表和圖形。

圖 16:通過透鏡看到的顯示校正網格的 Rift 顯示器圖片。我們可以明顯看到因色差造成的顏色邊緣,這意味著 Oculus 的渲染管道確實可以進行校正,但這沒有反映在調試鏡像窗口模式之中。

另外,當我把 Rift 塞到了相機裝置時,我拍攝了一張很久之前所無法捕捉到的圖片:Oculus Rift 的炫光測試。

圖 17:Oculus Rift 的炫光測試,我們可以看到 Rift 所採用的薄脊混合型菲涅爾透鏡造成了朦朧的炫光。

本文來自動點科技,創業家系授權發布,略經編輯修改,版權歸作者所有,內容僅代表作者獨立觀點。

相關焦點

  • 深度對比分析VR頭顯Vive、Rift的解析度:渲染、失真與校正
    我在今年年初撰寫了一篇關於VR頭顯解析度的文章。遺憾的是,我當時只是分析了HTC Vive。與此同時,我手上拿到了Oculus Rift,這樣我就能夠從中獲取必須的原生數據。延伸閱讀:深度分析VR頭顯解析度:渲染、失真與校正有了這些新數據,現在是時候撰寫一篇後續文章了。
  • VR日報:為慶祝旗下戰隊TI7奪冠,HTC開始送VR頭顯了
    為了慶祝旗下戰隊奪冠,HTC在官方推特上宣布,將免費送出一套htc vive設備,以及C9和Liquid戰隊的紀念襯衫。只需要轉發HTC Esports的官方推特,並訪問Dota VR Hub(其中介紹了如何在VR中觀看DOTA2比賽)頁面就有機會領取。2.澳洲推出htc vive限量版頭顯:比普通的還便宜
  • 工業級XR頭顯廠商Varjo發布人眼解析度頭顯XR-3和VR-3
    查看引用/信息源請點擊:映維網 這兩款全新的專業級頭顯正在繼續公司的「解析度革命」 (映維網 2020年12月02日)工業級XR頭顯廠商Varjo日前發布了下一代的人眼解析度頭顯XR-3和VR-3。
  • 220度視場角、6K解析度:松下VR頭顯體驗手記
    頭顯(實際上對所提供的視場來說非常緊湊)使用四個單獨的顯示器,每個解析度為1600×1400,總解析度達到了6400×1440。為了增加外圍視覺,他們使用兩塊透鏡來支持一個眼睛。透鏡似乎是傳統非球面和菲涅爾光學的組合。就我所體驗過的VR頭顯而言(包括StarVR),松下頭顯的水平視場是最寬的。但垂直視場較低,一不小心就會分散你的注意力。
  • Vive Cosmos第三季發布日期已確定
    但從此就沒有了該頭顯的任何消息了,近日,據外媒roadtovr報導,這款頭顯確認將於第三季度推出,並已開始向開發人員發送開發工具包。不過,遺憾的是,到目前為止,HTC仍然沒有透露該頭顯的基本信息,比如解析度、視野、重量、追蹤細節或價格。隨著開發人員接觸到這些硬體,其中的一些細節將慢慢浮出水面,不過在HTC向大眾公布更多的信息前,尚不清楚他們是否會允許曝光這些細節。
  • HTC Vive Pro VR頭顯評測:就是頭顯界的布加迪
    HTC Vive Pro VR頭顯評測:就是頭顯界的布加迪 發布時間:2018-04-08 18:59:01   作者:紅果   來源:騰訊數碼   據Tom’sGuide網站報導,儘管每家公司都在尋找增強現實領域的下一款明星產品
  • 「Vive 1.5」亮相CES 2018,不止屏幕解析度將有大提升!
    編譯/VR陀螺 雲吞 HTC近日表示,一個全新版本的HTC Vive即將和公眾見面,屏幕的解析度將會有很大的提升
  • 工業級XR頭顯廠商Varjo發布新一代人眼解析度頭顯XR-3和VR-3
    工業級XR頭顯廠商Varjo日前發布了下一代的人眼解析度頭顯XR-3和VR-3。據介紹,這兩款全新的專業級頭顯正在繼續公司的「解析度革命」。作為產品線中的最新設備,XR-3和VR-3將致力於在需要絕對精度的行業提供無與倫比的視覺逼真度,包括培訓和模擬、設計、工程、醫療和研究等。
  • HTC發布升級版頭顯Vive Pro 配備3K解析度
    作為虛擬實境領域的巨頭HTC自然也不例外,HTC在CES展會上舉辦的新聞發布會中表示,該公司將會推出一款全新的升級版VR頭顯「HTC Vive Pro」。  相較HTC Vive,這款HTC Vive Pro將提供兩個3.5英寸的OLED顯示屏,解析度為3K(2880×1600),對比Vive頭顯的2160×1200解析度高出了78%。
  • 雙眼3K解析度 雷神·幻影VR頭顯評測
    雙眼3K解析度 雷神·幻影VR頭顯評測 2016年12月19日 00:39作者:孫端編輯:孫端文章出處:泡泡網原創     雷神科技推出的一系列遊戲筆記本電腦產品
  • 惠普新VR頭顯曝光:解析度超HTC Vive
    IT之家2月11日消息 據Road to VR的消息,惠普的新一代VR頭顯預覽版已經得到曝光,代號為「Copper」。這款頭顯支持較高的解析度,以及微軟的微軟混合現實(Mixed Reality,簡稱MR)平臺。消息源還曝光了頭顯的預覽圖,但是沒有透露官方價格或發布日期。
  • 誰是消費級VR最強者?Oculus與HTC vive對比評測
    近日,外媒發布了Oculus CV1和htc vive各方面體驗的對比。目前兩者都不完美,各有千秋。以下是評測內容要點。畫面: 兩者的視野差不多,HTC的垂直視野大一點。Oculus CV1的透鏡更好一些,透鏡邊緣的景物仍然比較清晰。htc vive邊緣有點模糊和扭曲。
  • HTC Vive設備已被檢測 但HTC Vive頭顯無畫面怎麼辦
    HTC Vive所有設備都可以被檢測到,就是頭顯裡沒有畫面,完全是黑漆漆一片。這個問題究竟到底出在哪裡,還需要各位用戶自己好好排查下。是不是HTC vive沒有安裝好,導致HTC Vive顯示頭盔設備沒有連接?HTC Vive頭顯已連接但是顯示未定位。
  • NVIDIA深度學習超採樣技術支持VR:4K、8K VR的福音?
    NVIDIA一直致力於顯卡渲染能力優化,近期不僅推出RTX30系列顯卡,還升級了深度學習超採樣技術DLSS 2.1版,加入對VR的支持,有望大幅提升VR的渲染效率和畫質。那麼DLSS到底是什麼呢?這項技術由NVIDIA在2018年發布,是一個基於RTX系列顯卡的AI圖像增強技術,特點是可通過後期處理消除鋸齒等視覺失真情況,提升解析度和渲染效率,讓畫面看起來更精細。簡單來講,DLSS的原理是在超級計算機中輸入超高解析度的遊戲圖像後,超級電腦會將數據與低解析度版本的圖像對比,在經過幾百萬次嘗試後,找出一種將低解析度圖像塑造成高解析度圖像的算法。
  • 惠普VR頭顯Reverb G2深度體驗:2020年如果你只需要一款VR頭顯,那就...
    智東西也受邀首批拿到了HP Reverb G2工程樣機(與最終量產版會有些許不同)並進行了幾天的深度體驗,說實話,對於初次接觸PC VR頭顯的我來說,Reverb G2無論從畫面清晰度、流暢度還是操作體驗來說,都可以用「驚豔」來形容。
  • DiRT Rally 2.0將在夏天獲得Oculus Rift VR支持
    Oculus為這項VR支持提供了資金支持,所以它沒有發布到SteamVR頭顯上。2016年,當我們在回顧這款遊戲時,我們對其印象深刻,並給出了9/10的評分。DiRT Rally VR是VR賽車遊戲的新高潮。它從不迴避這種新媒體的挑戰,並始終如一地提供創造性的解決方案,以維護其功能和趣味性。
  • HTC VIVE發布VIVE專業版虛擬實境頭顯 解析度提升78%
    打開APP HTC VIVE發布VIVE專業版虛擬實境頭顯 解析度提升78% 發表於 2018-01-10 11:50:24
  • VR設備使用測評 HTC Vive Cosmos算的上目前最好的VR頭顯
    花火網消息,VR頭顯設備自帶科幻氣息讓很多人嚮往,但由於技術問題,目前還沒有能非常完美的VR解決方案,很多VR設計者們為了便攜和靈動想盡了方法,而HTC Vive Cosmos的出現為大家解決了這一問題。
  • 美國AR頭顯廠商Combine Reality展示開源性AR頭顯「CR Deck Mk.1」
    據外媒uploadvr報導,美國AR頭顯廠商Combine Reality近日展示了一款基於開源項目North Star深度開發的AR頭顯「CR Deck Mk.1」。 到目前為止,有關CR Deck Mk.1產品規格的信息還很稀少,從Combine Reality發布在官方推特上的該頭顯產品圖片、視頻及推文我們可以了解到,CR Deck Mk.1基於開源項目North Star計劃而開發,旨在為AR開發者提供一個開源性AR頭顯開發套件,該套件「可以輕鬆實現與現有的AR組件和模塊搭配使用」。
  • VR眼鏡哪個牌子好?兩分鐘告訴你!
    其實VR頭盔主要分為三種:移動端頭顯、外接頭戴式設備、一體機頭顯。移動端頭顯,就是VR盒子,把手機放進去就能看。價格一般幾十到幾百。外接頭戴式設備也稱為PC端頭顯,要接PC電腦才能顯示內容。比如htc vive、oculus等。這一類型的VR成像效果是當前最好的,如果連接電腦,最起碼需要970以上的顯卡才能有比較好的體驗。