計劃支持單眼4K!IMR打造高壓縮低延遲無線VR系統

2021-01-08 雷鋒網

目前 PC 級別的虛擬實境設備最典型的要屬 HTC Vive 和 Oculus Rift 兩款,它們都能提供「身臨其境」的沉浸式體驗,但從中我們也看到線纜繁多的短板,在空間上造成了極大的束縛。因此,無線成為了眾多 VR 廠商尋求的突破口,但正式商用前還需要解決無線覆蓋範圍、數據傳輸延遲和圖像呈現品質方面的難題,而本文要介紹的 Immersive Robotics 公司(下文簡稱 IMR)在這方面找到了新的突破。

Immersive Robotics 是一家總部位於澳大利亞的初創企業,他們承諾為 PC 級 VR 設備帶來真正意義上的通用無線解決方案,在儘量不犧牲圖像品質和保證極低延遲的前提下,提供無線纜的虛擬實境體驗。

新技術在走向商用的道路上,最令人著迷之處在於它往往能夠帶動相關產業的發展。正是智慧型手機的快速更迭加速了移動行業的前進,也正是高解析度顯示屏和低成本 IMU 元件的組合,才造就了現在蓬勃的 VR 市場。更是因為消費級 VR 市場不斷成熟,對於更時髦、無線纜束縛解決方案的需求,才驅動無線視頻系統不斷創新和快速發展。

在眾多企業推進無線 VR 研究的過程中,無線視頻廣播系統正在緩慢蛻變,並逐漸顯現出龐大的影響力。為此諸多廠商紛紛布局,例如雷鋒網(公眾號:雷鋒網)報導過的TPCast,為 Vive 頭顯帶來了附加無線解決方案;Valve 公司宣布「重金」投資 Nitero,這是一家在該領域與 Quark VR 和 Serious Simulations 齊名的團隊。當你站在終點處觀察,你就會發現真正推動前沿技術商用和普及的,其實寥寥無幾。

專為 PC 級 VR 頭顯設計,IMR 公司成功研發了 VR 直播流和內聯壓縮系統,聲稱兼容現有的 WiFi 傳輸標準的基礎上儘可能不犧牲圖像質量,並將延遲控制在 2-3ms 範圍內。IMR 的多名聯合創始人親切地稱該系統為「Mach-2K」,他們早在 2015 年時候就已經著手研究無線技術,也正是在早期 OSVR 設備上成功運行概念系統而贏得政府的認同,並獲得了資金支持。

那麼這項牛逼的無線 VR 系統又是誰打造的呢?IMR 公司的聯合創始人共有兩位,分別為 Tim Lucas 和 Daniel Fitzgerald 教授。首先我們來介紹下 Lucas,他在無人駕駛汽車設計上浸淫多年,設計出了多個「優異」的無人機,更是利用 VR 和 LiDAR(雷射雷達)的圖像測量算法,創建了「首個空中 3D 掃描環境的虛擬實境模擬」系統。

Tim Lucas

而另外一位聯合創始人 Fitzgerald 擁有航天航空電子工程方面的博士學位,主攻方向是新興的無人機領。他已經為無人機創建了自動駕駛軟體,而這項工作能通過不斷的實踐來優化並推進算法軟體的發展。

Daniel Fitzgerald 教授

伴隨著虛擬實境產業的迅猛增長,圍繞著專有軟體算法兩人設計了一套系統,能夠為 VR 頭顯設備無線傳輸圖像。Lucas 透露:「事實上在 VR 行業發展初期,我和商業合作夥伴 Daniel Fitzgerald 教授就定下目標,著手解決 HMD(頭戴式顯示器)的無線問題。我們原本的專業領域是生產高端無人機,但我們很早就意識這會是 VR 領域的不錯切入點。」

在消費級、客廳娛樂的 VR 設備不斷湧現的大背景下,團隊迅速意識到應該抓住這些機遇。「當消費級 VR 設備不斷普及後,我們意識到從邏輯上來說用戶肯定希望擺脫線纜的束縛,而且這種需求會變得越來越強烈。」Lucas 說道:「因此,我們從頭設計了視頻壓縮算法,能夠將視頻數據壓縮到當前無線傳輸技術能夠接受的範圍,與此同時我們努力消除了當前壓縮技術存在的缺陷,例如高延遲等等。」

「最為重要的是,壓縮和解壓縮算法分別在不同的獨立主板上運行,而這些主板可嵌入到 HTC Vive 組件上,在圖像壓縮 95% 的基礎上將延遲控制 1ms 以內。在用戶沉浸式體驗方面,這和線纜連接方式幾乎沒有差別。」

在強悍的無線性能表現的同時,這款名為 Mach-2K 的系統尺寸上也得到了很好的控制,小到用戶別在腰上隨身攜帶。這款設備內置電池模塊,可通過 USB、音頻埠和 HDMI 進行連接。以 HTC Vive 為例,傳輸設備和 PC 端進行連接後,可以向其發射解析度為 2160*1200 幀率為 90Hz 的圖像。IMR 同時還研發了手工版算法,在圖像上實現最高 95% 的壓縮比情況下,Motion-to-Photon 延遲控制在 2-3ms 範圍內。

而這並非這套系統的全部實力,將負責壓縮的模塊分別安裝在兩個頭顯設備上,而源設備則負責為這兩款設備解壓縮和定向傳輸,在最初的設想中為下一代高規格 VR 設備做準備,單眼解析度能夠達到 4K,幀率能達到 120Hz。「目前,我們已經在 HTC Vive 上實現數據的縮放。」Lucas 說道:「我們堅信單眼 4K 即將會成為標準配置。」因此伴隨著 VR 設備的演變進化,IMR 的技術擁有廣闊的提升空間。

Mach-2K 規格:

●當前解析度完全支持 2160*1200

●當前幀率完全支持 90Hz

●計劃單眼將支持 4K 解析度

●計劃將幀率提升到 120Hz

●主 CPU:FPGA

●I/O:HDMI、USB 2.0.12V 輸出

●眼球追蹤輸入

●供電:5V 直流

●電流頻率:802.11ac WiFi 5Ghz

●未來支持的頻率:最高至 60Ghz WiGig

●板載軟體:B.A.I.T「Biologically Augmented Image Transmission」算法

●OEM 和 SDK 選項:允許第三方為算法創建應用定製的模塊

●用戶可選的壓縮方案

你是否對這些數據也有懷疑?IMR 提供了經過 Mach-2k 系統壓縮前後的部分樣張。在這些圖片中我們也能看到 IMR 的壓縮技術也在不斷提升,從左至右分別為原圖、第二代壓縮算法,目前已經進化到第三代,可以看到兩者之間的差距變得越來越小。

損耗數據壓縮(並非負項,僅表明數據丟失情況)主要通過拋棄用於描述場景的數據來壓縮容量。由於仍然需要在每個幀中使用較少數據來描述相同的圖像,因此必要將做出某些妥協。已壓縮場景的指示標誌是色彩逼真度的損失,最離譜的可能會看到帶狀的顏色過渡梯度。你可以在 IMR 的第二代壓縮算法中看到這種梯度,不過目前最新算法已經得到了明顯改善。

假設這種級別的圖像質量能夠配合 90Hz 的實時幀率,我相信很多用戶無法區分有線和無線版本的區別,除了在極個別比較有挑戰性的 VR 場景中。

最後,IMR 認為他們的技術能夠為所有 VR 設備提供通用無線解決方案。「我們的算法就是致力於為無線設備提供服務。」Lucas 表示:「我們已經向一些全球領先的 WiFi 和 VR 專家進行展示,達成的共識是我們的算法是目前最低的。而且靈活的可擴展性能將會為我們帶來各種可能。」

via roadtovr

雷鋒網版權文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • Oculus首席科學家談五年內VR發展:單眼4K、140度視場角
    Facebook已經在VR內容上投入額2.5億美元,並計劃還將再投入2.5億美元。小扎展示了VR社交的樣子,我們在VR中的虛擬形象可以做各種面部表情,幾個人在同一件屋子裡聊天。未來某一天,我們將帶著像普通眼鏡那樣的設備,既可以實現增強現實,又能實現虛擬實境。「我們全身投入VR,完全是因為我們對VR未來的憧憬。」Abrsah說。
  • 65ms超低延遲 碩美科GX501真無線遊戲耳機體驗
    當前耳機市場,關注度最高的無疑就是TWS(真無線)耳機了;而對於消費者來說,尤其是喜歡手遊的玩家,想要在眾多產品中挑選一款專門針對遊戲體驗設計的低延遲耳機還真不太容易。不過,近期我們拿到的這款碩美科GX501,可以說是眾多手遊玩家的福音。
  • 真無線耳機哪個延遲低?吃雞低延遲真無線藍牙耳機榜單
    真無線耳機哪個延遲低?吃雞低延遲真無線藍牙耳機榜單 相信很多帶藍牙耳機玩遊戲的小夥伴們都感受過一件事。就是在玩遊戲的時候聲音存在延遲的現象,特別是吃雞聽腳步等競技類遊戲,導致整個遊戲過程的體驗感非常之差,如果你遇到的是這種情況,那麼筆者就像向你推薦幾款遊戲藍牙耳機。
  • 高性價比平價真無線藍牙耳機,500左右高音質低延遲藍牙耳機推薦
    所以,蘋果的AirPods吸引了很多人,但也讓許多人望而卻步,因為其比較貴的價格,不過從現在來看,越來越多的TWS真無線藍牙耳機出現在消費者面前,它的長續航、無線佩戴方便等都成為了優勢特點。在選擇真無線耳機之前,挑選了很多款,最終選定了這五款高性價比的藍牙耳機,下面我們一起來看看吧!
  • 低延遲高性價比百元耳機,嘿嘍GT5真無線藍牙耳機
    藉助藍牙技術的發展與技術的提升,全新TWS真無線藍牙耳機產品正在瘋狂地湧入市場。對比有線耳機,真無線藍牙耳機不止是方便,也極具科技感。嘿嘍GT5真無線藍牙耳機的發布,也讓用戶知道了真無線耳機其實也能很親民。GT5真無線藍牙耳機主打低延遲,遊戲模式下無感延遲低至65ms,玩遊戲時第一時間識別周圍槍聲、腳步聲,搭配獨特的全景環繞聲效,給你身臨其境的暢快遊戲體驗,遊戲也能玩出大片感。
  • 手遊玩家的最佳搭檔,60ms低延遲,戰錘狂鯊無線耳機
    經過一整年的「廝殺」,真無線耳機已經成為了市場上當仁不讓的「耀眼明星」。都說「由奢入儉難」,使用過無線耳機的小夥伴就很難再回去使用有線耳機了,所以大家對於無線耳機的要求也變得越來越高。基於這種情況,各大商家現階段開始打造無線耳機核心功能:降噪、超低延時以及專業調音等。
  • 無線化是趨勢 澳洲公司IMR將推最新無線PCVR系統
    無線化是趨勢 澳洲公司IMR將推最新無線PCVR系統 時間:2016-12-25 11:32:49 來源:3DM新聞組-時之笛
  • 市面上延遲最低的真無線藍牙耳機是哪款?十大低延遲藍牙耳機排行
    市面上延遲最低的真無線藍牙耳機是哪款?十大低延遲藍牙耳機排行 相信很多帶藍牙耳機玩遊戲的小夥伴們都感受過一件事。
  • 羅技和雷蛇的無線滑鼠是怎麼做到低延遲和抗幹擾的
    雷蛇代表:無線毒蝰羅技的LIGHTSPEED技術號稱有著1ms的延遲無線USB的傳輸速率高達110M/s-480M/s傳輸帶寬有2M,而1000Hz無線滑鼠佔用的帶寬僅僅只有64Kb所以2.4G技術的帶寬用來傳輸無線滑鼠的信號可以說是戳戳有餘。為什麼早在前幾年沒有宣傳的這麼厲害的無線滑鼠出現呢?
  • 真無線藍牙耳機哪款音質好?雙11低延遲專業級高音質藍牙耳機推薦
    真無線藍牙耳機哪款音質好?雙11低延遲專業級高音質藍牙耳機推薦 2020年10月31日 21:20作者:網絡編輯:王動   近期非常火熱的藍牙耳機,網上一組數據顯示,藍牙無線耳機在智能硬體的市場佔有率在15%
  • 國信放出「超級大招」——全鏈路超低延遲交易解決方案
    作為低延遲交易賽道的領跑者,國信證券擁抱技術革命,鼎力打造集FPGA行情系統、新一代分布式櫃檯系統、極速網絡環境、兩地雙中心報盤等低延遲交易技術於一體的新一代低延遲交易解決方案。從交易所行情出發,經解碼轉發至用戶,用戶發出訂單至交易所整個鏈路實現超低延遲!
  • 微軟推出機器學習系統Brainwave,超低延遲、堪稱實時AI
    目前,Brainwave支持使用微軟CNTK框架和谷歌TensorFlow框架的訓練模型。 【AI星球(微信ID:ai_xingqiu)】8月23日報導(編譯:福爾摩望)微軟今天推出了一款可以支持高速、低延遲機器學習模型的系統,也預示著微軟開始在專用AI硬體領域嶄露頭角。
  • 市面上延遲最低的藍牙耳機是哪款?超低延遲藍牙耳機榜單
    這類的遊戲在需要玩家靈敏操作的同時,更加需要手機能夠低延遲的輸出準確的聲音反饋,幫助玩家準確判斷敵人的方位。低延遲的聲音輸出又恰巧是有線耳機的長處,可是在低頭看看你的手機,還有幾部手機為你保留3.5mm的,藍牙耳機已經成為了現在手機聽音幾乎"唯一"的選擇,而藍牙耳機的延遲又是行業的通病。
  • 高性能低延遲真無線藍牙耳機測評,五款遊戲專業級藍牙耳機推薦
    耳機有3種娛樂音效模式,長按觸控區4秒即可進行切換:遊戲模式時,延遲低至0.04S,是傳統模式的2-3倍,遊戲模式下還自帶「聽聲辨位」,3D環繞浸入式體驗,輕鬆吃雞不是夢想;音樂模式時,高清音效加速解碼,配合石墨烯超薄高彈振膜,EQ智能調節音效,隨時享受純淨音質;影音模式下,立刻加速畫音同步,無論是藍光還是8K都能畫音同步,暢享大片原音效,F1還採用藍牙5.0晶片,擁有傳輸速率快、距離長
  • 藍牙耳機玩遊戲為什麼有延遲?五款高顏值低延遲藍牙耳機推薦
    比如,現在最新的藍牙5.0版本,對傳輸速度和連接穩定性都高出4.2好幾倍,延遲和功耗也有所改善。再比如,如果支持APT-X技術編碼,能讓音質達到無損傳輸,音質更好,延遲也更小。不說對速度要求最高的音遊,玩個刺激戰場、王者之類的還是沒有什麼大問題的,相信,這也滿足了很大一部分朋友的需求了。
  • 88ms超低延遲 vivo TWS Neo不拿來玩遊戲可惜了
    vivo TWS Neo真無線耳機搭載了第二代雙路傳輸技術與系統級全鏈路優化技術,可以實現88ms的超低延遲,這一成績也刷新了當時的業界紀錄,對於經常用真無線耳機玩手機遊戲的用戶來說,超低延遲可以帶來行雲流水般的暢快遊戲體驗。
  • 低延遲遊戲藍牙耳機10強
    這類的遊戲在需要玩家靈敏操作的同時,更加需要手機能夠低延遲的輸出準確的聲音反饋,幫助玩家準確判斷敵人的方位。低延遲的聲音輸出又恰巧是有線耳機的長處,可是在低頭看看你的手機,還有幾部手機為你保留3.5mm的,藍牙耳機已經成為了現在手機聽音幾乎"唯一"的選擇,而藍牙耳機的延遲又是行業的通病。
  • 愛遊戲CV頭「追光」交互式技術,為全球VR遊戲開發商推出「哥倫布...
    o簡介中,Qiyu 3標配了輕便的遊戲手柄,可實現毫米級的定位精度,毫秒級的初始化速度和毫秒級的延遲,並完全匹配Steam,Quest和VIVEPORT的三個內容生態系統,這意味著 它可以匹配當前遊戲中幾乎所有主流VR。
  • Razer推出主動降噪真無線耳機,具有THX認證與60ms低延遲
    Razer 推出主動降噪真無線耳機 HAMMERHEAD TRUE WIRELESS PRO ,具 THX 認證與 60ms 低延遲Razer 除了發布 Tomahawk Gaming Desktop 以外,也宣布一款高階的真無線耳機 HAMMERHEAD
  • 微軟公布天蠍座主機參數:真 4K 畫質,還將支持 VR 頭盔
    去年 E3 期間,微軟公布代號為「天蠍計劃」(也被成為天蠍座)的加強版主機,該主機也被稱之為「史上性能最強的遊戲主機」。據雷鋒網(公眾號:雷鋒網)了解,Eurogamer 旗下的遊戲硬體欄目 Digital Foundry 受邀提前前往微軟體驗了「天蠍計劃」,也得到了一些官方參數,但這些參數還不完全是最終銷售產品的參數。這臺主機不僅僅是性能的提升,它還代表著將主機各個方面的設計推向一個新層次。