本文為「AR邊緣雲技術」專題系列第4篇,本公眾號將繼續推出「AR邊緣雲技術」專題系列文章,與各位分享相關信息,敬請持續關注!
相關信息
5G作為通訊賦能行業的一項重要技術變革,對於 AR 能力和服務的雲部署,不但帶來了寬裕的上下行流量通道,同時超低的空口延時和安全靈活的數據傳輸幀組織方式,為基於核心接入的移動邊緣計算框架提供了廣闊的可能。
同時,5G為核心和入口的龐大設備群落,也為 AR 服務的受眾覆蓋和效益輻射提供了不可比擬的廣闊空間。
也使得5G+AR推動的輕薄和便攜 AR 服務成為蘋果(Apple)、谷歌(Google)乃至亞馬遜(Amazon)等巨頭著力投入和開拓的領域。
然而,機遇和挑戰並存,移動邊緣智能視頻服務能力(參照 GSMA Cloud AR/VR 白皮書)並非是簡單 5G 並整合已有技術的堆砌。
其中切實實現 5G 為核心和入口的龐大設備群落的體驗一致,以及雲能力賦能終端提供更有吸引力客戶體驗(如延時和清晰度等指標)和經濟模式就顯得尤為重要。
結合行業的密切溝通和積極探索,當前三個技術領域的突破就顯得意義非凡,如下篇章將對其分別進行詳細闡述。
01
低延時編碼
雲能力賦能終端提供更有吸引力客戶體驗(如延時和清晰度等指標)在當前技術構架下,是依託5G 空口低延時,以及高帶寬完成待感知現實場景關鍵數據上傳和顯示結果下傳。
通過雲端強大的服務能力完成更高體驗質量的可視化融合展示效果,其中延時的體驗因素就成為考察以上技術方案的核心和突破要素。
傳統視頻編碼標準H263~H265,以及即將投入使用的 H266 都是以壓縮數據傳輸帶寬為核心,對於圖像質量以及傳輸延時都有一定的缺失。
同時由於存在編碼上傳的流程,雲處理帶來的渲染融合和感知的功耗降低和本地編解碼實現帶來的功耗提升就成為影響前端設備續航能力的重要約束。
為此近期,聯合圖像專家組(JPEG),推出了一種新的開源低能量壓縮解決方案,JPEG XS,以方便通過 5G等網絡以低延遲發送更高質量的圖像。
JPEG XS 核心編碼系統使用離散小波變換(DWT),然後採用 4 個連續係數組為基本單位實現實際係數值幅度的熵編碼。
該標準定義可以提供場景和對象感知所需要的內容高清無損壓縮,同時編碼具有非常低的複雜度和內存資源消耗,並可以提供各種程度的並行度,方便 FPGA,ASIC,CPU 和 GPU 等各種平臺上高效實現,並提供當前最低的編碼延遲。
視聽設備製造商壓縮、圖像處理和安全解決方案的創新技術提供商,IntoPix(比利時),即採用創新的視覺無損,輕量級和基於行的夾層壓縮技術 TICO(SMPTE RDD35),實現了 4K60P 實時編碼和解碼 僅需 96 微秒的可用 JPEG XS 實現。
02
5G確定性網絡
AR 服務需要數字信息和物理場景準確疊加,並能準確伴隨關注點變化和場景變化。
終端本地服務可以輕鬆保障這種延時和同步,而雲能力賦能終端就面臨著原有 IP 網絡技術對於傳輸控制這方面的缺失(存在著大量的擁塞崩潰、數據分組時延抖動等問題)。
2019 年未來網絡發展大會上,有關重量級專家提出了5G 確定性網絡(5G Deterministic Networking),以原生雲、動態智能網絡切片和超性能異構 MEC為技術內核,打造一個有確定範圍時延、丟包和時延抖動參數的確定性網絡,保障極致用戶體驗。
隨即,5G 確定性網絡產業聯盟在劉韻潔院士的倡導下在 MWC19 成立。
確定性網絡(DetNet,Deterministic Networking), 一項幫助實現 IP 網絡從「盡力而為(best-effort)」到「準時、準確、快速」,控制並降低端到端時延的技術。
5G 確定性網絡對於確定性網絡,是一個重要延伸和突破,真正解決從點對點的硬體互連轉向無線互聯,提高部署靈活性的訴求。
03
一致性能力集成接口
實現 5G 為核心和入口的龐大設備群落的體驗一致,在之前面臨著設備能力,渲染引擎能力接口和開發環境調用接口碎片化的問題。
Khronos 最新為 VR 和 AR 應用程式和設備創建一個開放且免版稅的標準,OpenXR,並發布了標準版本 1.0 相關文檔、接口定義和參考代碼。OpenXR 由兩個主要層組成:OpenXR 設備插件擴展和更高級別的 OpenXR API。
包含一組抽象,可允許 XR 硬體平臺供應商公開 Runtime 運行時系統的功能。
通過在應用程式生命周期,渲染,追蹤,幀定時和輸入中採用一組通用的對象和函數,軟體開發者的應用程式只需最少量的移植工作即可兼容多個 XR 系統。
作為設備運行的基礎作業系統的兩大平臺,UWP(Universal Windows Platform)和 Linux,其對應維護組織微軟和Collabora 分別發布了支持對應平臺的 OpenXR 1.0 Runtime,並為設備供應商提供針對平臺的基本構件。
其中特別是GNU/Linux 的第一個 OpenXR 運行時,Monado,對 5G 雲 AR 開放架構就顯得異常重要。
END