AR雲@5G 中的核心技術路徑

2021-01-10 騰訊網

本文為「AR邊緣雲技術」專題系列第4篇,本公眾號將繼續推出「AR邊緣雲技術」專題系列文章,與各位分享相關信息,敬請持續關注!

相關信息

5G作為通訊賦能行業的一項重要技術變革,對於 AR 能力和服務的雲部署,不但帶來了寬裕的上下行流量通道,同時超低的空口延時和安全靈活的數據傳輸幀組織方式,為基於核心接入的移動邊緣計算框架提供了廣闊的可能。

同時,5G為核心和入口的龐大設備群落,也為 AR 服務的受眾覆蓋和效益輻射提供了不可比擬的廣闊空間。

也使得5G+AR推動的輕薄和便攜 AR 服務成為蘋果(Apple)、谷歌(Google)乃至亞馬遜(Amazon)等巨頭著力投入和開拓的領域。

然而,機遇和挑戰並存,移動邊緣智能視頻服務能力(參照 GSMA Cloud AR/VR 白皮書)並非是簡單 5G 並整合已有技術的堆砌。

其中切實實現 5G 為核心和入口的龐大設備群落的體驗一致,以及雲能力賦能終端提供更有吸引力客戶體驗(如延時和清晰度等指標)和經濟模式就顯得尤為重要。

結合行業的密切溝通和積極探索,當前三個技術領域的突破就顯得意義非凡,如下篇章將對其分別進行詳細闡述。

01

低延時編碼

雲能力賦能終端提供更有吸引力客戶體驗(如延時和清晰度等指標)在當前技術構架下,是依託5G 空口低延時,以及高帶寬完成待感知現實場景關鍵數據上傳和顯示結果下傳。

通過雲端強大的服務能力完成更高體驗質量的可視化融合展示效果,其中延時的體驗因素就成為考察以上技術方案的核心和突破要素

傳統視頻編碼標準H263~H265,以及即將投入使用的 H266 都是以壓縮數據傳輸帶寬為核心,對於圖像質量以及傳輸延時都有一定的缺失

同時由於存在編碼上傳的流程,雲處理帶來的渲染融合和感知的功耗降低和本地編解碼實現帶來的功耗提升就成為影響前端設備續航能力的重要約束。

為此近期,聯合圖像專家組(JPEG),推出了一種新的開源低能量壓縮解決方案,JPEG XS,以方便通過 5G等網絡以低延遲發送更高質量的圖像。

JPEG XS 核心編碼系統使用離散小波變換(DWT),然後採用 4 個連續係數組為基本單位實現實際係數值幅度的熵編碼。

該標準定義可以提供場景和對象感知所需要的內容高清無損壓縮,同時編碼具有非常低的複雜度和內存資源消耗,並可以提供各種程度的並行度,方便 FPGA,ASIC,CPU 和 GPU 等各種平臺上高效實現,並提供當前最低的編碼延遲。

視聽設備製造商壓縮、圖像處理和安全解決方案的創新技術提供商,IntoPix(比利時),即採用創新的視覺無損,輕量級和基於行的夾層壓縮技術 TICO(SMPTE RDD35),實現了 4K60P 實時編碼和解碼 僅需 96 微秒的可用 JPEG XS 實現。

02

5G確定性網絡

AR 服務需要數字信息和物理場景準確疊加,並能準確伴隨關注點變化和場景變化。

終端本地服務可以輕鬆保障這種延時和同步,而雲能力賦能終端就面臨著原有 IP 網絡技術對於傳輸控制這方面的缺失(存在著大量的擁塞崩潰、數據分組時延抖動等問題)。

2019 年未來網絡發展大會上,有關重量級專家提出了5G 確定性網絡(5G Deterministic Networking),以原生雲、動態智能網絡切片和超性能異構 MEC為技術內核,打造一個有確定範圍時延、丟包和時延抖動參數的確定性網絡,保障極致用戶體驗。

隨即,5G 確定性網絡產業聯盟在劉韻潔院士的倡導下在 MWC19 成立。

確定性網絡(DetNet,Deterministic Networking), 一項幫助實現 IP 網絡從「盡力而為(best-effort)」到「準時、準確、快速」,控制並降低端到端時延的技術。

5G 確定性網絡對於確定性網絡,是一個重要延伸和突破,真正解決從點對點的硬體互連轉向無線互聯,提高部署靈活性的訴求。

03

一致性能力集成接口

實現 5G 為核心和入口的龐大設備群落的體驗一致,在之前面臨著設備能力,渲染引擎能力接口和開發環境調用接口碎片化的問題。

Khronos 最新為 VR 和 AR 應用程式和設備創建一個開放且免版稅的標準,OpenXR,並發布了標準版本 1.0 相關文檔、接口定義和參考代碼。OpenXR 由兩個主要層組成:OpenXR 設備插件擴展和更高級別的 OpenXR API。

包含一組抽象,可允許 XR 硬體平臺供應商公開 Runtime 運行時系統的功能。

通過在應用程式生命周期渲染追蹤幀定時和輸入中採用一組通用的對象和函數,軟體開發者的應用程式只需最少量的移植工作即可兼容多個 XR 系統

作為設備運行的基礎作業系統的兩大平臺,UWP(Universal Windows Platform)和 Linux,其對應維護組織微軟和Collabora 分別發布了支持對應平臺的 OpenXR 1.0 Runtime,並為設備供應商提供針對平臺的基本構件。

其中特別是GNU/Linux 的第一個 OpenXR 運行時,Monado,對 5G 雲 AR 開放架構就顯得異常重要。

END

相關焦點

  • AR 雲重要核心技術和近期發展
    目前最新的語義 3D 重構和語義 SLAM 的挑戰在於使用大型綜合數據集所探尋的 3D 重建技術與識別和學習相結合的新方法,進而實現在 3D 重建技術中使用語義信息來改善密集匹配過程,並更有效的實現語義分割和 3D 技術之間的反饋環。
  • 雲淡追文-yundanzhuiwen【溫瑟瑟,沈昭】無廣告無彈窗全文
    N'eo ket muioc'h gwelloc'h an amzer-mañ, gwelloc'h eo bezañ diazezet war o standilhoù-mañ, ar c'hommad gwelloc'h.Ur wech-mañ e c'halloud treuzwelus, a-walc'h e vevennoù fizikel, n'eo ket gweredekañ ar
  • Unity推出的AR Foundation能幫助使用者解決AR開發過程中遇到的難題
    > Unity開發了一個多平臺API和實用程序,幫助解決你在AR開發過程中遇到的眾多難題,他們將其稱之為 AR Foundation。 Unity表示,「藉助 AR Foundation 及其利用的軟體架構,我們現在可以為開發者提供一個支持ARCore、ARKit和未來平臺核心功能的通用API。」
  • 西安點雲生物兩款陶瓷3D印表機 功能、特點及技術參數
    西安點雲生物兩款陶瓷3D印表機 功能、特點及技術參數 南極熊3d列印 發表於 2020-11-12 15:16:47 2020年11月11日,南極熊注意到,西安點雲生物推出了兩款陶瓷
  • 企業上雲的原因、方式和路徑
    企業上雲,是一個近年來比較熱門的話題,雲的確是可以驅動流程創新和業務創新,成為企業新的利潤增長點。雲計算是一種按需分配的IT資源供給方式,可以滿足對IT資源的「拿來就能用」,「想要就能有」的需求。雲計算中的虛擬化技術帶來「彈性、靈活、安全、低成本」的特性,使「上雲是常態,不上雲是例外」成為共識。
  • vr又稱靈境技術,是模擬虛擬環境中角色的真實表現
    vr在虛擬環境中構建交互虛擬世界,運用真實的人機互動手段,創造和構建具有真實感和臨場感的虛擬世界。vr裝置類產品目前主要涉及電商,醫療健康,新零售,廣告,旅遊,房產等行業領域。通過vr設備獲取用戶的真實信息,並通過ar立體化技術將用戶的信息3d化,再根據需要列印成vr產品,產品可擺放在用戶面前就可以直接觀看和使用,用戶可根據需要進行身體和頭部的轉動和旋轉,且隨時可以攜帶。主要用戶可以在遊戲中打怪,聽音樂,與虛擬世界中的人進行交互,獲取虛擬世界的信息反饋等等。通過「vr+ar」這一創新營銷模式,可以實現消費者體驗到ar應用的內容,ar應用可使消費者感受到真實的虛擬的感覺。
  • 北京,探索「宜居」的技術路徑
    各個企業都有自身業務解決方案,這些方案會推動城市進化,縱使這個過程中存在跟風、泡沫、曲折,但城市會逐漸更為智能。」北京居大不易,談「宜居」頗為奢侈。首都注重規模控制,讓城市更「宜居」, 「智慧」是一條行之有效的路徑。提高城市治理水平、產業發展水平,可以讓城市更具活力。
  • 基於VR/AR/MR的複雜產品可視化平臺技術
    增強現實(Augmented Reality)/混合現實(Mix Reality)的特徵為:真實的場景和環境;虛擬、數位化的3D信息;相互疊加,實中有虛、虛中有實。XR是VR、AR和MR的統稱,是多樣化的數字可視化現實技術。
  • 華為雲XR雲服務 究竟依賴哪些核心能力呢?
    原標題:華為雲XR雲服務,究竟依賴哪些核心能力呢?不遠的未來,你還可以坐在虛擬的會議室跟你虛擬的小夥伴們開一場雲上會議,在虛擬的智慧教室上一堂多人互動課程、做一場模擬實驗,甚至進入虛擬世界進行真實的設計、製造,虛擬和真實之間,邊界不再那麼明顯。這一切,都得益於XR(VR,AR,MR)技術的應用。   XR技術,究竟依賴哪些核心能力呢?華為雲最新發布的XR雲服務,給了我們答案。它提供了五大核心技術和能力,打開未來新視界。
  • 雲從科技的正反面
    資料來源:量子位  雲從科技在AI四小龍中絕對算是異類。  首先是年輕,雲從從創立到上市,僅5年時間。與經常一起比較的AI四獸等公司相比,都要更年輕,更快實現技術創新到商業模式落地。  第一代網際網路人才和「科學家」合力  雲從科技的核心創業團隊均來自中科大及中科院,結合其全內資與政府基金背景,也是其被視為「AI國家隊」的主要原因。  其中,創始人周曦,80後的AI大牛,受教於中科大,創業前是中科院重慶研究院的專家。  核心技術團隊中,也多是中科大、中科院系統出身的專家。
  • 雲儲存技術的概念及雲儲存的三種分類!
    雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是一種新興的網絡存儲技術,是指通過集群應用、網絡技術或分布式文件系統等功能,將網絡中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。
  • 國泰君安證券:公有雲廠商發展的兩個核心邏輯
    前言:公有雲廠商發展的核心邏輯就兩個,一個是規模效應,第二個是客戶粘性。第一個通過先發優勢和巨額虧損解決,第二個通過向PaaS和SaaS層延伸實現。1. 公有雲的發展路徑是自下而上當我們談論雲計算的時候,通常在討論兩條主線。
  • 乾貨| 「國內大循環」:核心思路、路徑及投資機會
    2019年,中國進口原油5億噸,對外依存度達70.8%;天然氣進口9660萬噸,對外依存度達43%。未來幾年對外依存度還會繼續升高。這麼高的對外依存度始終是國家能源安全的重大隱患。這些進口的原油天然氣有大部分用於生產各種化工產品【註:全世界之所以用原油、天然氣作為化工原料有技術上的路徑依賴的原因。歐美資本在這條技術路線上深根多年,長期的資本投入和技術進步降低了石油化工的綜合成本。
  • 技術盛宴 | 數據中心網絡等價多路徑(ECMP)技術應用研究
    等價多路徑路由  等價多路徑路由,即存在多條到達同一個目的地址的相等開銷的路徑。當設備支持等價路由時,發往該目的IP 或者目的網段的三層轉發流量就可以通過不同的路徑分擔,實現網絡鏈路的負載均衡,並在鏈路出現故障時,實現快速切換。  ECMP實現流程:
  • 數字經濟升級,微美全息AR+AI影像技術助構5G產業生態
    當前,以人工智慧為代表的新一代信息技術日趨成熟,已成為科技公司硬核底色和進步的必要條件,並通過數位化路徑滲透到各行各業,驅動產業持續創新變革。 數位化經濟的驅動力鋒芒已露。
  • 原來AR+3D技術還能這樣玩!
    而國內一科技公司研發的老子云恰巧解決了這個問題,它能將3D模型自動壓縮到移動端,實現移動端3D交互技術;而且自動處理圖形光效、色彩、陰影,實時渲染為AR、VR帶來嶄新的沉浸式真實體驗,這無疑將革命性推動AR、VR行業的發展。
  • 物理所利用單分子螢光技術發現端粒DNA G三聯體多種結構與摺疊路徑
    DNA是生物遺傳信息的重要載體,除了經典雙螺旋結構外,在真核生物染色體基因調控序列以及端粒中還廣泛存在一種G四聯體結構。G四聯體結構在調控基因表達和維持基因組穩定性等生物學過程中扮演著重要角色。單分子螢光技術是觀察與測量生物大分子構象變化的重要手段,非常適合觀察G四聯體結構的摺疊過程。
  • Spark AR 統整特效發布
    我們仍致力於改善您的發布體驗,Spark AR Hub【4】中推出的一些新功能都旨在幫助你簡化發布、管理和分析AR特效效果的方式。 統整特效發布 現在你可以一次性提交特效,並在獲得批准後,即可將特效同時發布在 Facebook 和 Instagram 上。
  • 《靈魂戰紀》全新ar卡效果是什麼?
    《靈魂戰紀》全新ar卡效果是什麼?近日,《靈魂戰紀》1月18日更新了10張最新的ar卡亮相,隨著ar的技能描述信息也在卡池中描述出來。下面是10張AR卡的介紹靈魂戰紀 五星ar卡五星卡【折鳶少女 哈露μ】淬火
  • AR光學發展路徑及應用場景分析
    在5G·AR(增強現實)技術應用高峰論壇上,深圳瓏璟光電科技有限公司副總經理楊紅孟以「AR光學發展路徑及應用場景分析」為主題發表了演講。楊紅孟介紹了AR市場現狀、AR光學路徑和波導光機形態,以及瓏璟光電陣列光波導生產現狀。