2020-07-06 11:20 來源:澎湃新聞·澎湃號·湃客
文/陳根
SIGGRAPH 2020大會即將召開,Facebook研究人員近日更新了一篇文章,介紹了「神經超採樣」(neural supersampling)技術。這是一種根據人工智慧機器學習為基礎的提高圖像清晰度的算法技術,跟NVIDIA的DLSS「深度學習超採樣」技術相似。不同的是,這個神經超採樣並不需要專門的硬體或者軟體就能實現,基本可以媲美DLSS的效果。
這種「神經超採樣」算法可以獲得低解析度的渲染幀並將其放大16倍,這意味著未來科技方向上將發生更多的變化。例如,未來的耳機,理論上可以驅動雙3K面板,每隻眼睛只渲染1K——甚至不需要眼睛跟蹤。
能夠以較低的解析度進行渲染,意味著更多的GPU功能可以自由運行詳細的著色器和高級效果,這可以彌合從移動虛擬實境到控制臺虛擬實境的差距。雖然這並不能把移動晶片變成遊戲機,但它應該在某種程度上縮小差距。
Facebook聲稱它的神經網絡是最先進的,它的性能超過了所有其他類似的算法——這也是它能夠實現16倍升級的原因。在所提供的示例圖像中,Facebook的算法似乎已經達到了可以重建線條或網格圖案等精細細節的地步。
事實上,早在3月份,Facebook就發表了一篇類似的文章。文中描述了利用神經上採樣來釋放GPU功耗的思想。研究人員的期望找出一個「框架」,在當前的渲染管道(低延遲)內實時運行機器學習算法,他們實現了這一點。將該框架與神經網絡相結合可以使這項技術實用化。
隨著AR/VR顯示器向著更高解析度、更快的幀速率和更高的真實感的方向發展,神經超採樣方法可能是通過從場景數據中推斷出清晰細節而不是直接渲染這些細節的關鍵。這項工作為未來的高解析度虛擬實境指明了方向,不僅僅是顯示器,還有實際驅動所需的算法。
目前,這只是一個研究,研究人員「相信通過進一步的網絡優化、硬體加速和專業級的工程設計,這種方法可以明顯更快」。Facebook將這種方法歸類為「神經渲染」,科技的更迭正以超出了任何人的預期的速度發展著。
關鍵詞 >> Facebook,虛擬實境,科技
特別聲明
本文為澎湃號作者或機構在澎湃新聞上傳並發布,僅代表該作者或機構觀點,不代表澎湃新聞的觀點或立場,澎湃新聞僅提供信息發布平臺。申請澎湃號請用電腦訪問http://renzheng.thepaper.cn。
相關推薦
評論()