抗鋸齒技術的新節點:深度學習超級採樣(DLSS)到底是什麼

如果讓你在腦海裡以進化的視野回望過去歷史的長河中遊戲的畫面是如何從拙劣慢慢進化到目前的精細，相信大家都有自己的一套歷史觀，首先當然是隨著解析度的提高、硬體的圖形性能、顯存容量的發展，遊戲中能夠刻畫的模型解析度越來越高、越來越精細，而隨著發現貼圖、曲面細分技術的發展，遊戲當中的地面、牆體在更加精細的同時能夠顯示足以以假亂真的沙塵、泥團、軌跡、地毯紋理，人物的衣物能夠顯示更加立體、更加有層次的質感，再往後，我們皮膚在更加精細的同時能夠顯示更多的表情，貼圖的位移更加精細，甚至連毛髮都可以以假亂真。

另一方面，隨著內存、顯存的進步，遊戲引擎本身在邏輯方面的追求，我們開始迎來沙盒式遊戲，開始習慣在開放世界中以自己的方式改變著遊戲的面貌，改寫歷史的進程。在光影方面，在體積光、屏幕空間反射、遮蔽光的普及，再到近年愈加火熱的「基於物理」的熱潮，似乎萬物皆可「基於物理」，比如說基於物理的渲染、基於物理的著色器，如果你認真觀察的話，似乎我們現在目前所處的時代已經擁有足夠讓人滿意、甚至是讓人無欲無求的畫面，比如說《戰地1》，這似乎讓人想到段子中經常看見的那位美國專利局局長在1899年時所說的「所有可以被發明的東西都已經被發明完」。

這是真的嗎？當然不是，只有不負責任的反智言論才會讓你相信我們現在處在過剩的時代，尤其是在技術層面，技術是永遠無法超過欲望的，而我們能做的就是好像是魔術師使用各種各樣的Trick、Hack來騙過你的眼睛，調動你的滿足感。比如說新發布的圖靈顯卡主要標榜的光線追蹤，就是嘗試以真實的光線路徑創造出真實的反射，讓應該黑暗的地方如同真實般黑暗、應該明亮的地方如同真實般明亮。

什麼意思？簡單的例子是《戰地》系列，當我初次玩的時候，我就感覺到一股以往從來沒有在《使命召喚》系列體驗到的真實感，這份真實感是來自團隊合作？還是來自於大規模的載具？似乎都是，但是認真對比同時期的《使命召喚》對比後，我很快發現關鍵就在於光影，比如說《戰地3》當中的黑夜地圖，明顯就感覺除畫面當中固定的少數光源外，其他地方都非常黑暗，近乎伸手不見五指，雖然會不習慣但很快你就會發現這跟現實情況如出一轍，而《使命召喚》當中的夜戰環境就更像是簡單將亮度調低，相比之下很容易跳戲。

這是《戰地3》當中的夜間巷戰

這是《使命召喚》系列的黑夜

你更喜歡哪種風格的黑夜？

鋸齒——影響畫面真實性的歷史難關

那麼是不是如果紋理足夠精細、光影足夠飽滿，我們對於畫面的夢想就已經接近實現呢？聽起來好像有些道理，但是你忘記有項基礎性的問題，就是遊戲的鋸齒。因為畫面的生成原理問題，畫面是無法完全避免鋸齒的，而在如何消除鋸齒方面，簡單來說有兩種手段，一種是通過更多的像素採樣，生成更加精細的畫面，然後超採樣到屏幕裡，因為解析度的原因，更加精細的畫面能夠實現消除鋸齒的效果，這種抗鋸齒效果比較好，而且要實現沒有太多技術難度，但是對於性能的要求非常高，其中的代表就是簡單粗暴的超級採樣抗鋸齒（SSAA）、多重採樣抗鋸齒（MSAA）。

來自《古墓麗影：崛起》的抗鋸齒對比

來自《刺客信條：梟雄》的抗鋸齒對比

第二種是採用後處理的Trick，通過靈活的算法來以一定程度的畫面模糊來消除鋸齒，這種抗鋸齒的特點是沒有前者「實實在在」超採樣而帶來的效果，不夠精細，如果比較早期的遊戲（2011-2014）通過比較是能夠明顯看出來更模糊的，但是它突出的優點是它的最大價值：對於性能的要求極其低，有些時候能夠做到忽略不計，畢竟這是主要基於後處理的技術，其中的代表是FXAA、SMAA，目前的遊戲已經基本不會給你變模糊的感覺，但是在線條較多、場景複雜的環境依然容易顯得鋸齒明顯，所以部分遊戲當中能夠看到他們的結合。

來自《上古捲軸：天際》的抗鋸齒對比

而如果要說第三種的話，那就是TAA，它的本意是時間性抗鋸齒，最常見的拼寫是「Temporal anti-aliasing」，但是NVIDIA的電影化抗鋸齒TXAA的含義同樣是如此，現在具體的含義與本源雖然不清楚，但是在質量跟效果方面，TAA處在上述兩種方案之中，是比較中庸的方案。在目前的一些遊戲當中，TAA已經成為最主流的選擇，而以往很常見的MSAA都是變得罕見。

不只是光影，圖靈架構還帶來什麼？

在上述所有的抗鋸齒技術、光影技術的邏輯當中，共同的邏輯就是所有的計算性能仿佛就是一塊蛋糕，每當你開啟新的技術，蛋糕就要被切除一塊，而如果你開啟軟陰影、全局光照、超級採樣，那麼蛋糕當中的極大部分就會被砍掉，或者說硬體性能守恆，這意味著除非更換硬體，否則沒有辦法在不削弱一部分體驗的前提中提高你另一部分的體驗（在大多時候都是遊戲），這點就註定很多的優化軟體都是基於歪理邪說，道理很簡單，如果你不升級配置，或者不超頻，那麼你的幀率就永遠只有那麼多，你想要流暢，就註定要砍掉優先級較低的特效，而如果你想要栩栩如生的畫面，就註定要忍受較低的幀率——這是無從辯駁的、跨畫遊戲世界的扛鼎理論。

但伴隨著圖靈架構當中新增的張量單元，在全新的GeForce 20系列顯卡當中新增的深度學習超級採樣抗鋸齒（ Deep Learning Super-Sampling）是跟以前有根本性差別的抗鋸齒，看名字似乎跟我們熟悉的SSAA超級採樣抗鋸齒有淵源，但其實並非如此，後者是相當暴力、在本地緩衝區直接生成數倍於目前解析度的圖像然後超採樣精細化，因此硬體損耗極其龐大，而前者則是利用張量單元賦予的深度計算性能，讓本地生成的圖像跟使用超級採樣生成的圖像對比，然後通過學習、觀察其中的差距來復現後者的質量。

很重要的改變就是：顯卡不再將所有的運算都在本地執行，是的你沒有聽過，通過圖靈架構，你能夠通過張量單元，跟位於英偉達總部的土星-V（Saturn-V）超級計算機(660節點、5280伏打核心)來依靠深度學習，來獲得四兩拔千斤的效果， 通過龐大的AI訓練，能夠以很小的代價獲得更好的採樣效果，說誇張一點，就是以FXAA抗鋸齒的性能損失，換回SSAA抗鋸齒的畫質，聽起來是不是很夢幻。

在德國的科隆遊戲展期間，NVIDIA公布的支持深度學習共有十餘款，但是目前我們能夠親自測試的作品只有兩項Demo，其一是虛幻引擎4公布早期時的潛行者Demo，其二是《最終幻想XV Windows Edition》。在這兩項作品當中能夠跟TAA進行對比。

性能畫質對比：幀率的甜點，但是有模糊化的嫌疑

針對這兩款作品的測試Demo，我們使用Intel Core i7-8086K、RTX 2080/80 T顯卡來測試，驅動已經是最新的GeForce 411.70，針對虛幻4引擎的潛行者Demo，我們可以使用PresentMon來測試，記錄幀率跟幀時間，但是針對《最終幻想XV Windows Edition》，我發現最方便的工具PresentMon無法工作，所以只能使用Fraps來記錄幀率。測試解析度全部都是4K。需要注意的是，目前僅有圖靈架構的RTX顯卡才能支持DLSS抗鋸齒。

這次測試的顯卡是來自索泰的RTX2080/80TiX-GamingOC

我們首先來看到《潛行者》Demo的平均幀，你會發現跟TAA抗鋸齒相比，DLSS抗鋸齒的性能可以提高超過20%，就單項技術來說，這已經可以說是相當龐大的性能差距，其實原本來說TAA就並非硬體需求很高的技術，可見DLSS抗鋸齒對於硬體的負擔真的是很低的。另外再看幀生成時間，我們同樣能夠看到，開啟DLSS抗鋸齒後幀時間確實是最穩定的，要遠遠比TAA抗鋸齒更加平直、穩定。

幀時間圖

幀率圖

在《最終幻想XV Windows Edition》當中的情況類似，在開啟DLSS抗鋸齒後依然能夠看到相比TAA抗鋸齒有超過20%、甚至在RTX 2080 Ti上面能夠看到接近30%的性能差距，就單項技術的影響來說，真的很少有那能夠影響如此劇烈的效果存在。

既然硬體需求如此的低，那麼如果畫面還足夠好的話那就真的是完美的技術，然而事實是這樣嗎？根據Digital Foundry撰文記錄的來看，似乎並非如此：DLSS抗鋸齒在部分場景會顯得模糊，而相比之下原本畫面並不突出的TAA抗鋸齒則會顯得更加銳利、清晰，我們就來針對《最終幻想XV Windows Edition》的測試過程來對比看看。

首先來看看這張露營的截圖，這張截圖區別足夠明顯，無論是高幫靴，還是帳篷、衣物、手臂、皮膚、頭髮都會顯得TAA抗鋸齒更加銳利，仿佛經過銳化一般，而DLSS抗鋸齒則顯得有些模糊，當然在這份模糊的背後，TAA沒有完全消除的抗鋸齒，比如帳篷支架、頭髮都已經在DLSS抗鋸齒當中沒有看到，這其中的孰優孰劣就讓玩家自己來評價吧。

點擊放大，注意看

這些截圖是Digital Foundry錄製的

注意看頭髮

左邊是DLSS，右側是TAA

這兩張全景圖放在一起看

你會發現TAA的細節更多、更清晰

總得來說，DLSS是一項跟以往的抗鋸齒技術完全特立獨行，具有更廣闊的技術潛力的抗鋸齒技術，通過張量單元，GeForce 20系列顯卡能夠以相當實惠的性能損失獲得足夠好的採樣效果，而且可以預見的是，它在遊戲裡的優化空間是很大的，現在它很像是當時FXAA抗鋸齒剛出來的模樣，也許日後它能成為相當主流的選擇呢。