前些天，英偉達發布全新GPU架構——Turing（圖靈），被黃仁勳視為十二年來英偉達GPU的最大飛躍，無疑是計算機圖形領域的遊戲改變者。
圖靈架構最大核心亮點在於即時光線追蹤（Real Time Ray Tracing）,能夠計算光線反射、折射、散射等路線，渲染出逼真的畫面，可為遊戲開發者提供電影級畫質的實時渲染，也就是讓遊戲看起來更像電影。據悉，這些新GPU依靠自身的一個特殊部分來快速呈現高解析度圖形，完成圖像的大部分成像工作後，使用人工智慧技術來猜測未完成的像素。
雷鋒網了解到，除了即時光線追蹤外，英偉達的GPU還支持多種AI圖像處理能力，可謂是開了掛。
Adobe上的AI圖像處理插件
在上周舉辦的計算機圖形學年度會議SIGGRAPH 2018上，英偉達發布了全新的圖靈架構，隨後展示了一系列用於Photoshop和Premiere的插件。這些插件都利用了其最新的圖靈GPU架構和Quadro RTX系列顯卡支持的機器學習功能，能夠使Photoshop和Premiere上的一些常用功能運行更順暢，更少手動調整。
早在2017年，Adobe在AI圖像處理上就有很多的案例。通過機器學習技術訓練計算機識別和操縱數據，能夠使得圖像處理工具對圖像內容有更準確的理解和猜測，實現很多P圖高手都難以完成的效果。
雷鋒網曾報導，2018年3月，在Adobe Summit 2018上，Adobe和英偉達宣布雙方將基於 Nvidia GPU 對 Adobe Sensei 人工智慧系統和機器學習框架進行優化。簡單地說，就是將 Adobe Sensei 建立在 Nvidia GPU 的硬體基礎之上。
實際上，雙方的合作已經持續了十多年，不過此前的合作都是在創意和數字體驗方面， Adobe 的圖片、視頻等依賴於 GPU 來運作圖形相關應用；不過這次合作的核心是 Adobe 在 2016 年 9 月發布的 Sensei 人工智慧系統。
合作確立半年之後，英偉達發布全新圖靈架構之際，也展示了雙方合作的成果。
雷鋒網編輯在英偉達於SIGGRAPH大會的展臺上也看到了這些插件的演示。
第一個插件是Super Rez。
Super Rez的主要功能是為圖像添加更逼真的細節。如圖所示，狼群站立在山腰上,其毛髮細節逼真，樹葉紋理清楚，放大後也很清晰，解析度能達到4K至8K。這個功能對於大幅高清圖像很適用，例如大幅面海報。從現場演示來看，這項功能大概需要10分鐘。
第二個插件是Inpaint。
這個插件用AI增強了Photoshop的內容感知填充。英偉達演示的案例是，在陡峭的懸崖上繪製成群結隊的企鵝，企鵝腳下的巖石看起來如真的巖石一樣粗糙，看起來並不像用傳統的畫筆從附近區域複製過來的。
據雷鋒網了解，Inpaint這個技術由英偉達Guilin Liu領導的團隊開發，運用了最先進的深度學習方法，可以編輯重建損壞的圖像，同時也可以通過移除部分圖像並重新填充來編輯圖像。「我們的模型可以穩健地處理任何形狀、大小、位置距離的圖像破洞。以前的深度學習方法主要關注位於圖像中心周圍的矩形區域，並且通常依賴昂貴的後期處理」。
（使用Inpaint去除多餘的一棵樹)
為了準備用於訓練的神經網絡，該團隊首先生成了55,116個隨機條紋和任意形狀和大小的圖像破洞用於訓練。該團隊使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度學習框架，該團隊通過將生成的圖像破洞的蒙版應用於ImageNet，Places2和CelebA-HQ數據集中的圖像來訓練他們的神經網絡。在訓練階段，將破洞或缺失部分引入上述數據集的完整訓練圖像中，以使網絡能夠學習重建丟失的像素。
目前，英偉達演示的Inpaint運行於6300美元的Quadro RTX 6000顯卡上，但是其效果實現所花費的時間依然不短。或許因為如此，英偉達表示它沒有計劃發布這些插件，只是展示新顯卡和Nvidia的NGX SDK的可能性。
相比於價格高昂的Quadro系列，英偉達於8月21日發布的幾款針對遊戲玩家的Geforce RTX顯卡價格則要親民很多。
草圖視頻生成真實視頻
英偉達與Adobe合作的這幾款插件看起來都很日常，而英偉達與MIT合作的一項視頻生成技術看起來則尤為炫酷。
不知道是否有人看過韓劇《W兩個世界》，在這部大火的浪漫韓劇中，男主人公是從一本漫畫裡走出來的，女主人公也能在二次元和三次元之間隨意穿梭。英偉達新的技術向我們展示了「腦洞大開」的韓劇也是有實現的可能，用線條畫一個帥哥，然後一鍵轉換，他的真實的眉眼就出來了，就這麼神奇。
效果如下：給出一個由簡單線條組成的素描草圖就能生成細節豐富的人臉，臉型、鼻子眼睛嘴巴等五官、髮型等都和草圖的輪廓一致，最厲害的是生成的人物還能流暢地動起來。
目前，我們能看到的圖像處理技術能做到的主要是背景分割、人臉區域分割，用來對頭髮髮型、發色、面部五官進行調整。而像這樣根據草圖直接生成一個嶄新的人臉，不免讓人訝異。除了人物，英偉達和MIT的這項技術也可以用於實景。可以合成長達30秒的2K解析度街景視頻。
右邊是一幅動態語義地圖，左邊則是和真實世界一樣的視頻。可以看到，兩邊的場景的布局完全一樣，所以這並不是找了一個相似的視頻出來，而是依葫蘆畫瓢全新生成的。由於是計算機生成的，你可以對視頻中的元素進行修改，例如，將道路兩側全部變成樹木，或者全部變成建築。據雷鋒網了解，此項目由英偉達和MIT組成的團隊開發，包括英偉達的Ting-Chun Wang、劉明宇（Ming-Yu Liu），以及來自MIT的朱俊彥（Jun-Yan Zhu）等。以上幾位研究員合著了一篇名為「Video-to-Video Synthesis」的論文，論文摘要現實，該論文研究視頻到視頻的合成問題，目標是學習從輸入源視頻（例如，一系列的語義分割掩碼）到輸出照片級視頻的映射眼熟，輸出視頻能精確地描繪原視頻內容。論文提出了一種新型的生成對抗網絡框架下的視頻到視頻合成方法。通過精心設計生成器和判別器架構，結合空間-時間對抗目標函數，在多種輸入視頻格式下生成了高解析度、時間連貫的照片級視頻，其中多種形式的輸入包括分割掩碼、草圖和姿態圖。視頻合成的demo很炫酷，可以想像，以後影視製作中的一些部分完全可以不用實景拍攝，畫個簡筆畫然後合成真實視頻就可以了。但是，很顯然，這個視頻到視頻的合成的技術比前面介紹的Adobe裡用到的AI圖像處理技術還要難實現，目前還停留在實驗室階段。
GPU與AI圖像處理
圖靈架構的實時光線追蹤無疑是最讓人驚嘆的，其能計算光線反射、折射、散射，渲染出逼真的畫面，對遊戲、影視的畫面效果會帶來很大的提升。此外，圖靈架構還有更多的特性：
Tensor Core可加速深度神經網絡訓練和推理；圖靈流式多處理器（Turing Streaming Multiprocessor）架構擁有4608個CUDA core，可提供高達16 teraflops的計算性能，並行運算每秒16萬億次整數運算，以加速模擬真實世界的物理模擬；先進的可編程著色技術可提高複雜視效和圖形密集型工作體驗；首次採用超快速的三星16Gb GDDR6內存，支持更複雜的設計、海量建築數據集、8K電影內容等;NVIDIA NVLink可通過高速鏈路聯通兩個GPU，將內存容量擴展至96 GB，並可通過高達100GB / s的數據傳輸提供更高性能；增強型技術可提高VR應用性能，包括可變速率著色（Variable Rate Shading）、多視角渲染（Multi-View Rendering）和VRWorks Audio。
計算機圖形領域一直追逐更清晰的圖像顯示、更逼真的渲染、更快的處理速度是，GPU的性能提升在不斷實現這些目標。如今，AI與圖像處理的結合給我們帶來更多的可能性，這也是不少公司都在布局的方向。在今年的WWDC上，蘋果重點介紹了其Metal和ML兩大技術。2014年蘋果推出Metal，能利用GPU獲得更高的圖形計算能力，使得一些操作遊戲如《堡壘之夜》在iPhone上運行。通過對eGPU的支持，Metal使得蘋果的設備能夠獲得更逼真的3D渲染效果，還能幫助Unity實現實時的光線渲染效果。此外，Metal的另一大特色在於，其能支持機器學習，加速訓練神經網絡這樣的計算密集型任務。因此基於Metal開發的機器學習工具Core ML也能利用GPU，在效率上得到很大提升。
GPU和AI技術的提升，無疑也將對VR的發展起到推動的作用，雷鋒網編輯期待著更多炫酷的AI圖像處理技術的誕生。