語義圖像合成是神經渲染技術的重要分支。在生成對抗網絡等深度學習方法基礎上，語義圖像合成近兩年取得了許多令人印象深刻的進展，比如GauGAN等。本文簡單介紹了神經渲染，著重分析了語義圖像合成的一些最新應用。本文還分析了語義圖像合成的最新算法實現結構、新型算子及計算特徵。通過深入理解神經渲染相關技術，我們也期望能借鑑和吸收其中的創新思路，應用到物理仿真等AI融合科學計算領域。我們將持續關注這一領域的發展，並不定期分享我們的認識。
傳統計算機圖形學技術經過幾十年的發展，主要技術路線已經相對穩定。隨著深度學習技術的發展，新興的神經渲染技術給計算機圖形學帶來了新的機遇，受到了學界和工業界的廣泛關注。在近幾年的計算機視覺和圖形學頂會上，我們都可以看到各種令人耳目一新的神經渲染應用。業界領導者如Nvidia、Intel也都提出了融合神經渲染的新型渲染pipeline和專利創新。Nvidia已經將深度超解析度方法(DLSS)加入了新一代的圖形渲染引擎，而Intel也提出了面向神經渲染的計算機圖形硬體架構[1]。
此外，計算機圖形學和科學計算中的物理仿真有著天然的聯繫。我們也希望通過深入理解神經渲染的技術和算法，借鑑和吸收其創新思路，從而推動融合深度學習的物理仿真的進一步發展。
神經渲染是深度網絡合成圖像的各類方法的總稱。神經渲染通過數據驅動而非物理定律獲得渲染函數，其函數一般用深度神經網絡通過學習構建。結合新興的可微渲染方法，神經渲染可以和傳統渲染方法融合為完整的渲染流程。
2020年歐洲圖形學大會的一篇綜述[2]給出了一個較為完整的定義：
(神經渲染是) Deep image or video generation approaches that enable explicit or implicit control of scene properties such as illumination, camera parameters, pose, geometry, appearance, and semantic structure.
報告[2]進一步將神經渲染的各種技術被歸納為照片語義合成、新視角圖像合成、光照調整、自由視角視頻以及面部和身體重演等幾個應用領域。
此外，我們也可以從計算機圖形的任務實現層次對神經渲染相關技術總結分類。計算機圖形的任務可以簡單理解為由內容產生真實感圖像或視頻。進一步細分，圖形渲染的整個流水線可以大致分為兩個環節：根據內容定義物體與場景的網格化和材質（3D建模）；在模型上添加紋理、光照等形成真實感圖像（渲染）。各類神經渲染的目標是實現其中全部或部分的功能。
根據上述理解，我們可以把現有神經渲染技術分為如下幾種類型：語義圖像合成(Semantic Image Synthesis)、場景和物體等圖形建模(CG Modeling)、紋理與光線等圖形渲染(CG Rendering)、圖像重渲染(Rerendering)。本文將側重分析神經渲染中語義圖像合成應用的發展，以及支撐這些應用的深度學習模型架構與計算特點。
語義圖像合成是當前進展較多的神經渲染領域。Semantic image synthesis可以簡單理解為計算機圖形的全流程實現，即由語義圖直接產生真實感(photo-realistic)圖像。
語義圖用簡單的幾何形狀表達場景內容。語義圖可以來自於已有自然圖像的語義分割，也可以手工合成或編輯而得。語義圖像合成技術再根據給定的語義圖產生新的真實感圖像。本文重點介紹了三個最新的語義圖像合成工作：GauGAN[3]，Infinite Future[4]和GANcraft[5]。其中後兩者利用了GauGAN的方法，並都收錄於今年的ICCV2021。
語義圖像合成方法中，GauGAN是影響較大的工作[3]。自2019年發布以來，GauGAN在學界引起很大反響，許多後續工作借鑑和利用了它的算法。
GauGAN方法整體上是一種生成對抗網絡，用語義圖和自然圖像訓練網絡。訓練中自然圖像由 encoder生成隱空間變量，與語義圖一起在生成器產生真實感圖像，並在判別器比較。訓練好的生成器可以根據輸入的語義圖產生真實感圖像。
模型架構：
GauGAN的整體架構如下。
圖3 GauGAN整體架構(來源：文獻[3]，圖15)
其中Image Encode是一個卷積網絡，包括6層stride-2卷積和兩層線性層，輸出為代表輸入圖像隱空間分布的均值和方差。
在對抗網絡中， Generator由輸入的語義和隱空間採樣點生成真實感圖像。Generator是一個包含了多層殘差模塊 SPADE ResBlk的卷積網絡，也稱為SPADE網絡。SPADE模塊集成了特殊定義的Batch Norm算子spatial adaptive normalization(SPADE) 。SPADE算子是GauGAN方法的重要創新點，因此SPADE也被用於指代GauGAN模型。我們會在後文詳細分析SPADE模塊。
對抗網絡的判別器是基於patch的多層卷積模型，用於對比語義圖和生成的真實感圖像。判別器結構中卷積層激活的歸一化採用了Instance Norm(IN)，以避免一個batch中其它樣本的影響。IN算子常常用於生成對抗網絡中。
語義圖像合成技術的一個有趣的進展是2020年底提出的「Infinite Nature」[4]。該方法利用了SPADE模型，可以從單張圖像及對應的視差圖產生視角連續變化的視頻。連續視頻通過如下的渲染-優化的兩步迭代過程來實現。
首先在渲染階段，該方法根據輸入的自然圖像和視差圖，可微渲染器產生一組渲染圖像，包括：另一視角的紋理映射圖，新的視差圖及視差mask。Infinite Nature中的可微渲染器是一個在可微框架上實現的傳統三維網格渲染器[6]。
其次在優化步驟，將第一步生成的新紋理圖、視差及mask作為輸入，該方法用SPADE模型產生下一幀真實感圖像及視差圖。
上述過程反覆迭代就可以產生視頻序列。讀者們可以在網站上看到更多的視頻：
https://infinite-nature.github.io/GANcraft是2021年上半年提出的一項有影響力的工作[5]。它以MineCraft風格的語義像素塊作為輸入，輸出的不僅僅是對應的單張真實感圖像，而是任意視角的真實感圖像。
嚴格來講，GANcraft是一種重渲染技術。神經重新渲染是將已經渲染的圖像根據要求重新再渲染的技術。這類技術依靠深度神經網絡來恢復渲染圖像中丟失的細節。Nvidia已經集成到現有渲染流水的超解析度模型DLSS可以看作是一個成功應用。GANcraft整合了神經渲染多個方向的最新進展，將神經重渲染推進了一大步。
圖5 由MineCraft圖到真實感圖(來源：文獻[5]，圖1)
除了對神經渲染最新技術的整合，GANcraft的一個創新點是構建偽真實圖作為訓練標籤。由於是從MineCraft的虛擬圖來產生真實感圖像， GANcraft訓練的一個問題是難以獲得實際的ground truth。GANcraft 從minecraft圖產生的分割蒙版作為語義圖，再用預訓練SPADE產生真實感圖像作為偽ground truth。這樣就解決了真實圖的來源問題。也就是說，GANcraft將預訓練的SPADE作為了真實圖像的來源。
GANcraft的實現結構
GANcraft對輸入的minecraft圖像的每個塊中都分配一個風格標籤，例如土、草或水等，進而構建 3D 世界的容積函數，從任意給定角度渲染與方塊世界場景一致的真實感圖像。
整個方法實現框架如圖6所示。其中，MLP用於從體素模型構建3D Neural radiance filed，根據視角參數產生二維feature map，由CNN渲染器產生任意視角真實感圖像。而神經渲染的風格特徵由SPADE生成偽真實圖像後經由style encoder 和network產生的。
圖6 GANcraft架構(來源：文獻[5]，圖3）三維容積信息構建
GANcraft模型的場景volume信息由MLP模型表徵。通過訓練該MLP構建了包含場景的神經輻射場(Neural radiance filed)，用於場景投影圖像產生。由於該容積場不能表現極遠處的天空。因此 GANcraft單獨訓練了一個天空渲染的MLP模型。神經容積表徵也是神經渲染的一個重要研究方向。篇幅所限，不再展開。
CNN渲染器
用於輸出最終圖像的渲染器是一個深度卷積網絡。其輸入是由MLP產生的圖像feature map和風格編碼器產生的風格特徵。
風格Encoder
風格Encoder產生用於渲染器的圖像風格特徵。這是一個兩步的網絡。首先SPADE產生風格編碼，即由分割map得到的隱空間統計特徵值。該編碼經過一個風格網絡產生風格特徵。
判別器
與GauGAN不同，GANcraft的判別器是基於多級語義特徵的Unet結構模型。基於語義特徵可實現minecraft和真實感圖像間的對比。
圖8 feature pyramid semantics-embedding (FPSE) 判別器(來源：文獻[5]，圖11)
由上可見，GANcraft巧妙的利用了神經輻射場、SPADE和StyleGAN等最新神經渲染方法，最終取得令人印象深刻的效果。有興趣的讀者可在如下網站看到更多介紹：
https://nvlabs.github.io/GANcraft/GauGAN的生成器採用了SPADE算子對卷積層激活做歸一化。SPADE算子的提出是為了克服BN後語義信息丟失問題。SPADE算子中batch norm的控制參數與對應的語義圖特徵相關:
其中，m是語義圖，i是網絡層，h為輸入feature，c,y,x為feature通道及二維坐標。由公式可知，歸一化計算中控制變量γ和β是空間坐標和特徵通道的函數，需要根據輸入的語義圖由卷積網絡計算而得。
圖9 SPADE算子(來源：文獻[3]，圖2和圖10)
將經典卷積殘差模塊中的BN用SPADE算子代替，則可以構建出SPADE Residual Block並用於GauGAN生成器網路。
圖10 SPADE ResBlk(來源：文獻[3]，圖11)
與許多GAN實現一樣，GauGAN使用了對網絡權重的Spectral Norm來保證收斂。具體來看，GauGAN方法對Generator和BatchNorm中的卷積算子都作了Spectral Norm處理。Spectral Norm操作將卷積核矩陣權重除以該矩陣最大奇異值來歸一化。
矩陣奇異值一般需要通過矩陣奇異值分解獲得。這是一個計算代價很大的過程。因為Spectral Norm僅需計算最大奇異值，我們可以通過冪迭代近似來計算，該操作通過多次矩陣乘迭代來逼近結果，減少了計算量。
語義圖像合成是神經渲染的重要技術領域，當前各種新的算法與應用層出不窮。語義圖像合成的進步推動了神經渲染的應用發展，其技術在遊戲、電影工業等領域已經得到了初步應用。
語義圖像合成的發展也推動了深度學習技術的創新，比如生成對抗網絡的Spectral Norm以及SPADE歸一化算子等。相信通過借鑑神經渲染的新思路，AI的其它應用領域如融合深度學習的物理仿真等方向也會得到推動和促進。這些發展無疑會對深度學習軟硬體實現提出更多需求，從而推動整個AI生態的發展與革新。
[1] Labbre et al.，Graphics Architecture Including aNeural Network Pipeline, US20200051309。
[2] A. Tewari, et. al., State of the Art on NeuralRendering, EUROGRAPHICS 2020.
[3] T.Park et.al., Semantic Image Synthesis with Spatially-AdaptiveNormalization, arXiv:1903.07291v2
[4] A. Liu, Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image, arXiv:2012.09855v2
[5] Z. Hao, et.al., GANcraft: Unsupervised 3D NeuralRendering of Minecraft Worlds, arXiv:2104.07659
[6] Olano and Greer, "Triangle ScanConversion using 2D Homogeneous Coordinates," HWWS 1997.