全文共6531字，預計學習時長13分鐘
生成對抗網絡（GAN）是生成模型的一種神經網絡架構。
生成模型指在現存樣本的基礎上，使用模型來生成新案例，比如，基於現存的照片集生成一組與其相似卻有細微差異的新照片。
GAN是使用兩個神經網絡模型訓練而成的一種生成模型。其中一個稱為「生成器」或「生成網絡」模型，可學習生成新的可用案例。另一個稱為「判別器」或「判別網絡」，可學習判別生成的案例與實際案例。
兩種模型（從博弈論的意義上來說）處於一種競爭狀態，生成器企圖愚弄判別器，而判別器則要同時處理生成案例和實際案例。
經學習，生成模型可生成所需的新案例。
生成對抗網絡具有極為具體的使用案例，一開始這些案例理解起來會有些困難。
本文將回顧大量GAN的有趣應用，有助於你了解其能夠解決的案例類型。以下列表或許並不完整，但其中包含了許多媒體介紹過的GAN使用案例。
應用案例可劃分為以下18種類型：
1. 生成圖像數據集案例
2014年，Ian Goodfellow等人發表論文《對抗式生成網絡》，提出了生成新案例這一應用。文中指出，GAN可為MNIST手寫數碼數據集、CIFAR-10小件圖片數據集、多倫多人像數據集生成新案例。
GAN可為圖像數據集生成新案例。圖片來自《生成對抗網絡》。
2015年，Alec Radford等人在一篇重要論文《使用深度迴旋生成對抗網絡進行無監督表示學習》，也表達了類似觀點。論文指出，深度迴旋生成對抗網絡展示了大規模培養穩定GAN的方法。論文展示了生成臥室新案例的模型。
GAN根據圖像數據集生成的臥室新案例。圖片來自《生成對抗網絡》。
同時，論文展示了GAN（在潛在空間中）運行向量運算的能力，只需輸入生成的臥室案例和人像案例即可。
GAN進行向量運算的案例。圖片來自《使用深度迴旋生成對抗網絡進行無監督表示學習》。
2. 生成人臉照片
Tero Karras等人在2017年發表的論文《GAN質量、穩定性及變化性的提高》展示了生成人臉照片的案例，照片十分逼真。因此，論文引起了媒體的廣泛關注。生成照片時以名人的臉作為輸入，導致生成的案例具有名人的臉部特徵，讓人感覺很熟悉，卻並不認識。
GAN生成人臉照片的案例。圖片來自《GAN質量、穩定性及變化性的提高》。
該方法同樣用於生成物品和場景案例。
GAN生成物品和場景的案例。圖片來自《GAN質量、穩定性及變化性的提高》。
2018年發表的報告《人工智慧的惡意使用：預測、預防及抑制》選用的也是以上案例，顯示了2014至2017年GAN的快速發展。
2014至2017年GAN的快速發展。圖片來自《人工智慧的惡意使用：預測、預防及抑制》。
3. 生成現實照片
Andrew Brock等人在2018年發表了題為《用於高保真自然圖像合成的GAN規模化訓練》的論文。論文展現了用BigGAN技術生成合成照片的案例。案例照片幾乎與真實照片無異。
用BigGAN技術生成合成照片的案例。圖片來自《用於高保真自然圖像合成的GAN規模化訓練》。
4. 生成動畫角色
金楊華（音譯）等人於2017年發表了題為《用GAN生成動畫角色》的論文。論文展示了如何訓練及應用GAN來生成動畫頭像（如日本動漫人物）。
GAN生成動畫人臉的案例。圖片來自《用GAN生成動畫人物》。
受動畫角色案例的啟發，一些人試圖利用GAN生成Pokemon這樣的角色，比如pokeGAN項目和使用深度迴旋GAN生成Pokemon項目。但目前成效甚微。
GAN生成口袋妖怪角色案例。圖片來自pokeGAN項目。
5. 圖像轉換
GAN在這方面幾乎無所不能，因為相關論文顯示GAN可以執行許多圖像轉換任務。
Phillip Isola等人於2016年發表題為《使用GAN技術進行圖像轉換》的論文。論文特別介紹了如何使用GAN的pix2pix技術進行圖像轉換。
以下是一些圖像轉換案例：
· 將語義圖像轉化成城市和建築景觀圖片
· 將衛星圖像轉化成谷歌地圖
· 將白天景觀轉化成夜晚景觀
· 將黑白圖片轉化成彩色圖片
· 將素描轉化成彩色圖片
使用pix2pix技術進行圖片日夜轉換的案例。圖片來自《使用GAN技術進行圖像轉換》。
使用pix2pix技術將素描轉化成彩色圖片。圖片來自《使用GAN技術進行圖片轉化》。
朱俊彥等人於2017年發表題為《使用一致循環生成網絡進行非配對圖像轉換》的論文。論文介紹了著名的CycleGAN技術以及大量圖片轉化的案例。
以下是一些圖像轉換案例：
· 將圖片轉化成藝術繪畫風格
· 將馬的圖片轉化成斑馬圖
· 將夏景轉化成冬景
· 將衛星圖轉化成谷歌地圖
使用CycleGAN技術進行圖片轉化的四個案例。圖片來自《使用一致循環生成網絡進行非配對圖片轉化》。
論文還介紹了其它案例，如：
· 將畫作轉化成圖片
· 將素描轉化成圖片
· 將蘋果圖轉化成橙子圖
· 將照片轉化成藝術畫作
使用CycleGAN技術將畫作轉化成照片的案例。圖片來自《使用一致循環生成網絡進行非配對圖片轉化》。
6. 文字-圖片轉化
Han Zhang等人於2016年發表題為《StackGAN：使用堆疊GAN技術進行文字-圖片轉化及合成》的論文。論文特別介紹了如何運用StackGAN將對於簡單物體（如花鳥）的文字描述轉化為現實圖片。
將鳥類文本描述轉化成現實圖片的案例。圖片來自《StackGAN：使用堆疊GAN技術進行文字轉圖片轉化及合成》。
Scott Reed等人於2016年發表了題為《使用GAN技術合成圖像》的論文。論文介紹了把對花、鳥等物體的文本描述轉化為圖像的案例。
將花鳥文本描述轉化成現實圖片的案例。圖片來自《使用GAN技術合成圖片》。
Ayushmen Dash等人於2017年發表了題為《TAC-GAN——受文本限制的輔助分類器GAN》的論文。文中介紹了幾近相同的數據集案例。
Scott Reed等人於2016年發表了題為《學習繪畫內容和地點》的論文。論文對GAN的此功能作了進一步介紹，並運用GAN完成文圖轉化，以及運用包圍盒和關鍵點推測描繪物體（如一隻鳥）的位置。
文圖轉化的案例及GAN提供的位置信息。圖片來自《學習繪畫內容和地點》。
7. 語義圖像-圖片轉化
Ting-Chun Wang等人於2017年發表了題為《使用條件性GAN進行高清圖片合成及語義操縱》的論文。文中介紹了使用條件性GAN根據語義圖像或素描生成現實圖片的方法。
語義圖像及GAN生成城市景觀照片的案例。圖片來自《使用條件性GAN合成高保真圖片及語義操縱》。
具體案例如下：
· 根據語義圖像合成城市景觀圖片
· 根據語義圖像合成臥室圖片
· 根據語義圖像合成人臉圖片
· 根據素描合成人臉圖片
論文同時介紹了一種可操縱所生成圖片的互動編輯器。
8. 生成正面人像圖片
Rui Huang等人於2017年發表了題為《人臉轉正：全球及地方GAN感知合成擬真正面人像圖片》的論文。文中介紹了使用GAN根據特定角度的人臉生成正面人像圖片（如臉朝前）的方法。此類技術可應用於人臉驗證或辨認系統。
使用GAN生成正面人像的案例。圖片來自《人臉轉正：使用全球及地方GAN感知合成擬真正面人像圖片》。
9. 生成新體態
Liqian Ma等人於2017年發表了題為《人體體態圖像生成》的論文。文中介紹了生成人體模型新體態的案例。
人體模型新體態的案例。圖片來自《人體體態圖像生成》。
10. 圖片轉表情
Yaniv Taigman等人於2016年發表了《無監督跨領域圖像生成》一文介紹了使用GAN跨領域轉化圖像的方法。比如，將街區數字轉化為MNIST手寫數碼，或將名人照片轉化為emoji或動畫表情。
將名人照片轉化為emoji表情的案例。圖片來自《無監督跨領域圖像生成》。
11. 圖片編輯
Guim Perarnau等人於2016年發表了題為《使用可逆條件性GAN編輯圖片》的論文。文中特別介紹了使用GAN的IcGAN技術根據特定的面部特徵如發色、髮型、表情甚至性別變化來重建人像圖片的方法，比如：
使用IcGAN技術編輯人臉圖片的案例。圖片來自《使用可逆條件性GAN編輯圖片》。
Ming-Yu Liu等人於2016年發表了題為《耦合性GAN》的論文。文中同樣介紹了如何利用發色、表情和眼鏡等特徵生成面部圖片。論文同時也展示了其他圖像的生成，如有顏色和深度變化的場景圖片。
使用GAN生成有或無金髮的人像圖片案例。圖片來自《耦合性GAN》。
Andrew Brock等人於2016年發表了題為《使用IAN進行神經圖片編輯》的論文。文中介紹了一種運用多種變化性自動編碼器及GAN的面部照片編輯器。此種編輯器可以快速對人臉特徵進行修改，包括修改發色、髮型、表情、體態，以及增補面部鬍鬚。
基於VAE和GAN使用神經圖片編輯器修改面部特徵的案例。圖片來自《使用IAN進行神經圖片編輯》。
He Zhang等人於2017年發表了題為《使用條件性GAN消除圖片中的雨》的論文。文中介紹了如何使用GAN編輯圖片，比如消除圖片中的雨雪。
使用GAN消除圖片中的雨的案例。圖片來自《使用條件性GAN消除圖片中的雨》。
12. 面部老化
Grigory Antipov等人於2017年發表了題為《使用條件性GAN進行面部老化處理》的論文。文中介紹了使用GAN生成不同年齡段人臉圖片的方法。
使用GAN生成不同年齡段的人臉圖片的案例。圖片來自《使用條件性GAN進行面部老化》。
Zhifei Zhang等人於2017年發表了題為《使用條件性對抗自動編碼器增齡/減齡》的論文。文中介紹了使用GAN對面部圖片進行減齡處理的方法。
使用GAN對面部圖片進行減齡處理的案例。圖片來自《使用條件性對抗自動編碼器增齡/減齡》。
13. 圖片混合
Huikai Wu等人於2017年發表了題為《GP-GAN：關於現實高保真照片的混合》的論文。文中展示了GAN在混合照片，尤其是混合田野、大山及其大型物體照片中的應用。
使用GAN混合圖片的案例。圖片來自《GP-GAN：關於現實高保真照片的混合》。
14. 超解析度
Christian Ledig等人於2016年發表了題為《使用GAN生成單幅高解析度圖像》的論文。文中特別展示了GAN的SRGAN模型在生成具有超高解析度圖像中的應用。
使用GAN生成超高解析度圖片的案例。圖片來自《使用GAN生成高解析度現實單圖》。
Huang Bin等人於2017年發表了題為《使用條件性GAN生成具有高質量、超高解析度的面部圖像》的論文。文中特別展示了GAN在構建不同版本人臉圖像中的應用。
生成高解析度人臉圖像的案例。圖片來自《使用條件性GAN生成高質量超高解析度面部圖像》。
Subeesh Vasu等人於2018年發表了題為《使用強化超高解析度感知網絡分析扭曲認知的折中參數》的論文。文中展示了一個使用GAN構建街景高解析度圖片的案例。
使用GAN生成高解析度建築圖片的案例。圖片來自於《使用強化超高解析度感知網絡分析扭曲認知的哲衷參數》。
15. 圖片修復
Deepak Pathak等人於2016年發表了題為《文本編碼器：通過圖片修復學習特徵》的論文。論文特別介紹了如何使用GAN的文本編碼器進行圖片修復或填充空缺，即填補圖片中某塊缺失的部分。
使用文本編碼器修復圖片的案例。圖片來自《文本編碼器：通過圖片修復學習特徵》。
Raymond A. Ye等人於2016年發表了題為《使用深度生成模型修復語義圖像》的論文。文中介紹了如何用GAN對故意損壞的人臉圖像進行填充和修復。
使用GAN修復人臉圖像的案例。圖片來自《使用深度生成模型修復語義圖像》。
Yijun Li等人於2017年發表了題為《人臉圖像生成性填充》的論文。文中同樣介紹了如何使用GAN對損壞的人臉圖像進行修復和重建。
使用GAN重建人臉圖像的案例。圖片來自《人臉圖像生成性填充》。
16. 服裝轉化
Donggeun Yoo等人於2016年發表了題為《像素級領域轉化》的論文。論文展示了如何根據身著服裝的模特照片，運用GAN生成類似服裝圖集或線上服裝店的服裝圖片。
輸入圖片及使用GAN生成服裝圖片的案例。圖片來自《像素級領域轉化》。
17. 視頻預測
Carl Vondrick等人於2016年發表了題為《生成場景動態視頻》的論文。文中介紹了如何使用GAN進行視頻預測，尤其是連續預測最長可至一秒的視頻幀，聚焦於場景中的靜態因素。
使用GAN生成視頻幀的案例。圖片來自《生成場景動態視頻》。
18. 3D列印
吳佳俊等人於2016年發表了題為《通過3D生成對抗模型學習物體形狀的可能潛在空間》的論文。論文展示了如何使用GAN生成物體的3D模型，比如桌椅、汽車和沙發。
使用GAN生成3D模型的案例。圖片來自《通過3D生成對抗模型學習物體形狀的可能潛在空間》。
Matheus Gadelha等人於2016年發表了題為《由2D物體視圖推導3D形狀》的論文。文中介紹了如何使用GAN根據多種視角的2D物體圖像生成3D模型。
由2D椅子視圖重建其3D模型的案例。圖片來自由《2D物體視圖推導3D形狀》。
留言 點讚 關注
我們一起分享AI學習與發展的乾貨
歡迎關注全平臺AI垂類自媒體 「讀芯術」