機器之心報導
參與：蛋醬、魔王
有了這個模型，你也能擁有冷峻嚴酷的漫畫形象——並且是獨樹一幟的久保帶人 Style！或許，還能用這個方法找到「真人版」的川上富江？
歐巴馬、周杰倫都可一鍵轉換高冷漫畫臉。
漫畫是很多人的童年回憶，除了經典的《銀魂》、《海賊王》、《火影》，久保帶人的作品《死神》也很有人氣。最近，六位來自北航的研究者推出了一款漫畫臉轉換模型「MangaGAN」，實現了真人照片到漫畫臉的完美轉換。
我們可以合理懷疑，幾位論文作者都是久保帶人的粉絲。
這篇論文中提出的「MangaGAN」，是一種基於生成對抗網絡（GAN）的非成對照片到漫畫轉換方法。用來訓練 MangaGAN 的數據集也來源於一部非常受歡迎的漫畫作品——久保帶人的《死神（Bleach）》，包含漫畫人臉的面部特徵、特徵點、身體等元素，所以生成結果也帶有強烈的久保帶人風格。
論文連結：https://arxiv.org/pdf/2004.10634v1.pdf
標準漫畫臉是如何生成的？
MangaGAN 生成漫畫臉的整體流程。
總體來說，MangaGAN 包含兩個分支：
一個分支通過幾何轉換網絡（Geometric Transformation Network，GTN）學習幾何映射；
另一個分支通過外觀轉換網絡（Appearance Transformation Network，ATN）學習外觀映射。
最後通過合成模塊將二者融合，從而生成漫畫臉。
假設 P 表示照片，M 表示生成的漫畫臉，二者之間不存在成對關係。給定一張照片 p∈P，MangaGAN 學習映射
將 p 遷移至樣本
（m∈M），同時為 m 加上漫畫風格和面部相似度。
圖中（f）步驟通過 GTN 勾勒出誇張的幾何線條，並確定五官的幾何分布位置；圖中（e）步驟則通過 ATN 生成所有的面部特徵，包括眼睛、鼻子和嘴巴。繼而通過合成模塊將幾何輪廓和面部特徵相融合，輸出漫畫臉 m∈M。
外觀轉換：ATN
ATN 是一個 multi-GAN 結構的網絡，包含四個局部 GAN，分別用來轉換眼、口、鼻和頭髮這四個面部位置。針對每個部位的 GAN，會有專屬的訓練策略和編碼器以改善其性能。
眼睛和嘴巴是漫畫臉的靈魂所在，但也是最難轉換的部分，隨著表情的變化，這兩個部位的特徵也會變化。
對於眼睛和嘴巴部位，為了實現更好的非成對數據匹配，研究者將 CycleGAN 與反向映射（reverse mapping）相結合，並進行了三項改進：
第一，設計了一個帶有 SP loss L_SP 的 Similarity Preserving (SP) 模塊，以增強相似度；
第二，訓練編碼器 E^eye 用於提取 p^eye 的主幹，訓練編碼器 E^mouth 用於提取 p^mouth 的輪廓線條；
第三，提出結構平滑損失 L_SS，幫助網絡生成筆觸平滑的漫畫臉。
使用不同的改進方法得到的眼部和嘴部區域對比情況。
上圖第 5 列和第 11 列展示了使用 SP 模塊進行改進的效果；第 6 列和第 12 列分別展示了使用編碼器 E^eye 和 E^mouth 的改進效果；第 4 列和第 10 列展示了使用結構平滑損失進行改進的效果。
鼻子和頭髮的生成則相對簡單，大部分動漫人物的鼻型相似，因此該研究使用基於 ProGAN 的架構生成鼻子。頭髮部分則使用了 APDdrawingGAN，通過頭髮分割方法劃分出大致的頭髮區域，然後使用肖像分割方法移除多餘的背景區域，即可生成類似漫畫風格的頭髮樣式。
幾何轉換：GTN
在轉換面部特徵點時會遇到一個問題：面部特徵的搭配模式限制了結果的多樣性。比如，臉型相同的人可能有著不同的眼口鼻大小或位置，但 GAN 在接受全局人臉特徵點訓練時可能遵循固定或類似的搭配模式。因此研究者也將「幾何特徵」分解為三種屬性：臉型、位置、大小，並使用三個 sub-GAN 分別轉換。
GTN pipeline。幾何信息被分為三種獨立屬性：位置、大小和臉型，然後使用 N_loc、N_siz、N_sha 三個 sub-GAN 分別進行轉換。
最終，如圖 5(b) 所示，基於預定義的臉頰和額頭比例，生成了整張漫畫臉的幾何特徵。
最後一步：融合
這一步的目的是融合人臉特徵和幾何特徵，從而生成漫畫臉。
如上圖所示，首先，根據幾何特徵來調整和定位各面部特徵組件；
其次，基於分段三次 Hermite 插值多項式 (PCHIP) 方法，獲得平滑的曲線並保留臉部形狀，然後通過擬合生成人臉特徵點的曲線來繪製臉型；
然後，模型提供了 10 種漫畫式耳朵供選擇，而非按照片重新生成，因為耳朵的樣式對面部表情來說影響不大；
此外，研究者還收集了 8 種漫畫人物身體（manga body），用來與生成的漫畫臉搭配。
最後就可以輸出漫畫結果啦。該模型提供了快速微調尺寸和位置的工具，以及鼻子、耳朵和骨架等組件的切換工具，用戶可以按照個人喜好進行調整，生成自己喜歡的漫畫臉。
MangaGAN 效果如何？
該研究所用的實驗數據集包括三部分：漫畫數據集、照片數據集和人像數據集。漫畫數據集來源於一部流行的漫畫作品《死神》，包括 448 雙眼睛、109 個鼻子、179 個嘴巴和 106 張正面漫畫臉。
研究者將 MangaGAN 與 9 種漫畫臉生成 SOTA 方法進行了對比，效果生成如下圖所示：
可以看到，其他方法生成的漫畫臉都會有扭曲和突兀的線條，或是面部存在莫名的陰影，其原因在於生成過程中忽視了幾何特徵的轉換。相比之下，MangaGAN 生成的臉部十分乾淨利落，沒有多餘的部分。
接下來是跨域轉換層面中 MangaGAN 與其他方法的對比。為公平起見，CycleGAN 和 UNIT 先轉換全臉再轉換每個人臉特徵。最終效果如下圖所示：
很明顯，其他方法在匹配照片和漫畫時容易出現問題，它們更關心二者的黑暗區域是否匹配，但沒有轉換臉型和筆觸。MangaGAN 的生成結果則更接近理想中的漫畫臉，臉型稜角分明，眉形平滑，嘴巴也進行了簡化，幾乎完全符合手繪漫畫的人物長相特徵。