自從對抗神經網絡爆紅計算機視覺領域以後，圖像生成就成了當紅炸子雞。各種類似的圖像生成算法紛紛冒了出來。這裡面有大家耳熟能詳的生成二次元老婆、動漫風格遷移、人臉生成等等。其中在人臉生成方面當屬styleGAN系列效果最佳。這些生成任務都屬於單模態圖像生成。因為歸根到底還是單一數據分布到單一數據分布的映射。
和上面所說的問題相比，人體姿態遷移問題就有很大差異。
什麼是人體姿態遷移呢？簡單說，就是把人物A的姿態遷移到人物B的身上，同時保持B的外觀。這個人物的輸入信息有兩個：
是一個典型的多模特數據生成問題。相比當今研究的比較成熟的人臉生成算法，這種多模特或者跨模態的生成問題難度更大。
XingGAN一般姿態遷移算法的文章都是想方設法的從不同角度學習圖像的兩種信息：一種是外觀信息，一種是形狀信息或者姿態信息。這篇文章也不例外。
文章提出了一種生成器架構，如下圖所示。
XingGAN的生成器分為兩個分支：
shape信息指導的appearance生成分支-SA
SA首先經過編碼器，後續是一系列的SA block。每一個SA block除了接受前一個SA block的信息之外，還接受AS分支中的AS block的信息。SA分支的組成結構如下：
SA block同時接受自身的appearance code和AS shape code，構成一種星型連接
appearance信息指導的shape生成分支-AS
與SA分支相似，AS分支首先也經過一個編碼器，後續是一系列的AS block。AS block的結構如下：
與SA block非常相似。
融合模塊CAF
目標函數
主要效果
總結XinGGAN的效果相對其他模型有一定的改進，但是整體來說也不是盡善盡美。目前這個方向的生成算法都不能完全解決這個問題，在小尺寸的圖像還可以，在高清圖像上效果還有一定的差距。估計最大的問題在於跨模態高清人像生成還有一定的問題需要解決。
長按掃描二維碼