本文轉自知乎問題@Xun Huang的答案，已經作者授權轉載答案。
原問題
今天組會讀了一下deepmind的PixelCNN(nips的那篇)，不是很明白到底為什麼follow的work這麼多（而且pixel rnn還拿了best paper award。。），感覺pixel by pixel生成是一種非常反直覺的生成方式。而且是規定了從上往下從左往右的順序。這種生成方式的insight在哪裡？（個人理解是為了引出wavenet？因為對語言序列來說生成是有順序的，但是用來生成圖片就很奇怪了）
相比較，雖然GAN生成的更加隨意，但是laplacian GAN和stack GAN都是一種更符合直覺的方式。
另外，pixel CNN也有生成速度慢的問題，所以它和GAN相比到底有什麼不同的地方值得大家去思考呢？（有什麼可能比GAN更優的地方呢？）
相比GAN，PixelCNN/RNN有以下幾個優勢:
1. 可以通過chain rule提供exact的data likelihood，雖說likelihood不是一個完美的evaluation metric [12]，但它對評價一個generative model還是能提供很多insight（尤其是detect missing mode）。GAN的方法不僅沒有辦法給出exact的likelihood，而且approximate出來的likelihood似乎結果很差 [9]。另外PixelCNN這套方法在likelihood這個metric上是state-of-the-art，甩其它方法一大截。我覺得拿ICML best paper主要就是因為這個。
2. 因為objective function直接就是likelihood，PixelCNN的training要穩定很多。
PixelCNN的典型training curve[11]
GAN的典型training curve... [10]
3. PixelCNN的data space可以是continuous也可以是discrete的（discrete的performance稍好一點點），但是GAN目前基本還只能在continuous data上work。在discrete data上如何實現GAN目前仍是一個non-trivial的open problem。
當然，除了題主提到的依賴於arbitrary的order而且sampling很慢以外，PixelCNN還有很多缺點：
1. PixelCNN的training其實也很慢，比如OpenAI的PixelCNN++ [8] 要在8塊Titan上train 5天才converge... 這還只是一個CIFAR dataset
2. sample quality明顯不如GAN。現在state-of-the-art的GAN在CIFAR上能生成相當reasonable的sample [5].
但是PixelCNN++[8]的sample基本還看不出什麼object...
3. 暫時還沒有paper用PixelCNN成功做出來unsupervised/semi-supervised feature learning，但是GAN在這方面碩果纍纍 [1,2,3,4]。
最後還想說的一點是，PixelCNN和GAN也許並不是非此即彼的關係，在將來有可能可以combine起來。如果有一個generative model能同時具備兩者的優勢，既能給出exact的likelihood又能有GAN這麼好的sample quality，那將會是一個非常有趣的工作。這幾個月的各種model組合（VAE+GAN [6], VAE+PixelCNN [7]）也suggest這種combination或許是可行的。
[1] Salimans et al., Improved Techniques for Training GANs, 2016
[2] Dumoulin et al., Adversarially Learned Inference, 2016
[3] Donahue et al., Adversarial Feature Learning, 2016
[4] Denton et al., Semi-Supervised Learning with Context-Conditional Generative Adversarial Networks, 2016
[5] Huang et. al., Stacked Generative Adversarial Networks, 2016
[6] Larsen et al., Autoencoding beyond pixels using a learned similarity metric, 2016
[7] Gulrajani et al., PixelVAE: A Latent Variable Model for Natural Images, 2016
[8] Salimans et al., PixelCNN++: A PixelCNN Implementation with Discretized Logistic Mixture Likelihood and Other Modifications, 2016
[9] Wu et al., On the Quantitative Analysis of Decoder-Based Generative Models, 2016
[10] torch/torch.github.io
[11] carpedm20/pixel-rnn-tensorflow
[12] Thesis et al., A note on the evaluation of generative models, 2016
原文連結：https://www.zhihu.com/question/54414709/answer/139256237
PS.由北京大學團委指導，極視角主辦的高校計算機視覺算法邀請賽目前正在報名中，大獎等你來拿，歡迎參加~點擊閱讀原文查看詳情。