學界丨先睹為快:神經網絡頂會ICLR 2018論文接受結果速覽

大數據文摘作品

專欄作者｜不看鏡頭的ZARD

今天早晨，ICLR 2018的論文接受結果揭曉，我們就帶大家來大致了解一下今年ICLR 2018的論文接受概況。

ICLR全稱International Conference of Learning Representation，是由Lecun，Hinton和Bengio三位神經網絡的元老聯手發起的。近年來隨著深度學習在工程實踐中的成功，ICLR會議也在短短的幾年中發展成為了神經網絡的頂會。

論文接受率：

2.3%的口頭展示，31.4%的poster接受，9%的workshop，51%拒絕。

ICLR口頭論文中一大半的論文會成為ICLR Best paper，同時也代表了2018年的研究方向，下面我們就簡單的介紹一下今年的oral論文，由於ICLR會議的論文範圍較廣，方向比較新，我們也不能夠做到面面俱到。

Wasserstein Auto-Encoders  （Max Planck Institute）

這篇論文提出了在Variation Auto-Encoder中使用Wasserstein距離進行度量，從而第一次讓VAE能夠產生跟Generative Adversarial Network比肩的效果。並且WAE在理論上面聯繫了VAE和GAN。是一篇不可多得理論與實踐兼得的好論文。WAE產生的圖像如下圖：

Spherical CNNs (阿姆斯特丹大學Max Welling組)

卷積神經網絡只能夠在2D planar圖像中使用，但是近年來很多問題如機器人運動，自動駕駛需要對spherical image進行分析。傳統的方法是將spherical image投影到2D planar圖像，但是這個過程會產生distortion，如下圖：

於是作者提出了spherical CNN。Spherical CNN通過傅立葉變換來避免過度的計算。通過傅立葉變換來實現spherical CNN的示意圖如下：

相信本篇論文提出的spherical CNN能夠在自動駕駛，機器人運動的任務中得到廣泛的應用。

Boosting Dilated Convolution with Mixed Tensor Decomposition 

本篇論文通過tensor decomposition的角度來分析神經網絡，並且提出了mix tensor decomposition的方法來提高神經網絡的表達能力。作者在實踐中使用了mix dilation的辦法來進行mix tensor decomposition。結構圖如下：

兩個對偶的網絡weight sharing，僅僅通過dilation的變化就可以得到不同的連接，提高神經網絡的expressive efficiency。

本篇論文的理論分析詳盡，並且論文講述簡單易懂，美中不足的是實驗部分太弱，但是也不影響該論文被接受為oral。

Ask the right questions：active question reformulation with reinforcement learning（Google）

這篇論文提出了一個做question answering的新的思路，通過question reformulation將一個問題轉換成類似的問題，然後反覆的選擇最佳問題。Question reformulation和answer selection通過強化學習進行訓練。流程圖如下：

由於ICLR的審稿意見是公開的，所以我們可以看到作者和審閱者之間的思想碰撞，下面我們就介紹一些有趣的事情。

Mix-up    vs 「Data Augmentation by paring samples for images classification」

這兩篇論文提出了類似的方法，通過將資料庫的圖像的線形組合來做Data Augmentation，並且在CIFAR，IMAGENET上面都取得了好的結果，但是Mix-up被接受，paring samples被拒絕。

Matrix capsules with EM routing

這篇論文是神經網絡之父的CapsuleNet的後續，也被ICLR接受了，Geoffrey Hinton是該論文的第一作者。

Progressive Growing of GANs 

這篇論文是NVIDIA提出的使用GAN生成high resolution image的論文，由於在論文中違反了double blind原則，在review階段被拒絕（strong reject），但是由於其amazing的結果，在最後階段被ICLR接收。

附上大會及相關連結，感興趣的讀者可以自行查看：

ICLR 2018會議連結：

https://openreview.net/group?id=ICLR.cc/2018/Conference

論文連結：

Ask the right question:

https://openreview.net/pdf?id=S1CChZ-CZ

Wasserstein Auto-Encoders:

https://openreview.net/pdf?id=HkL7n1-0b

Spherical CNNs:

https://openreview.net/pdf?id=Hkbd5xZRb

【今日機器學習概念】

Have a Great Definition