Noisy DARTS:含注入噪聲的可微分神經網絡搜索

論文連結：http://arxiv.org/abs/2005.03566
源碼連結：https://github.com/xiaomi-automl/NoisyDARTS

背景介紹

最近幾年的深度學習領域，AutoML 技術即自動化機器學習技術，正引領著整個領域發生著日新月異的變化，自動化技術正在成為各個深度學習算法方向必不可少的標準技術。而作為 AutoML 的核心技術自動化神經網絡構架搜索 NAS (Neural Architecture Search)，也在近期的各種國際會議上大放異彩，比如 ICLR 的為 NAS 主題舉辦了第一屆 workshop，其中 Google Brain的Quoc V. Le 發表了一小時的關於神經網絡自動化未來的看法。目前 NAS 方法已經存在非常多，其中 DARTS [2] 方法，即可微分結構搜索（Differentiable Architecture Search），是格外引起廣大研究從業人員關注的一種方法。針對每層神經網絡不同的操作，DARTS 為每種操作分配權重，然後在向後梯度傳遞的時候更新這些權重，最後對這些權重採用 softmax 方法選擇出唯一路徑。

由於 DARTS 的可復現性不高，也遭到了不少研究者和從業人員的質疑，主要集中在，[1] 訓練過程中存在 skip-connection 富集現象，導致最終模型出現大幅度的性能損失問題 [2] softmax 離散化存在很大 gap，結構參數最佳的操作和其他算子之間的區分度並不明顯，這樣選擇的操作很難達到最優。

針對這兩個問題，小米實驗室 AutoML 團隊的研究者（作者：初祥祥、張勃等）提出了他們的最新研究成果 NoisyDARTS，通過向 skip-connection 注入噪聲的方法，來抵消由於不公平競爭而導致的富集和性能損失問題，並且在 CIFAR-10 和 ImageNet 上分別取得了 97.61%

其實早在其之前的工作 FairDARTS [1] 中，就通過使用 sigmoid 函數而不是 softmax 函數來解決富集和性能損失問題。

他們認為，softmax 使不同操作之間的關係變為競爭關係，由於 skip connection 和其他算子的加和操作形成殘差結構，這就導致了 skip connection 比其他算子有很大的優勢，這種優勢在競爭環境下表現為不公平優勢並持續放大，而其他有潛力的操作受到排擠，因此任意兩個節點之間通常最終會以 skip connection 佔據主導，導致最終搜索出的網絡性能嚴重不足。

而 FairDARTS 通過 sigmoid 使每種操作有自己的權重，這樣鼓勵不同的操作之間相互合作，最終選擇算子的時候選擇大於某個閾值的一個或多個算子，在這種情形下，所有算子的結構權重都能夠如實體現其對超網性能的貢獻，而且殘差結構也得以保留，因此最終生成的網絡不會出現性能崩塌，從而避免了原生 DARTS 的 skip-connection 富集而導致的性能損失問題。

新作 NoisyDARTS 是在 FairDARTS 基礎上的推論，既然 skip connection 存在不公平優勢，那麼對其注入噪聲即可幹擾其優勢，抑制其過度發揮，從而解決 skip connection 富集現象。

這是一個簡單優雅但又極為有效的方法。NoiseDARTS 從數學推導上回答了，實際操作的時候應該注入怎樣的噪聲，以及注入噪聲對網絡有何影響，實驗部分也符合推理。

方法

通過加注噪聲來增強訓練的方法在深度學習領域早已有很多應用，比如 Vincent et al. [1] 通過加注噪聲使得自編碼器提取穩健（rubust）特徵；Fortunato et al. [4] 通過隨機噪聲實現穩定強化學習中的搜索；同時 Neeklakantan et al. [5] 和Zhang et al. [6] 指出，在梯度中注入噪聲也可以促進模型的訓練。

本節接下來主要回答 NoisyDARTS 關於噪聲的的主要兩個問題：如何加入噪聲？加入怎樣的噪聲？並且在末尾給出 DARTS 上的具體實現。

NoisyDARTS 選擇在向前傳遞的 skip-connection 的輸入中加入噪聲，如圖所示，其中

其次，加入怎樣的噪聲。文章中提到如上圖所示，加入噪聲會為梯度更新帶來不確定性，那麼 skip-connection 就更難勝過其他操作，因此原本不公平的優勢就被削弱了。可是保持梯度的更新是有效的，應該加注怎樣的噪聲？

NoisyDARTS 提出，應該加注一種無偏的並且方差較小的噪聲，比如之後的實驗中使用均值為 

這樣做的近似好處在於，我們可以近似認為梯度的期望也是無偏的：

接下來，我們在討論如何將上面討論的噪聲注入方法應用到實際的 DARTS 模型上。首先，對於節點 j 的所有輸入為所有之前 (i<j) 節點的輸出，並在 j 上做 M 種不同操作方法，其中 o 代表不同的操作，比如卷積或者 skip-connection 等等：

其次，對於 skip-connection 操作，我們對其輸入添加噪聲，而對於其他操作，我們保持不變：

因此與 DARTS 比較，NoisyDARTS 做的改動是在 skip-connection 的輸入上增添噪聲，雖然改動微小，但這一微小的改變卻非常顯著地解決了 skip-connection 的富集和性能損失這兩個問題，並且基本上不添加額外的計算開銷或參數量。

實驗及結果

NoisyDARTS 選擇兩種廣泛使用和精心設計的搜索空間：DARTS 的搜索空間（Liu et al. [2]）和 MobileNetV2 的搜索空間（Cai et al. [2019]）。前者在搜索空間上搜索了兩種類型的 cell，其次 NoisyDARTS 的實驗分別是在 CIFAR-10 和 ImageNet 上進行的。上圖展示的是在 supernet 訓練過程中，不同的操作在 softmax 下的權重變化，其中深綠色的線是 skip-connection 被 softmax 分配的權重。這張圖中可以看到，normal cell中 的 skip-connection 數量被極大的消減了，同時保留了 reduction-cell 中的 skip-connection。具體獲得的兩種結構如下圖所示：

下圖展示的是在 CIFAR-10 上，NoisyDARTS 與其他主流 NAS 方法相比的結果，其中   NoisyDARTS-A-t 是在 ImageNet上 訓練得到的模型，遷移到 CIFAR-10 上訓練得到的結果:下圖展示的是在 ImageNet上，NoisyDARTS 得到的結果。通過與 DARTS 比較，NoisyDARTS 無論是在 CIFAR-10 還是在 ImageNet上，都更具優勢，也說明了注入噪聲這一操作，改動微小卻行之有效。並且 NoisyDARTS 自身對比了注入噪聲與不注入噪聲在 CIFAR-10 和 ImageNet 上的不同表現，發現注入噪聲對搜索到的模型提升明顯：

其次 NoisyDARTS 測試了注入無偏噪聲和有偏噪聲的區別，如下：

確實符合之前的數學推斷，無偏噪聲對模型的提升是要高於有偏噪聲的，並且 NoisyDARTS 做了關於均勻噪聲和噪聲的添加形式的實驗，結果如下：

總結

首先，NoisyDARTS 提出通過對 skip-connection 中加入噪聲（無偏小方差高斯噪聲），極大的限制了原本 skip-connection 的不公平競爭問題，解決了 DARTS 中skip-connection富集和模型化後性能損失的問題。

其次，通過實驗，NoisyDARTS 分別在 CIFAR-10 和 ImageNet 上取得了 state-of-art 的穩健的結果。

最後關於未來發展 AutoML 的必要性，我想引用 Quoc V.Le 在第一屆 ICLR workshop 上的一段話作為本文的結尾：最早的機器學習其實是特徵工程，由專家設計好特徵後交給比如 SVM 進行學習。但在 CNN 時代，端到端的網絡模型被認為能夠自動的找到有效特徵，從而取得更好的預測結果。現在，模型的複雜度和超參數日益提升，手動調整的參數遠非最優，AutoML/Learn2Learn 的發展必不可少。

[1] Xiangxiang Chu, Tianbao Zhou, Bo Zhang, and Jixiang Li. Fair darts: Eliminating unfair advantages in differentiable architecture search. arXiv preprint arXiv:1911.12126, 2019a.

[2] Hanxiao Liu, Karen Simonyan, and Yiming Yang. DARTS: Differentiable Architecture Search. In ICLR, 2019.

[3] Pascal Vincent, Hugo Larochelle, Yoshua Bengio, and Pierre-Antoine Manzagol. Extracting and composing robust features with denoising autoencoders. In Proceedings ofthe 25th international conference on Machine learning, pages 1096–1103, 2008.

[4] Meire Fortunato, Mohammad Gheshlaghi Azar, Bilal Piot, Jacob Menick, Matteo Hessel, Ian Osband, Alex Graves, Volodymyr Mnih, Remi Munos, Demis Hassabis, Olivier Pietquin, Charles Blundell, and Shane Legg. Noisy networks for exploration. In International Conference on Learning Representations, 2018.

[5] Arvind Neelakantan, Luke Vilnis, Quoc V Le, Ilya Sutskever, Lukasz Kaiser, Karol Kurach, and James Martens. Adding Gradient Noise Improves Learning for Very Deep Networks. arXiv preprint arXiv:1511.06807, 2015.

[6] Baochang Zhang, Chen Chen, Qixiang Ye, Jianzhuang Liu, David Doermann, et al. Calibrated Stochastic Gradient Descent for Convolutional Neural Networks. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 33, pages 9348–9355, 2019.

[7] Han Cai, Ligeng Zhu, and Song Han. ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware. In ICLR, 2019.