導讀：在NeurIPS 2020上，商湯研究院工具鏈的搜索和決策團隊提出了一項基於權重共享的新型自動數據增強方法。該工作以多項有啟發性的實驗現象為動機，第一次從權重共享角度思考自動數據增強，實現了既高效又有效的增強策略搜索算法。該方法在多個圖像分類數據集上取得了優秀的表現，尤其在CIFAR-10數據集上刷新了當時的SOTA性能。
論文名稱：Improving Auto-Augment via Augmentation-Wise Weight Sharing
背景與挑戰
數據增強是深度學習中被廣泛運用的一項正則化技術，其被用於提升數據分布的多樣性。例如對圖像數據，常用的操作有仿射變換、調整色相/飽和度/曝光、銳化等。最近一些自動數據增強算法被提出，其旨在自動搜索一些數據增強策略（通常可表示為各個操作的概率分布），使得在這些策略下進行訓練的模型可以得到更好的性能表現。這些自動算法已經取得了顯著的成果，在許多任務上遠遠超過了人工設計的增強策略。然而，這項技術仍然存在挑戰：
1.速度：一個最直接的搜索方式是每次從頭訓練模型，以其最終的驗證集性能為指標來評估增強策略並更新。這需要成千上萬次的反覆訓練，開銷巨大。只有Google最早的自動數據增強[1] 使用了這樣的搜索方式。我們把這個搜索方式稱為「原始任務」。
2.可靠性：後續許多自動增強算法選擇犧牲可靠性來換取效率。這些算法大都採用了迭代近似的思想，設計了一項「代理任務」代替「原始任務」，即：只完整地訓練一次模型；每隔一個或數個模型優化迭代步數，就選擇一次指標來評估、更新數據增強策略。然而最近一些神經網絡架構搜索（NAS）的工作指出，對訓練早期的模型進行評估往往是不準確的（早期表現優秀的模型，在後期不一定仍然優秀）。這在我們的實驗中也得到了驗證。如下圖，不同數據增強策略下的模型，在訓練過程中的相對排名變化很大。
一個更理想的自動數據增強算法需要同時兼顧效率與可靠性。為實現這一點，我們觀察了帶有數據增強的訓練過程。通過發現的一些性質，同時藉由NAS領域的權重共享策略，我們提出了一種新型自動數據增強算法。
動機
1.數據增強的性質我們不妨先從另一項正則化手段入手：早停（Early Stopping），即在驗證集誤差開始顯著上升時停止訓練。早停非常符合直覺，其也許能體現過擬合帶來的負面影響往往是在後期才顯露出來的。因此，我們猜想數據增強也有類似性質：數據增強主要是在後期提升模型的泛化能力。為了驗證這一點，我們在CIFAR10上使用Google AutoAug [1]對ResNet18在不同階段進行了數據增強。即：我們始終訓練300輪（epoch）模型，但只在開頭或結尾的Naug輪裡進行數據增強。結果如下圖，藍色實線代表在開頭數個輪次的訓練中帶有數據增強，橙色虛線代表在末尾數個輪次的訓練中帶有數據增強。例如圖中標出的藍點表示在第1至第75個輪次裡使用了數據增強，而在第76至第300個輪次裡未使用。
由圖可見數據增強確實在後期作用更加顯著。例如均只在x輪採用數據增強，那麼將x輪放在訓練後期比放在前期會帶來更大的提升；同時，為了達到相同的精度，在後期進行增強相比在前期進行增強，需要的輪數更少。
2.權重共享的思想既然數據增強在後期更加重要，我們大可利用這一點，嘗試將前期不太重要的階段「共享」起來，只聚焦在後期進行評估和搜索，來達到提升效率的目的。受NAS中權重共享思想的啟發，我們提出了一個新的「代理任務」，它把模型的訓練過程分為前期、後期兩階段。在前期，模型會在一個「共享策略」的增強下進行訓練，得到「共享權重」；在後期我們才真正進行策略評估和搜索，模型會在當前正在被搜索的策略的增強下進行訓練，得到最終的驗證集性能並用於更新策略。
方法介紹
1.問題建模與搜索算法自動數據增強旨在自動搜索能使驗證集性能最好的數據增強策略。原始任務需要反覆從頭訓練模型，並以最終驗證集準確度作為評估指標。這是一個典型的雙層優化問題（ω表示分類器模型的權重，θ表示自動數據增強策略的權重）：
直接求解雙層優化問題會非常耗時。而對於我們的分階段代理任務，在早期我們會選取一個能夠代表各種策略的共享策略，在其增強下訓練一個共享的模型權重：
在後期我們則會讓分類器模型繼承早期的共享權重，進行fine-tune和策略搜索：
由於早期訓練使用的策略是共享策略，與搜索過程完全解耦，因此共享權重只需訓練一次即可用於後續的全部搜索，顯著提升了搜索效率。我們將這一權重共享思想稱為「Augmentation-wiseWeight Sharing」。
於是當前問題轉化為：如何選取具有代表性的共享策略？經過推導發現，一個均勻分布下的策略，可以使單獨訓練和共享訓練的增強操作採樣分布之間的KL散度最小。至此，我們便可以得到完整的AWS Auto-Aug搜索算法：
2.搜索空間與搜索策略為了與先前工作進行更公平的對比，我們選擇了與其幾乎一致的搜索空間（我們甚至在搜索空間中去掉了更強大的增強操作：Cutout與Sample Pairing）。對於搜索策略，由於我們提出的方法是通用的，任何啟發式搜索算法均適用。實驗中我們發現PPO強化學習算法（也是Google AutoAug使用的算法）已經有了足夠好的表現。
實驗結果
1.表現對比我們在3個最主流的圖像分類數據集和4個主流模型上進了算法表現對比。結果如下，在各數據集、各模型上我們均取得了最優表現；尤其是在未使用額外數據的CIFAR-10上，在我們搜索得到的數據增強策略下，PyramidNet取得了新的SOTA性能（舊的SOTA性能為Adv. AA [2] 策略下的PyramidNet）：
2.時間開銷對比我們以OHL AutoAug [3] 的時間開銷為基準（1x），以WideResNet-28x10在CIFAR-10上使用Cutout的錯誤率為基準（0%），對比各方法的時間開銷和相對誤差降低如下。可見我們的方法在可接受的計算量內取得了很好的表現。
3.代理任務可靠性對比為了驗證我們所選擇代理任務相比其他代理任務的高可靠性，我們計算了在搜索過程中取得的準確度和最終準確度的相關性，結果如圖所示：
4.消融實驗為了驗證我們搜索得到的策略的有效性，我們將我們的策略和Google AutoAug的策略中概率最高的增強操作逐個去除，並觀察性能的變化。結果如下表所示，可見我們搜索得到的策略確實更有效。
5.搜索過程展示最後，我們還展示了我們的策略分布在整個搜索過程中的變化。如下圖所示（左右分別對應CIFAR-10、ImageNet），增強操作在最初均為均勻分布（圖中做了平滑）；隨著搜索進程推進，多數操作的概率開始趨向0，而為數不多的數個操作的概率則不斷增大，體現出分化的過程。
結語
在這項工作中我們提出了一種利用權重共享思想的新型自動數據增強方法。該方法很好地解決了自動數據增強的評估效率與評估可靠性之間的矛盾問題，充足的實驗結果也驗證了其的高效性和有效性。最後，我們還期待這項工作中的現象或蘊含的思想能夠對更多的超參數優化工作帶來幫助和啟發。如果您希望作進一步討論，歡迎與我們聯繫：tiankeyu.00@gmail.com。
招聘信息
我們來自商湯研究院，主要專研於全生命周期的AutoML技術（Auto Aug、NAS、Auto Loss、Auto Sampler）和公司的通用檢測模型（包括人臉、人臉人體、車輛結構化、視頻分類、關鍵點等感知模型）等相關研究，組內工作多次被宣傳，成果不但發表在各大會議上，更在公司產品中有落地應用。組內有海外教授擔任相關技術顧問，GPU卡非常豐富，組員背景豐富。感興趣的同學可以投遞簡歷至sunming1@sensetime.com, 實習，校招，正式均可。期待能夠長期實習/在檢測等感知算法或者數學方面有突出的經歷的正式小夥伴。
References
[1] Cubuk, Ekin D., et al. "Autoaugment: Learning augmentation policies from data." arXiv preprint arXiv:1805.09501(2018).[2] Zhang, Xinyu, et al. "Adversarial autoaugment." arXiv preprint arXiv:1912.11188 (2019).[3] Lin, Chen, et al. "Online hyper-parameter learning for auto-augmentation strategy."Proceedings of the IEEE International Conference on Computer Vision. 2019.