雷鋒網 AI 科技評論按：近年來，網絡結構搜索（NAS）在自動化設計神經網絡結構方面獲得了較大的成功，也成為模型結構優化領域不可忽視的重要研究課題。NAS 不僅減輕了人們設計、調優模型結構的重重負擔，而且相較於人工設計的網絡結構，搜索出的模型性能有了進一步提升。
最近，地平線-華中科技大學計算機視覺聯合實驗室提出了一個新穎的 Differentiable NAS 方法——DenseNAS， 該方法可以搜索網絡結構中每個 block 的寬度和對應的空間解析度。本文將會從簡介、對於網絡規模搜索的思路、實現方法以及實驗結果等方面詮釋 DenseNAS 這一新的網絡結構搜索方法。本文已獲得地平線公眾號許可進行轉載。
論文地址：https://arxiv.org/abs/1906.09607
代碼地址：https://github.com/JaminFong/DenseNAS
DenseNAS 簡介
NAS 極大推進了神經網絡結構設計的發展，然而很多以往的工作依然需要很大的計算代價。最近 Differentiable NAS 通過在連續空間上構建一個包含所有要搜索結構的搜索空間（super network）極大的減少了搜索代價，但事實上，很少有Differentiable的方法可以搜索網絡結構的寬度（即通道數），因為按照傳統Differentiable NAS的方法，將不同寬度的結構集成到一個 super network 裡面很難實現。在本論文中，我們提出了一個新穎的 DifferentiableNAS 的方法——DenseNAS，該方法可以搜索網絡結構中每個 block 的寬度和對應的空間解析度。我們通過構建一個密集連接的搜索空間來實現該目的。在我們設計的搜索空間中，擁有不同寬度和空間解析度的block之間相互連接，搜索過程中優化block之間的轉移概率從而選取一個最優路徑。DenseNAS 使得網絡結構搜索的靈活性更強，以寬度搜索為出發點，同時可以搜索網絡結構下採樣的位置和全局深度（不僅限於每個block中的層數，block的數量也會被搜索）。在 ImageNet 上，DenseNAS 得到的模型以較低的 latency 取得了 75.9% 的精度，整個搜索過程在 4 塊 GPU 上僅用了 23 個小時。
DenseNAS 以其更高的靈活性應用潛力也更大，可以用於特定場景數據的結構搜索、特定性能和速度需求的搜索以及特定設備的結構部署，因為其在搜索空間上的彈性更大，也可以用於對 scale 敏感的方向，如檢測、分割等任務。
NAS搜索元素的梳理
設計神經網絡結構是深度學習中非常重要的一個領域，近年來 NAS 在自動設計神經網絡方面取得了很大的成功。很多 NAS 方法產生的模型結構與人工設計的結構相比都體現出更優的性能。目前在諸如分類、分割和檢測等各方向 NAS 均有進展。NAS 的方法不僅能夠提升模型的性能，另一方面還能夠減輕人們設計、調優模型結構的負擔。
模型結構設計過程中可以搜索的元素越多，相應工程師的負擔就越小。哪些元素能夠被搜索又取決於搜索空間如何設計。在以往的工作中，操作（operation）類型的搜素已經實現的較好，但是搜索網絡的規模（寬度和深度）就沒有那麼直接。基於增強學習（RL）或者進化算法（EA）的 NAS 方法能夠比較容易的搜索寬度、深度，因為他們的搜索空間在一個離散的空間中，但是這類方法往往需要消耗非常大的計算代價。最近 Differential 和 one-shot 的方法能夠用極少的搜索代價來取得高性能的網絡結構，但是網絡規模的搜索卻不太容易處理。這類方法的搜索依賴於一個包含所有可能結構的超大網絡（super network），網絡規模的搜索需要將不同規模的結構全部整合到 super network 裡面。目前深度搜索通過在每一層的候選項裡面增加直連（identity connection）操作來實現，但寬度的搜索依然不容易處理。
DenseNAS對於網絡規模搜索的思路
深度和寬度的設定往往對結構性能產生很大的影響，特別是通常微小的寬度改變都可能造成模型大小爆炸式的增長，現在的搜索方法中寬度通常由人提前設定好，這需要模型結構方面專家很強的經驗。我們旨在解決基於 Differentiable NAS 的寬度搜索問題，從而提出了 DenseNAS 的方法。我們的方法構建了一個密集連接的搜索空間，並將搜索空間映射到連續可操作的空間。不同於 DenseNet，我們的搜索過程會選擇一條最佳的寬度增長路徑，最終只有一部分 block 會被選中並且最終結構中的 block 之間不會再有連接。在搜索空間中每個 block 對應不同的寬度和空間解析度，從而不僅寬度會被搜索，進行下採樣的位置和全局的深度（block內層數+block的數量）都會被搜索，這使得整個搜索的過程更加靈活。
方法介紹
1.密集連接搜索空間的構建
我們將整個搜索空間劃分為幾個層次：層（layer）、塊（block）、網絡（network）。
每個 layer 包含各種操作候選項，候選操作基於 MBConv，同時也包含 skip connection 用來做深度搜索。
每個 block 由層組成，一個 block 被劃分為兩個部分頭層（head layers）和堆疊層（stacking layers）。我們對每個 block 設定一個寬度和對應的空間解析度。對於頭層來說，其輸入來源於前幾個 block 不同通道數和空間解析度的數據。頭層是並行的，將所有輸入數據轉換到相同通道數和空間解析度；堆疊層是串行的，每層被設定在相同通道數和解析度下，並且每層的操作可搜索。
不同於以往的工作，block 的數量固定，我們的搜索空間包含更多不同寬度的 block ，最終只有一部分被選取，這使得搜索的自由度更大。整個 network 包含幾個 stage，每個 stage 對應一個範圍的寬度和固定的空間解析度。網絡中 block 的寬度從頭到尾逐步增長，每個 block 都會連向其後繼的幾個 block。
2.搜索空間的連續性鬆弛
對於 layer 層次，每個候選操作被賦予一個結構參數，layer 的輸出由所有候選操作輸出的加權和得到：
對於 block 層次，每個 block 的數據會輸出到其後繼的幾個 block，每條輸出的路徑同樣會被賦予一個結構參數，並通過 softmax 歸一化為輸出概率。每個 block 會接受前繼幾個 block 的輸出數據，在 head layers 部分，會對來自不同 block 的數據利用路徑的概率值進行加權求和：
3.搜索算法
整個搜索過程被分為兩個階段，第一階段只有 operation 的權重參數被優化；第二階段 operation 的權重參數和結構參數按照 epoch 交替優化。當整個搜索過程結束後，我們利用結構參數來導出最終的結構。每一層的操作將選擇結構權重最大的候選項；在 network 層面，我們利用 Viterbi 算法來選擇整個傳輸概率最大的路徑，僅有一部分 block 被選中。
搜索過程中我們加入了多目標優化，latency 被作為次優化目標，通過查表的方法被優化。
參數優化過程中我們通過概率採樣 path 來進行加速。對於 operation 的權重參數，採樣 path 的優化方法不僅可以起到加速、減少顯存消耗的作用，還可以在一定程度上降低不同結構 operation 之間的耦合效應。
實驗結果
DenseNAS 在 ImageNet 上搜索的結果如下表所示。我們設置 GPU 上的 latency 為次優化目標，DenseNAS 搜索得到的模型在低 latency 下取得了優良的精度。在同等latency的設定下，DenseNAS 的精度遠高於人工設計的 MobileNet 模型。和 NASNet-A、AmoebaNet-A 和 DARTS 等經典的 NAS 模型相比，DenseNAS 模型精度更高，FLOPs 和 latency 更小。在搜索時間上 DenseNAS 僅在 4 塊 GPU 上花費 23 小時（92 GPU hours）。和 Proxyless、FBNet 相比，我們的寬度均為自動搜索，並取得了卓越的模型性能。
DenseNAS 進一步在不同程度 latency 優化下搜索模型，在各個 latency 設定和需求下，都能得到性能優越的模型結構，均要遠好於固定寬度/block 搜索和人工設計的模型。
DenseNAS 搜索得到的模型結構如下圖所示：
關於作者
方傑民 & 孫玉柱，地平線平臺與技術部算法研發二部算法實習生（mentor：張騫 & 李源），主要研究方向為網絡結構搜索、模型結構優化。該項目完成於他們實習期間。他們於華中科技大學電子信息與通信學院人工智慧研究所研究生在讀，師從劉文予教授和王興剛副教授
雷鋒網(公眾號：雷鋒網) AI 科技評論
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。