科學家提出多自由度網絡架構協同搜索新方法

2021-02-15 中科院之聲

賦予機器人類水平的學習設計能力，使之能夠自主感知環境並設計滿足各種約束需求的計算模型是機器學習領域的前沿方向之一。


設計滿足計算量、時延等特定資源約束的高性能神經網絡架構在實際人工智慧應用中有著重要意義，是數據獲取、模型設計、訓練部署這一閉環中的組成成分。手工設計網絡架構是一個耗時耗力的過程，需大量試錯實驗，且更換硬體平臺、更換資源約束條件時，還需重新設計網絡架構。近年來興起的自動網絡架構搜索技術給高性能網絡架構的設計帶來了新穎而經濟的解決思路。基於梯度更新的可微分網絡架構搜索算法在顯著降低搜索開銷的情況下，能夠從巨大的架構空間中搜索到有效的網絡架構。但由於可微分網絡架構搜索中超網絡權重共享、單路徑採樣和寬度粗粒度離散性的搜索空間，搜索到的網絡架構很難同時達到準確性和資源約束上的最優。可微分網絡架構搜索仍有很多問題亟待解決。 


近日，中國科學院自動化研究所智能感知與計算研究中心團隊從算子、深度和寬度三個自由度重新思考當前主流的可微分網絡架構搜索算法，通過實驗分析與驗證，提出一種新的網絡架構自動搜索方法，可穩定高效地從龐大的架構空間中搜索到高準確性的網絡架構，同時嚴格滿足時延約束。該方法能有效緩解可微分搜索中算子崩潰、架構冗餘、無法滿足精準資源約束的問題，使用單張Titan RTX GPU的情況下，在ImageNet上用1.8天搜索到76.9% top-1準確性的網絡架構。

該研究分別提出了雙路採樣算法、匯點連接空間和彈性縮放策略。

針對算子層面的搜索，該研究實驗發現現有的單路採樣方法會導致算子崩潰現象發生，即在搜索過程的早期階段算法就在某些搜索層中聚焦於某一個特定的算子，並在餘下的搜索過程中陷入其中保持不變，導致搜索到非最優的網絡架構。針對此問題，該研究設計了多種採樣方式，發現加入隨機路徑採樣的雙路採樣方法可有效緩解算子崩潰現象發生。

針對深度層面的搜索，現有算法通常直接將跨層（Skip）算子加入到待搜索候選算子集中。但由於跨層算子的非參數性以及與其他算子的互斥性，這種設計方式會導致網絡深度的搜索不穩定，在整個搜索過程中有非常大的抖動。此外，跨層算子的直接加入也會引起架構冗餘現象發生。為了解決這個問題，該研究設計了一個匯點連接搜索空間，將跨層算子的搜索剝離出來，增加深度搜索穩定性，同時也解決了架構冗餘問題。

針對寬度層面的搜索，該研究發現由於寬度搜索空間粗粒度的離散性和無界的資源約束目標函數項，現有方法很難搜索到嚴格滿足特定資源約束的網絡架構，且對資源約束目標函數項的超參數設置十分敏感。為緩解這些問題，該研究提出彈性縮放策略在搜索過程中動態自適應地調整超網絡中每一搜索層中每一搜索算子的寬度。

相關成果已被計算機視覺領域學術會議ECCV2020接收。

三自由度網絡架構搜索框架圖

搜索過程中架構深度變化和架構冗餘

彈性縮放策略

不同資源約束目標函數項下彈性縮放的有效性

GPU和CPU上搜索架構結果，GPU時延測試批大小為32，CPU時延測試批大小為1


來源：中國科學院自動化研究所

溫馨提示：近期，微信公眾號信息流改版。每個用戶可以設置 常讀訂閱號，這些訂閱號將以大卡片的形式展示。因此，如果不想錯過「中科院之聲」的文章，你一定要進行以下操作：進入「中科院之聲」公眾號 → 點擊右上角的 ··· 菜單 → 選擇「設為星標」

相關焦點

  • 什麼是神經網絡架構搜索?
    然而，神經網絡架構本身通常由專家以艱苦的、一事一議的方式臨時設計出來。 神經網絡架構搜索（NAS）被譽為一條減輕痛苦之路，它可以自動識別哪些網絡優於手工設計的網絡。但是，無論是在研究進展還是炒作方面，這個領域都變得如此之快，很難得到一些基礎問題的答案：NAS到底是什麼，它與AutoML或超參數優化有什麼根本的不同？ 定製化的NAS方法真的有用嗎？ 它們使用起來不是很昂貴嗎？
  • 谷歌大腦提出NAS-FPN:一種學會自動架構搜索的特徵金字塔網絡
    在過去幾年裡，用於圖像分類和目標檢測的深度卷積網絡在架構搜索方面取得了很大進展。與預測圖像類別概率的圖像分類不同，目標檢測在大範圍的尺度和位置上檢測和定位多個目標時存在自身的挑戰。為了解決這個問題，很多現代目標檢測器普遍使用金字塔特徵表示，它表示具有多尺度特徵層的圖像。在這篇論文中，谷歌大腦的 Quoc V.
  • ICML 2020|提升神經網絡架構搜索穩定性,UCLA提出新型NAS算法
    機器之心專欄作者：陳相寧可微網絡架構搜索能夠大幅縮短搜索時間，但是穩定性不足。為此，UCLA 基於隨機平滑（random smoothing）和對抗訓練（adversarial training），提出新型 NAS 算法。
  • CVPR 2019 神經網絡架構搜索進展綜述
    Auto-DeepLab：語義分割的分層神經架構搜索熟悉語義分割領域的研究者應該對DeepLab團隊都不陌生吧？  用單GPU四小時搜索出健壯的神經網絡架構這篇論文中，作者結合了ENAS和DARTS二者的最佳實踐，從而提出了GDAS（Gradient-based search using Differentiable Architecture Sampler）方法。
  • 雞生蛋與蛋生雞,縱覽神經架構搜索方法
    從谷歌漸進式的架構搜索到 CMU 的可微架構搜索，利用神經網絡自動搭建不同的神經網絡架構已經受到廣泛的關注。最近弗萊堡大學的研究者發表了一篇論文縱覽不同的神經架構搜索方法，他們從神經網絡的搜索空間、搜索策略以及性能評估策略等三個方向探討了不同的思路與方法。
  • 專欄| 神經網絡架構搜索(NAS)綜述(附AutoML資料推薦)
    三個方面對架構搜索的工作進行了綜述，幾乎涵蓋了所有近幾年的優秀工作。，常規的 random search 和 grid search 效率非常低，因此最近幾年神經網絡的架構搜索和超參數優化成為一個研究熱點。
  • 超越MnasNet、Proxyless:小米開源全新神經架構搜索算法FairNAS
    選自arXiv作者：Xiangxiang Chu 等機器之心編譯參與：路、杜偉近日，小米 AI 實驗室 AutoML 團隊放出了升級 NAS 算法的新工作，其提出的超網絡訓練及多目標強化演化搜索該結果大大提升了搜索效率，並且通過一個多目標強化演化搜索後端，研究人員提出的 pipeline 在 ImageNet 數據集上生成了一組新的 SOTA 架構：FairNAS-A 在 ImageNet 上實現了 75.34% 的 top-1 驗證準確率，FairNAS-B 的驗證準確率為 75.10%，FairNAS-C 為 74.69%，並且與其他架構相比，multi-adds 更低，參數也更少。
  • 深度學習網絡架構搜索(NAS)最新必讀論文分享
    隨著網絡結構越來越複雜，人工設計網絡的試錯成本和時間成本會難以承受。 超參數的自動搜索優化是一個古老的話題了。深度學習興起前它主要針對傳統機器學習算法中的模型超參數，比較經典的方法有隨機搜索（Random search）, 網格搜索（Grid search），貝葉斯優化（Bayesian optimization），強化學習（Reinforcement learning）, 進化算法（Evolutionary Algorithm）等，統稱為Hyperparameter optimization（HO）。
  • ICCV 2019|四小時搜索NN結構,廈大提出快速NAS檢索方法
    然而，現有的 NAS 算法需要再上百個 GPU 上運行 30 多天。在本文中，我們提出了一種基於多項式分布估計快速 NAS 算法，它將搜索空間視為一個多項式分布，我們可以通過採樣-分布估計來優化該分布，從而將 NAS 可以轉換為分布估計/學習。除此之外，本文還提出並證明了一種保序精度排序假設，進一步加速學習過程。
  • AI|神經架構搜索(NAS)簡要介紹
    傳統的方法遇到的問題主要有：結構編碼方式無法代表複雜的網絡結構搜索空間，編碼空間過大導致這些搜索算法無法收斂，深度學習模型訓練時間太長導致黑箱優化方法的計算效率降低等。總而言之，這個問題和研究思路早在90年代已經被很多學者研究過，但是新的時代使這個問題面臨新的挑戰，當然就需要重新研究一些方法來解決。
  • 神經架構搜索(NAS)越來越高效,但遠遠不夠!
    神經架構搜索的重要性首先大家需要了解的是，僅有單個隱藏層和非線性激活函數的神經網絡，在該層有足夠多神經元的情況下（即萬能近似定理，UAT），是能夠表示任意函數的。然而，這種簡單的架構，雖然理論上能夠學習任意函數，但是並不能表示出現在人類視覺皮層的分層過程。
  • 超參數的自動搜索
    使用cell代替逐層搜索，這樣相當於減少拓撲結果自由度來達到減少搜索運算量的目的，當然可以利用已經有的一些經典網絡的結構塊(如incepetion網絡裡的NIN,Resnet模塊中的shortcut module等這種module的思路來設計cell之間的連接)。
  • 谷歌大腦重磅研究:神經結構搜索發現全新特徵金字塔架構,超越Mask...
    為了解決這一問題，許多先進的目標檢測器通常使用金字塔特徵表示，它以多尺度特徵層來表示圖像。特徵金字塔網絡(FPN)是產生用於目標檢測的金字塔特徵表示的典型模型架構之一。該方法採用通常用於圖像分類的主幹模型，通過自頂向下的連接和橫向連接，將主幹模型特徵層中的相鄰兩層按順序組合，從而構建特徵金字塔。
  • AAAI 2018 | 雙流束網絡:北理工提出深度立體匹配新方法
    選自arXiv作者：Lidong Yu 等機器之心編譯參與：李澤南、李亞洲由北京理工大學賈雲得教授研究組提出的立體匹配新方法著重於成本聚合問題，在 KITTI 和 Scene Flow 基準測試中超越了此前業內的最佳水平。
  • 語義分割領域開山之作:Google提出用神經網絡搜索實現語義分割
    自 Google 提出 Cloud AutoML，NAS（Neural Architecture Search，神經網絡架構搜索）也取得重大進展，但更多的是在圖像分類和自然語言處理方面的應用。在過去的一年中，元學習（meta-learning）在大規模圖像分類問題上，性能已經實現超越人類手工設計的神經網架構。
  • 卷積神經網絡與Transformer結合,東南大學提出視頻幀合成新架構
    深度卷積神經網絡（CNN）是功能非常強大的模型，在一些困難的計算機視覺任務上性能也很卓越。儘管卷積神經網絡只要有大量已標記的訓練樣本就能夠執行，但是由於物體的變形與移動、場景照明變化以及視頻序列中攝像頭位置的變化，卷積神經網絡在視頻幀合成方面的表現並不出色。
  • 超越EfficientNet,GPU上加速5倍,何愷明組提出新型網絡設計範式
    ，提出了一種新的網絡設計範式。與以往研究不同，他們沒有專注於設計單個網絡實例，而是設計出了參數化網絡群的網絡設計空間。這種新的網絡設計範式綜合了手工設計網絡和神經架構搜索（NAS）的優點。在類似的條件下，他們設計出的網絡超越了當前表現最佳的 EfficientNet 模型，在 GPU 上實現了 5 倍的加速。目前，該論文已被 CVPR 2020 接收。
  • 多無人機協同編隊飛行控制與仿真系統對教學研究的意義
    2014年，美國珀杜大學Kim等針對異構無人機的編隊區域搜索和任務分配問題，提出了一種基於響應閾值模型的概率決策機制的分布式方法，考慮了環境的不確定性，實現了快速靈活的無人機區域搜索和任務分配。2015年馬來西亞科技大學Wei等，針對傳統粒子群算法求解過程中求解過慢或易陷入局部極小的問題，提出了一種雙級任務分配方法，通過雙極任務分配結構自適應的條件搜索效率，相比傳統粒子群算法提高了求解的可靠性、搜索精度和搜索效率，最終提高了任務分配的求解速度。
  • DenseNAS:密集連接搜索空間下的高靈活度網絡結構搜索
    NAS 不僅減輕了人們設計、調優模型結構的重重負擔，而且相較於人工設計的網絡結構，搜索出的模型性能有了進一步提升。最近，地平線-華中科技大學計算機視覺聯合實驗室提出了一個新穎的 Differentiable NAS 方法——DenseNAS， 該方法可以搜索網絡結構中每個 block 的寬度和對應的空間解析度。
  • 結合符號主義和DL:DeepMind提出端到端神經網絡架構PrediNet
    DeepMind 最近的一項研究將符號人工智慧和深度學習結合起來，提出了一種新型端到端神經網絡架構 PrediNet。符號主義和連接主義是人工智慧領域中的兩大流派。然而 DeepMind 最近的一項研究將符號人工智慧和深度學習結合起來，取二者之長，提出了一種新型端到端神經網絡架構 PrediNet。PrediNet 可以通過學習形成命題表徵（propositional representation），該表徵具備來自原始像素數據的顯式關係結構。