CVPR 2019Oral論文解讀|百度提出關於網絡壓縮和加速的新剪枝算法

2021-01-14 雷鋒網

雷鋒網(公眾號：雷鋒網) AI 科技評論按：百度關於網絡壓縮和加速的論文《 Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration》被 CCF A 類學術會議 CVPR 2019 收錄為 Oral 論文，這篇論文提出了新的基於濾波器的幾何中心（geometric median）的剪枝算法，來對神經網絡進行壓縮和加速。本文是論文作者之一何洋為雷鋒網 AI 科技評論提供的論文解讀。

論文地址： https://arxiv.org/pdf/1811.00250.pdfGithub 地址： https://github.com/he-y/filter-pruning-geometric-median

1.背景

卷積神經網絡(CNN)通常通過更深和更寬的結構實現了更好的性能，但是當神經網絡需要部署到行動裝置時，神經網絡需要的資源遠遠超過了行動裝置的限制。例如，ResNet-152擁有6020萬個參數，需要231MB存儲空間；此外，它還需要超過380MB的內存和11.3億浮點運算（在CPU上耗時6秒鐘）來處理單張圖像。因此，我們需要找到高效率的模型來滿足行動裝置的需要。

網絡剪枝是網絡的壓縮和加速中一個重要的方向，自1989年LeCun提出以來，得到了迅速發展。現在主要分為2種方向：1）權重剪枝；2）濾波器剪枝。濾波器剪枝相對於權重剪枝有一系列優點，包括它可以得到規則的模型，由此減少內存消耗，並且加速網絡的推斷。

圖1: 濾波器剪枝

上圖是典型的濾波器剪枝的流程。現有的方法認為濾波器的範數（p-norm）越小，相對應的特徵圖越接近於0，於是對網絡對貢獻越小，那麼這些濾波器可以去掉而不會嚴重影響網絡的性能。於是我們用濾波器的p-norm進行重要性排序，並且刪除p-norm小的濾波器。

2.現有的濾波器範數評價指標的問題

圖2: 範數評價指標的條件

上述的範數評價指標，實際上包含了兩個隱含條件（圖2）：1）範數標準差足夠大；2）最小的範數接近於0。

圖3: 濾波器範數分布可能出現的情況

但是實際的濾波器範數分布也會出現不滿足上述條件的情況（圖3），1）範數的標準差太小；2）最小範數的值仍然很大。如果出現情況1，很多濾波器有相似的重要性，我們不知道到底應該去掉哪個。如果出現情況2，我們很難找到特徵圖越接近於0的濾波器。

圖4:實際的濾波器範數分布

我們通過分析實際的預訓練網絡（圖4），發現這些網絡確實出現了上述的情況。 雷鋒網

3.基於幾何中心的濾波器評價指標（FPGM）

圖5 基於範數和幾何中心的評價指標

幾何中心（Geometric Median, GM）的定義：

https://baike.baidu.com/item/%E5%BD%A2%E5%BF%83

圖6: 幾何中心

幾何中心是對於歐幾裡得空間的點的中心的一個估計。我們認為濾波器也是歐氏空間中的點，於是我們可以根據計算GM來得到這些濾波器的「中心」，也就是他們的共同性質。如果某個濾波器接近於這個GM，可以認為這個濾波器的信息跟其他濾波器重合，甚至是冗餘的，於是我們可以去掉這個濾波器而不對網絡產生大的影響。去掉它後，它的功能可以被其他濾波器代替。

圖7: 基於幾何中心的濾波器評價指標

由此我們得到一種跟範數無關的濾波器評價方法FPGM，打破了範數評價指標的局限性。

4.實驗

在Cifar-10數據集上，FPGM在ResNet-110上的計算量降低了52％以上，相對精確度提高了2.69％。此外，在ILSVRC-2012數據集上，FPGM還在ResNet-101上減少了超過42％的計算量。

圖8: ResNet on CIIFAR-10實驗結果

圖9: ResNet on ImageNet實驗結果

圖10: 可視化結果

我們把 ResNet-50的第一個卷積層的特徵圖進行了可視化。紅色的(7,23,27,46,56,58)是被FPGM選中的需要被去掉的通道。可以看出這些被去掉的通道特徵主要有兩部分。1）竹子的骨架，2）熊貓的輪廓。其中竹子的骨架可以被剩下的 (5,12,16,18,22)通道代替，而熊貓的輪廓可以被剩下的 (0,4,33,34,47) 通道代替，由此驗證了我們基於幾何中心進行濾波器剪枝的理論。

5.總結

我們探討了現有的濾波器範數評價指標的問題，並且提出了基於濾波器的幾何中心的剪枝算法。我們的方法還可以結合矩陣分解，權重量化等方法進一步對神經網絡進行壓縮和加速。

相關焦點

  • CVPR 2019:北郵提出新AI模型壓縮算法,顯著降低計算複雜度
    新智元專欄 作者：王敬宇【新智元導讀】來自北京郵電大學的研究人員開發了一種AI模型壓縮算法，可以讓深度學習的運算不再依賴高昂的計算和存儲設備研究人員稱，模型壓縮算法能夠有效降低參數冗餘，從而減少存儲佔用、通信帶寬和計算複雜度，有助於深度學習的應用部署。
  • ICCV 2019 提前看|三篇論文,解讀神經網絡壓縮
    機器之心原創作者：立早編輯：H4O本文是一篇關於神經網絡壓縮領域的論文解讀，通過對ICCV 2019中的三篇論文進行分析，讀者可以了解目前的發展趨勢。神經網絡壓縮方向是目前深度學習研究的一個熱門的方向，其主要的研究方向是壓縮，蒸餾，網絡架構搜索，量化等。在 ICCV2019 中，不少的研究單位和學者都發表了神經網絡壓縮方向的論文。本文主要以其中三篇論文來研究神經網絡壓縮的目前發展趨勢。
  • 剪枝需有的放矢,快手&羅切斯特大學提出基於能耗建模的模型壓縮
    作者：思源最近，快手 Y-Tech 西雅圖 AI lab 聯合羅切斯特大學等研究者提出了一種基於能耗建模的壓縮方法，他們一脈相承的兩篇論文分別被 ICLR 2019 和 CVPR 2019 接收。在這篇文章中，我們將介紹這種新型模型壓縮的核心思想及主要做法，神經網絡壓縮也許該走向有目標的前進之路了。
  • CVPR2017精彩論文解讀:效果更顯著的模型壓縮算法和泛化優化算法
    下文是優必選雪梨AI研究院對其入選CVPR 2017的兩篇論文《基於低秩稀疏分解的深度模型壓縮算法》和《利用奇異值界定提升深度神經網絡訓練效果和識別精度》進行的解讀，除此之外他們還對會上Workshop競賽的進行了相關介紹。
  • 百度NLP | 神經網絡模型壓縮技術
    更複雜的模型、更強的特徵以及更多的數據對工業級應用提出了更高的要求，如何有效控制內存、減少計算量以及降低功耗是深度神經網絡模型發展面臨的重要問題。壓縮算法的研究不僅提升了模型的擴展潛力，並且使其具有更廣闊的應用場景和巨大的想像空間。在百度，以搜索場景為例，用於相關性排序的神經網絡參數規模達到億級，而線上環境對計算資源要求嚴格，模型難以擴展。
  • CVPR 2019 Oral 論文解讀 | 無監督域適應語義分割
    雷鋒網 AI 科技評論按：百度研究院、華中科技大學、雪梨科技大學聯合新作——關於無監督領域自適應語義分割的論文《 Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》被 CCF
  • 「一文看懂」深度神經網絡加速和壓縮新進展年度報告
    新智元報導 來源：深度學習大講堂作者：中科院自動化所程健轉載編輯：克雷格【新智元導讀】在人工智慧領域，深度神經網絡的設計，如同繪製枝蔓繁複的蘭竹，需在底層對其刪繁就簡；而將其拓展至不同場景的應用，則如同面向不同意境的引申，需要創新算法的支撐。
  • 圖鴨科技 CVPR 2018 圖像壓縮挑戰賽奪冠,獲獎論文全解讀
    雷鋒網 AI 研習社按，在 CVPR 2018 機器學習圖像壓縮挑戰賽（CLIC）上，圖鴨科技壓縮團隊獲得壓縮算法 MOS 和 MS-SSIM 值第一名的成績，這是中國企業在該賽事上取得的最高名次
  • CVPR 2019 召開在即,亮風臺端到端的投影儀光學補償入選 oral 論文
    2019 的臨近，越來越多的企業和高校公布自家的入選論文信息。近日，AR 產品與服務提供商亮風臺公布了投影 AR 算法研究最新成果，主要用於解決投影儀光學補償問題，即當投影屏幕不是理想的白色漫反射時，儘可能消除投影面上的圖案，相關論文《End-to-end Projector Photometric Compensation》已經入選 CVPR 2019 的 oral presentation 環節。以下便是亮風臺對這篇論文的詳細解讀。
  • 萬字長文詳解騰訊優圖 CVPR 2019 入選論文
    本文通過提出一種新的訓練框架來解決這個問題。我們使用排序任務替換一階目標檢測器中的分類任務，並使用排序問題的中的評價指標 AP 來作為損失函數。由於其非連續和非凸，AP 損失函數不能直接通過梯度下降優化。為此，我們提出了一種新穎的優化算法，它將感知機學習中的誤差驅動更新方案和深度網絡中的反向傳播算法結合在一起。我們從理論上和經驗上驗證了提出的算法的良好收斂性。
  • ResNet壓縮20倍,Facebook提出新型無監督模型壓縮量化方法
    這類方法用低bit權重，優點是可以加速推理過程，利用位操作代替複雜的邏輯操作，但是同時也會帶來一個比較大的精度下降。 量化。向量量化（VQ[3]）和乘積量化（PQ[4]）是其中的典型。這種量化方法是將原始的高維向量分解至低維笛卡爾積，然後對分解得到的低維向量做量化，這種方法的缺點是對於深度網絡會產生一個笛卡爾漂移。 剪枝。
  • CVPR 2019 | 騰訊AI Lab解讀六大前沿方向及33篇入選論文
    騰訊 AI Lab 入選論文涉及視頻理解、人臉識別、對抗攻擊、視覺-語言描述、模型壓縮和多任務學習等幾大重點研究方向，下面將分組介紹論文。往年參會入選論文可見公眾號歷史文章。註：本文分組方式並不嚴格，部分論文同時分屬多個主題。
  • 百度多篇論文入選NeurIPS 2020,機器學習領先算法、理論「強輸出」
    此次大會中，百度研究院參會並發表了多篇高質量論文，論文聚焦大規模稀疏學習的加速求解、新發現物種數量預測、隨機非凸優化、高維數據判別分析等問題，分別提出了創新算法及理論，突破原有算法在實際應用中泛化效果差、優化效率低等限制，有效提升AI技術在自然生態學、統計學習理論等領域中的應用價值，同時也彰顯出百度在人工智慧與機器學習領域的持續技術創新力。
  • CVPR 2018 | 商湯科技Oral論文詳解:BlockQNN自動網絡設計方法
    上周，商湯科技宣布以44篇論文入選CVPR 2018，吸引了諸多朋友點讚。接下來幾周，我們將陸續發布商湯科技入選CVPR 2018的重點論文解讀報導，歡迎大家關注。以下是在大規模分布式訓練領域，商湯科技發表的一篇重磅大會口頭報告（Oral）論文，提出基於分布式訓練的深度增強學習BlockQNN算法，自動設計神經網絡結構。本文由商湯科技實習研究員鍾釗在商湯科技研究院副院長閆俊傑和研究經理武偉指導下完成。
  • 四篇入選oral,深睿醫療8篇科研論文被國際學術會議IEEE CVPR、ISBI...
    在本文中，作者提出了場景圖引導的模塊網絡(SGMN)，該網絡在表達式的語言結構的指導下通過神經模塊網絡對圖像語義圖和語言場景圖進行推理。此外，作者還提出了Ref-Reasoning——用於結構化的指稱表達式推理的大規模真實數據集。該數據集包含真實圖像和具有不同推理布局的語義豐富的表達式。
  • 刷新濾波器剪枝的SOTA效果,騰訊優圖論文入選NeurIPS2020
    本文轉自【TechWeb】；近日，騰訊優圖實驗室在模型壓縮任務中獲得創新性突破，提出的基於濾波器骨架的逐條剪枝算法（Stripe-Wise Pruning，SWP），刷新了濾波器剪枝的SOTA效果。相關論文（Pruning Filter in Filter）已被機器學習領域的國際頂級會議Conference on Neural Information Processing Systems（NeurIPS 2020）收錄。神經網絡的具有結構和參數這兩個屬性，這兩個屬性都具有重要意義。本文指出神經網絡的濾波器除了通常使用的參數屬性以外，還有一種形狀屬性。
  • CVPR2020|深度學習不要乘法?北大,華為Oral論文提出加法神經網絡
    這是機器之心 CVPR 2020 線上分享的第一期，我們邀請到北京大學智能科學系陳漢亭（論文一作）為我們介紹他們的 Oral 論文《AdderNet: Do We Really Need Multiplications in Deep Learning?》。在此論文中，來自北大、華為諾亞方舟實驗室等機構的作者們提出完全用加法代替乘法，用 L1 距離代替卷積運算，從而顯著減少計算力消耗。
  • 歷年 CVPR 最佳論文盤點(2000 年——2018 年)
    雷鋒網 AI 科技評論按：作為計算機視覺領域的頂級學術會議，CVPR 2019 近期公布了最終論文接收結果，引來學界密切關注。據悉，CVPR 2019 今年一共獲得 5165 篇有效提交論文，最終抉出了 1300 篇接收論文，接收率達到 25.2% 。
  • 朱俊彥團隊提出GAN壓縮算法:計算量減少20倍,GPU、CPU統統能加速
    論文已入選CVPR 2020，代碼也已開源。作者團隊也星光璀璨，一作是來自上海交通大學ACM班的本科生李沐陽，CycleGAN的作者朱俊彥則親身參與、指導。GAN壓縮算法壓縮GAN，並不像壓縮其他CNN模型那樣容易。
  • 斯坦福ICLR 2018錄用論文:高效稀疏Winograd卷積神經網絡| ICLR 2018
    論文「Efficient Sparse-Winograd Convolutional Neural Networks」被 ICLR 2018 錄用，第一作者、史丹福大學的博士生劉星昱為雷鋒網AI 科技評論撰寫了獨家解讀稿件，未經許可不得轉載。引言卷積神經網絡在許多機器學習應用中體現出巨大優勢。