精度首超ResNet,港科大和CMU提出史上最強二值化網絡ReActNet

2021-01-11 AI 科技評論

編輯 | 陳大鑫

ECCV 2020 將於8月23日開始,作為兩年一度的計算機視覺三大會議之一,備受大家關注。今天和大家分享一篇由香港科技大學和卡耐基梅隆大學共同發表在 ECCV 2020 上的工作《ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions》,是 Bi-Real Net 作者在二值化研究領域的最新成果。

論文地址:https://arxiv.org/abs/2003.03488

開源地址:https://github.com/liuzechun/ReActNet

在眾多卷積神經網絡(CNN)壓縮算法中,二值化網絡(BNN)作為網絡量化的極端情況,一直擁有著高壓縮比,高加速比的性能優勢,但是BNN的精度不高也一直飽受詬病,阻礙了BNN在實際場景中的應用。

今天要分享的這篇論文,作者用簡單的平移激活值分布的操作,就取得了超過等同於實數值ResNet的精度,可以說是長久以來對於BNN的艱苦探索的裡程碑式的工作。

1

介紹

這篇文章通過簡單的可學習的參數值,達到優化激活分布的目的,從而增加BNN的中激活值所攜帶的信息量。僅僅通過這一簡單的改進,配合Distributional Loss,本文ReActNet,便可壓縮MobileNet V1至87M FLOPs,並且取得高達 69.4% 的精度。這比著名的XNOR-Net 的結果 51.2% 要高出了18.2%, 而所需的FLOPs也幾乎僅僅是XNOR-Net的1/2。同時,69.4%的精度已經超過69.3%的實數值ResNet精度,這也是首次BNN網絡能取得和實數值ResNet網絡同等高的精度,揭示了BNN的巨大潛力。

下圖是ReActNet與各個方法的對比。

而達成這個高精度的網絡ReActNet的核心,其實是非常簡單直接操作。作者通過實驗發現,BNN卷積輸出的特徵圖很難同時兼顧攜帶足夠的特徵信息和保證輸出值範圍適合下一層二值化操作。即,如果直接對網絡中傳遞的實數值進行取Sign操作,可能會遇到由於實數值範圍不合適而導致的二值化特徵圖攜帶信息量低。如下圖所示。

只有在特徵圖的取值範圍合適的時候(圖(b)),所輸出的二值化特徵圖才是包含最多信息量和最容易被網絡是別的。

基於這個觀察,作者提出了Generalized Sign 和 PReLU 函數,稱之為RSign (ReAct Sign)和 RPReLU (ReAct PReLU),通過一個可學習的位移量來讓網絡自動學習最適合的binary閾值和Activation的分布。

RPReLU 的函數表示:

更直觀的理解,以RPReLU舉例來說,它所做的事情就是Move Activation Distribution,Reshape,Move:移動,重塑,再移動,如下圖所示。

結合Distributional Loss 和基於MobileNetV1的網絡改進,採用了RSign 和RPReLU 的ReActNet 能在ImageNet數據集上取得了69.3% 的 Top-1 Accuracy,超過了SOTA的結果。

而從網絡內部的Activation分布中也可以看出,增加了RSign 和RPReLU的ReActNet有更強的表達能力,可以捕捉到更精細的Activation Distribution。

2

結論

在本文中,作者提出了一些新的想法來優化1比特CNN以獲得更高的精度。

首先,設計了基於MobileNetV1的無參數快捷方式,在普通卷積層和下採樣層中傳播實值特徵映射。在ImageNet數據集上,這將產生一個61.1%的top-1準確率的模型。

然後,作者基於觀察到的1比特CNNs性能對分布變化高度敏感提出了ReAct Sign和ReAct PReLU,以一種可學習的方式對分布進行移位和重塑,並證明它們在最高精度上的顯著提升。

作者還提出在二值網絡和實數值參考網絡的輸出之間引入一個分配損失來代替原來的交叉熵損失。這個分配損失類似於知識蒸餾,通過一個實數值參考網絡的輸出來指導目標二值網絡的學習,從而拉近兩者之間分布的差異。值得一提的是,在這個過程中作者不再使用到人工標註的one-hot label,而是只使用實數值參考網絡的輸出產生loss,這個做法能很好的規避掉人工標註的label中可能存在的一些錯誤或者誤標,這個做法跟之前的MEAL也是一致的。

在這些思想的共同作用下,作者所提出的ReActNet在ImageNet上達到了69.4%的最高精度,僅比實數值低3%,而計算成本卻大大降低。

最後,HKUST Vision and System Design Lab正在招有硬體經驗的同學當博士後,由 TimCHENG 老師親自指導。如果您曾在DAC,ICCAD或同等硬體會議/期刊上發表過一作論文,歡迎發送簡歷到 zliubq@connect.ust.hk 。

相關焦點

  • ResNet壓縮20倍,Facebook提出新型無監督模型壓縮量化方法
    論文地址:https://arxiv.org/abs/1907.05686 壓縮方法的介紹和比較 神經網絡壓縮一直是個熱門的研究方向,目前的主流方法主要有以下幾種: 低精度訓練[2]。
  • 港科大博士生侯璐:基於損失函數的神經網絡量化方法|分享總結
    為了解決這個問題, 最近有許多針對於神經網絡壓縮和加速的工作被提出, 例如神經網絡剪枝, 權重矩陣低秩分解,權重量化等。這次分享主要是針對於權重量化這一類方法。近期,在雷鋒網 GAIR 大講堂上,來自香港科技大學的博士生侯璐同學分享了深度學習網絡的權重量化的一些最新進展。以及幾篇ICLR的論文解讀。
  • 光速執行AI運算,港科大雙層全光學神經網絡不要計算機也能做分類
    機器之心報導機器之心編輯部完全通過光學,不要計算機也能構建個神經網絡?港科大的研究團隊提出了一種全光學神經網絡,所有線性變換、激活函數通過光學模塊就能實現。uri=optica-6-9-1132這個複雜的東西就是一個兩層的全光學神經網絡,它和機器學習中的兩層全連接網絡有點「類似」。研究團隊成員之一 Junwei Liu 表示:「我們提出的全光學神經網絡能夠以光速執行光學並行計算,並且耗能極少。這種大規模的全光學神經網絡可應用於圖像識別以及科學研究等諸多領域。」
  • ResNet——CNN經典網絡模型詳解(pytorch實現)
    建議大家可以實踐下,代碼都很詳細,有不清楚的地方評論區見~1、前言ResNet(Residual Neural Network)由微軟研究院的Kaiming He等四名華人提出,通過使用ResNet Unit成功訓練出了152層的神經網絡,並在ILSVRC2015比賽中取得冠軍,在top5上的錯誤率為3.57%,同時參數量比VGGNet低,效果非常突出
  • 港科大(廣州)擬2022年9月開學 首六年先行招收碩士及博士研究生
    港科大(廣州)擬2022年9月開學 首六年先行招收碩士及博士研究生金羊網  作者:李煥坤  2020-02-29 港科大(廣州)首六年將在重點交叉學科領域
  • 如果我們想要更好的目標分割,我們最好使用resnet-50的網絡結構
    這是一個文字檢測和分割的任務,任務要求快速產生框架,而不是每秒鐘找到框架的每個像素。每次檢測框架都需要fasterr-cnn,需要計算卷積,網絡結構是knet,包括maxpooling,relu和stridedpooling。然後經過全連接層和全連接層到隱藏層。
  • 斯坦福學者造出機器鴿;港科大等提出學生情緒分析新系統
    本周既有港科大、哈工程等機構提出的觀察課堂學生情緒變化、注意力集中程度的 EmotionCues 系統,也有斯坦福學者製作的半生物半機械羽毛翅膀的「鴿子機器人」。
  • 華中科大研製成功首臺高精度量子重力儀
    這是中國首臺為行業部門研製的量子重力儀,意味著將打破高精度重力儀國外技術壟斷的局面,為我國高端量子裝備的發展提供新途徑,也為行業部門的儀器使用提供了具有我國自主智慧財產權的新選項,更能夠保障核心數據的安全。華中科技大學研製的量子重力儀正在進行測量。
  • 港科大擬2022年正式招生,先招碩士博士生,授雙學位
    一同發布的項目可行性研究報告披露,港科大(廣州)計劃自 2022年開始正式招生,首六年將在重點交叉學科領域,先行招收碩士及博士研究生,最終達到10000名在校生規模,其中研究型研究生6000人,本科生4000人。
  • 華中科大交付首臺高精度量子重力儀
    來源標題:華中科大交付首臺高精度量子重力儀 新華社武漢1月3日電(記者李偉)華中科技大學引力中心團隊3日宣布,團隊歷經15年潛心研究,在量子重力儀研發方面取得突破,近期成功研製並交付有關行業部門首臺高精度絕對重力儀。
  • 港科大(廣州)預計2022年開學
    港科大(廣州)預計2022年9月1日正式開學。  兩校學位課程不重疊  港科大校長史維表示,港科大(廣州)未來將著眼於培養跨學科人才。該校首階段將培養4000名研究生,計劃於2022年9月正式開學。  同時,港科大將加強廣州校園和清水灣校園的雙校雙向合作,所有學生都能修讀兩校的課程,讓兩個校園的學生可以雙向學習、互相合作,發展創新領域。史維表示,這不僅對香港科技大學,對全球高等教育來說,都是一個新嘗試。
  • 港科夜聞丨香港科大研究人員開發出交互式工具ATMSeer
    1、香港科大研究人員開發出交互式工具ATMSeer。6月1日,香港科大、麻省理工學院以及浙江大學的研究人員開發了一種名為ATMSeer的交互式工具,首次讓用戶能夠查看以及控制自動化機器學習系統的工作方式。
  • 信息保留的二值神經網絡IR-Net,落地性能和實用性俱佳|CVPR 2020
    導語:在CVPR 2020上,商湯研究院連結與編譯組和北京航空航天大學劉祥龍老師團隊提出了一種旨在優化前後向傳播中信息流的實用、高效的網絡二值化新算法IR-Net。不同於以往二值神經網絡大多關注量化誤差方面,本文首次從統一信息的角度研究了二值網絡的前向和後向傳播過程,為網絡二值化機制的研究提供了全新視角。
  • 打破技術壟斷:華中科大研製首臺高精度量子重力儀,已交付使用
    這是中國首臺為行業部門研製的量子重力儀,意味著將打破高精度重力儀國外技術壟斷的局面,為我國高端量子裝備的發展提供新途徑,也為行業部門的儀器使用提供了具有我國自主智慧財產權的新選項,更能夠保障核心數據的安全。
  • 華中科大提出量子傳感新方法 為突破海森堡極限測量精度提供可能
    量子科學與技術是二十一世紀的重要研究領域,引領著物質科學和信息技術的巨大變革。量子傳感與精密測量作為量子信息領域的重點研究方向之一,在現實世界有著極富前景的應用。如何利用量子資源突破標準量子極限測量精度是這一研究方向的關鍵科學問題。
  • 港科大(廣州)擬全部跨學科,將設這些前沿研究領域
    港科大還在清水灣校園連續3年開展「先導計劃」,試行廣州校園課程,目前共招收約260名研究生。新一年(2021-2022學年)招生正在報名進行中。預計2022年9月1日正式開學。 港科大校長史維教授表示,港科大教學未來將著眼於培養跨學科人才。港科大(廣州)位於廣州南沙,毗鄰廣深港高鐵慶盛站,距離香港西九龍高鐵站只需30分鐘,首階段將培養4000名研究生,計劃於2022年9月正式開學。
  • 港科大(廣州)首次公布辦學細節,5年全球招聘400名教師
    香港科技大學(廣州)首階段將培養4000名研究生,計劃於2022年9月正式開學;未來5年內將在全球招聘400名博士後、研究助理教授,800名行政崗位職員。新一年(2021至 2022學年) 的招生程序正在進行中。
  • AAAI 2018 | 從哈希到CNN:中科院自動化所提出高精度&低功耗訓練方法
    [1],揭示了哈希與二值權重的神經網絡之間的緊密關係,表明了網絡模型的參數二值化問題可以轉化為哈希學習問題,從而大幅提高了二值化深度神經網絡模型的性能,使其能在資源受限場景下能兼顧性能和功耗。為了解決此類問題,人們提出了很多網絡加速和壓縮方法,其中網絡參數二值化是一種將網絡參數表示為二值參數的方法。由於二值網絡中參數只有+1 和-1 兩種值,乘法運算就可以被加法運算替代。由於乘法運算比加法運算需要更多的硬體資源和計算周期,使用加法運算替代乘法運算能夠實現網絡加速的目的。
  • 香港校園 : 媒體報導 | 港科大300萬獎學金等著你,快來申請!
    香港科技大學(HKUST)向來勇於追求創新,是首個在大學內成立跨學科學術部門的香港大學,今年更將推出嶄新的課程架構「Major+X」,揉合傳統主修和新興熱門主題如人工智慧。香港科技大學在2020年度泰晤士高等教育全球年輕大學排名第一,其畢業生在2019年度的全球大學就業能力調查排名第十,位列大中華院校之首。
  • 港科大(廣州)建設有新進展,計劃明年9月投入使用!
    2020年12月31日,廣州市南沙區迎來多個關鍵工作節點:香港科技大學(廣州)校園建設指揮部揭牌;港科大據羊城晚報消息,香港科技大學(廣州)校園建設指揮部由南沙新區產業園區開發建設管理局、南沙產業建設管理有限公司、香港科技大學校方共同組建而成,旨在充分發揮建設單位、港科大校方及其技術團隊、全過程諮詢等單位深度融合的優勢,實現「專業化+扁平化」管理,高效協調推進香港科技大學(廣州)一期工程、慶盛區塊「七通一平」配套道路建設項目。