編輯 | 陳大鑫
ECCV 2020 將於8月23日開始,作為兩年一度的計算機視覺三大會議之一,備受大家關注。今天和大家分享一篇由香港科技大學和卡耐基梅隆大學共同發表在 ECCV 2020 上的工作《ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions》,是 Bi-Real Net 作者在二值化研究領域的最新成果。
論文地址:https://arxiv.org/abs/2003.03488
開源地址:https://github.com/liuzechun/ReActNet
在眾多卷積神經網絡(CNN)壓縮算法中,二值化網絡(BNN)作為網絡量化的極端情況,一直擁有著高壓縮比,高加速比的性能優勢,但是BNN的精度不高也一直飽受詬病,阻礙了BNN在實際場景中的應用。
今天要分享的這篇論文,作者用簡單的平移激活值分布的操作,就取得了超過等同於實數值ResNet的精度,可以說是長久以來對於BNN的艱苦探索的裡程碑式的工作。
1
介紹
這篇文章通過簡單的可學習的參數值,達到優化激活分布的目的,從而增加BNN的中激活值所攜帶的信息量。僅僅通過這一簡單的改進,配合Distributional Loss,本文ReActNet,便可壓縮MobileNet V1至87M FLOPs,並且取得高達 69.4% 的精度。這比著名的XNOR-Net 的結果 51.2% 要高出了18.2%, 而所需的FLOPs也幾乎僅僅是XNOR-Net的1/2。同時,69.4%的精度已經超過69.3%的實數值ResNet精度,這也是首次BNN網絡能取得和實數值ResNet網絡同等高的精度,揭示了BNN的巨大潛力。
下圖是ReActNet與各個方法的對比。
而達成這個高精度的網絡ReActNet的核心,其實是非常簡單直接操作。作者通過實驗發現,BNN卷積輸出的特徵圖很難同時兼顧攜帶足夠的特徵信息和保證輸出值範圍適合下一層二值化操作。即,如果直接對網絡中傳遞的實數值進行取Sign操作,可能會遇到由於實數值範圍不合適而導致的二值化特徵圖攜帶信息量低。如下圖所示。
只有在特徵圖的取值範圍合適的時候(圖(b)),所輸出的二值化特徵圖才是包含最多信息量和最容易被網絡是別的。
基於這個觀察,作者提出了Generalized Sign 和 PReLU 函數,稱之為RSign (ReAct Sign)和 RPReLU (ReAct PReLU),通過一個可學習的位移量來讓網絡自動學習最適合的binary閾值和Activation的分布。
RPReLU 的函數表示:
更直觀的理解,以RPReLU舉例來說,它所做的事情就是Move Activation Distribution,Reshape,Move:移動,重塑,再移動,如下圖所示。
結合Distributional Loss 和基於MobileNetV1的網絡改進,採用了RSign 和RPReLU 的ReActNet 能在ImageNet數據集上取得了69.3% 的 Top-1 Accuracy,超過了SOTA的結果。
而從網絡內部的Activation分布中也可以看出,增加了RSign 和RPReLU的ReActNet有更強的表達能力,可以捕捉到更精細的Activation Distribution。
2
結論
在本文中,作者提出了一些新的想法來優化1比特CNN以獲得更高的精度。
首先,設計了基於MobileNetV1的無參數快捷方式,在普通卷積層和下採樣層中傳播實值特徵映射。在ImageNet數據集上,這將產生一個61.1%的top-1準確率的模型。
然後,作者基於觀察到的1比特CNNs性能對分布變化高度敏感提出了ReAct Sign和ReAct PReLU,以一種可學習的方式對分布進行移位和重塑,並證明它們在最高精度上的顯著提升。
作者還提出在二值網絡和實數值參考網絡的輸出之間引入一個分配損失來代替原來的交叉熵損失。這個分配損失類似於知識蒸餾,通過一個實數值參考網絡的輸出來指導目標二值網絡的學習,從而拉近兩者之間分布的差異。值得一提的是,在這個過程中作者不再使用到人工標註的one-hot label,而是只使用實數值參考網絡的輸出產生loss,這個做法能很好的規避掉人工標註的label中可能存在的一些錯誤或者誤標,這個做法跟之前的MEAL也是一致的。
在這些思想的共同作用下,作者所提出的ReActNet在ImageNet上達到了69.4%的最高精度,僅比實數值低3%,而計算成本卻大大降低。
最後,HKUST Vision and System Design Lab正在招有硬體經驗的同學當博士後,由 TimCHENG 老師親自指導。如果您曾在DAC,ICCAD或同等硬體會議/期刊上發表過一作論文,歡迎發送簡歷到 zliubq@connect.ust.hk 。