CVPR2020|深度學習不要乘法?北大,華為Oral論文提出加法神經網絡

2020-12-27 機器之心Pro

作為計算機視覺領域的三大國際頂會之一，CVPR 每年都會吸引全球領域眾多專業人士參與。如 2019 年，CVPR 註冊參會人數高達 9227 人，突破歷屆記錄。其中，來自國內的參會人數就達到 1044 位，僅次於大會舉辦地美國（4743 位）。

CVPR 2020 原定於 6 月 16 日至 20 日在華盛頓州西雅圖的華盛頓州會議中心舉行，但是當前全球疫情勢態嚴峻，越來越多的 AI 頂會開始轉向線上，CVPR 也不例外。

雖然無法去現場交流，但這無法阻擋我們學習的熱情。

為向讀者們分享更多 CVPR 優質內容，在 CVPR 2020 開幕之前，機器之心將策劃多期線上分享。這是機器之心 CVPR 2020 線上分享的第一期，我們邀請到北京大學智能科學系陳漢亭（論文一作）為我們介紹他們的 Oral 論文《AdderNet: Do We Really Need Multiplications in Deep Learning?》。在此論文中，來自北大、華為諾亞方舟實驗室等機構的作者們提出完全用加法代替乘法，用 L1 距離代替卷積運算，從而顯著減少計算力消耗。

演講主題：加法神經網絡：在深度學習中我們是否真的需要乘法？

簡介：陳漢亭，北京大學智能科學系碩博連讀三年級在讀，同濟大學學士，師從北京大學許超教授，研究興趣主要包括計算機視覺、機器學習和深度學習。在 ICCV,AAAI,CVPR 等會議發表論文數篇，目前主要研究方向為神經網絡模型小型化。

摘要：和廉價的加法操作相比，乘法操作需要更大的計算量。在深度神經網絡中廣泛應用的卷積計算了輸入特徵和卷積核的互相關，其中包含著大量乘法操作。我們提出了一種加法神經網絡來將 CNN 中的大量乘法操作用加法來代替。具體的，我們將輸出特徵使用濾波器和輸入特徵的 L1 距離來度量。通過細緻的分析，我們提出了基於全精度梯度的反向傳播和自適應學習率來幫助加法神經網絡的訓練。實驗結果表明，我們提出的加法神經網絡能夠取得和卷積神經網絡近似的準確率，並且在卷積層中不含任何乘法。

論文地址:https://arxiv.org/pdf/1912.13200.pdf

Github 代碼地址：https://github.com/huawei-noah/AdderNet

時間：北京時間 4 月 22 日 20:00

CVPR 2020 機器之心線上分享

在 CVPR 2020 收錄的大量優秀論文中，我們將選出數篇優質論文，邀請論文作者來做線上分享。整場分享包括兩個部分：論文解讀和互動答疑。

線上分享將在「CVPR 2020 交流群」中進行，加群方式：添加機器之心小助手（syncedai6），備註「CVPR」，邀請入群。入群後將會公布直播連結。

相關焦點

  • 7 Papers|MIT學神開源微分太極;北大等提出沒有乘法的神經網絡
    機器之心&ArXiv Weekly Radiostation參與：杜偉、楚航、羅若天本周的重要論文有 MIT 學神胡淵鳴等開源的自動微分版太極以及北大、華為諾亞方舟實驗室等主張以加法運算代替深度神經網絡中的乘法運算。
  • 把CNN裡的乘法全部去掉會怎樣?華為提出移動端部署神經網絡新方法
    、華為諾亞等合著的一篇論文，探討了不用乘法用加法能不能做深度學習。最近，我們又看到華為的另一篇論文，這一次沒有用加法替代乘法，而是用「按位移位」和「按位取反」來取代乘法運算。 深度學習模型，尤其是深度卷積神經網絡（DCNN），在多個計算機視覺應用中獲得很高的準確率。
  • 把CNN裡乘法全部去掉會怎樣?華為提出移動端部署神經網絡新方法
    選自arXiv作者：Mostafa Elhoushi 等機器之心編譯參與：魔王、杜偉前不久，機器之心報導過北大、華為諾亞等合著的一篇論文，探討了不用乘法用加法能不能做深度學習最近，我們又看到華為的另一篇論文，這一次沒有用加法替代乘法，而是用「按位移位」和「按位取反」來取代乘法運算。深度學習模型，尤其是深度卷積神經網絡（DCNN），在多個計算機視覺應用中獲得很高的準確率。但是，在移動環境中部署時，高昂的計算成本和巨大的耗電量成為主要瓶頸。
  • 只有加法也能做深度學習，性能不輸傳統CNN
    現在的深度學習在很大程度上依賴於GPU硬體，做大量的乘法運算，限制了它在行動裝置上的應用，需要一種更高效的方法。來自北京大學、華為諾亞方舟實驗室、鵬城實驗室的研究人員提出了一種加法器網絡AdderNet，去掉卷積乘法，並設計一種新的反向傳播算法，結果也能訓練神經網絡。而且實驗結果證明了，這種方法在MNIST、CIFAR-10、SVHN上已經接近傳統CNN的SOTA結果。
  • 給卷積神經網絡動動刀:加法網絡探究
    卷積神經網絡（CNN）在計算機視覺任務中有著廣泛的應用，然而它的運算量非常巨大，這使得我們很難將CNN直接運用到計算資源受限的行動裝置上。為了減少CNN的計算代價，許多模型壓縮和加速的方法被提出。其中AdderNet就是一種從新角度對模型進行加速的方法，以往的模型加速方法通過減少CNN的參數，AdderNet通過重新定義卷積計算，將卷積中的乘法替換為了加法。我們知道，乘法的計算代價要遠遠大於加法，AdderNet通過這種方式減少了計算量。
  • 華為深度學習新模型DeepShift:移位和求反代替乘法,成本大降
    【新智元導讀】深度學習模型，尤其是卷積神經網絡的計算成本問題主要是由於卷積層和全連接層中大量進行乘法運算造成的。華為異構實驗室的研究人員提出，用移位和求反運算代替乘法，可有效緩解計算成本過高的問題，同時精度與傳統模型差距很小。戳右邊連結上 新智元小程序 了解更多！
  • 北大、斯坦福NeurIPS論文提出基於動態圖網絡學習的三維部件拼裝
    機器之心轉載來源：北京大學前沿計算研究中心在一篇 NeurIPS 2020 論文中，北大、史丹福大學的研究者提出了一種基於迭代式圖神經網絡的動態圖神經網絡學習的框架。為解決這一新設定下的部件拼裝問題，我們提出了一個基於迭代式圖神經網絡（iterative graph neural network）的動態圖神經網絡學習（dynamic graph learning）的框架。
  • 先睹為快:神經網絡頂會ICLR 2018論文接受結果速覽
    ICLR全稱International Conference of Learning Representation，是由Lecun，Hinton和Bengio三位神經網絡的元老聯手發起的。近年來隨著深度學習在工程實踐中的成功，ICLR會議也在短短的幾年中發展成為了神經網絡的頂會。
  • 斯坦福學者造出機器鴿;港科大等提出學生情緒分析新系統
    .pdf 摘要：深度學習模型，尤其是深度卷積神經網絡（DCNN），在多個計算機視覺應用中獲得很高的準確率。而大量使用乘法的卷積層和全連接層正是計算成本的主要貢獻者。 華為的這篇論文提出了解決該問題的新方法，即引入兩種新型運算：卷積移位（convolutional shift）和全連接移位（fully-connected shift），從而用按位移位（bitwise shift）和按位取反（bitwise negation）來取代乘法。
  • CVPR2020|暗物智能提出基於知識蒸餾的分塊監督神經網絡搜索算法
    機器之心發布機器之心編輯部近日，計算機視覺頂會 CVPR 2020 接收論文結果公布，從 6656 篇有效投稿中錄取了 1470 篇論文，錄取率約為 22%。本文介紹了暗物智能研究院和蒙納士大學等被 CVPR 2020 接收的一篇論文《Blockwisely Supervised Neural Architecture Search with Knowledge Distillation》。以機器自動設計網絡結構為目標的神經網絡搜索（NAS，Neural Architecture Search）有望為機器學習帶來一場新的革命。
  • 神經網絡與深度學習
    《神經網絡與深度學習》（七） 淺談ALPHAGO背後所涉及的深度學習技術導讀：關於Alfa Go的評論文章很多，但真正能夠與開發團隊交流的卻不多，感謝Alfa Go開發團隊DeepMind的朋友對我這篇文章內容的關注與探討，指出我在之前那一版文章中用字上的不夠較精確，所以在此又作調整。
  • SpinalNet：一種模仿人類神經系統的深度神經網絡
    深度學習和深度想像是通向人工智慧的春天和秋天的路線圖。在過去的一段時間裡，深度神經網絡(DNNs)領域的進步幫助我們實現了許多裡程碑。DNN使機器的性能更接近人類。使用DNNs有許多優點，但也有一些問題正在被解決，而且在未來也將被解決。DNNs通常有大量的輸入特徵，考慮更多的參數通常會提高預測的準確性。第一個隱藏層的大小至關重要。
  • 華人問鼎CVPR!最佳論文最佳學生論文一作均為華人,清華最高產機構
    最佳論文今年的最佳論文來自牛津大學，論文名為Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild。在論文中，研究人員提出了一種無需外部監督即可從原始單視圖圖像中學習3D變形對象類別的方法。
  • ICLR 2020華人雄起!華人參與度近60%,清華、南大均斬獲滿分論文
    視頻中，研究人員創建了一個栩栩如生的3D小白鼠模型，可以在模擬環境中由神經網絡控制。通過神經科學技術分析生物大腦活動，就能夠了解神經網絡是如何控制老鼠運動的論文地址：https://openreview.net/forum?
  • MIT新突破:Nature Photonics揭秘新型光學深度神經網絡系統
    隨著以深度學習為代表的人工智慧技術的興起，人們也開始關注如何開發出能更有效、更高速地執行神經網絡運算的計算硬體。近日，麻省理工學院（MIT）的研究者在 Nature Photonics 上發表的一篇論文《Deep learning with coherent nanophotonic circuits》提出了一種使用光子技術實現神經網絡的方法，而且他們還已經對這一概念進行了實驗驗證。
  • CVPR 2019 Oral 論文解讀 | 百度提出關於網絡壓縮和加速的新剪枝...
    雷鋒網 AI 科技評論按：百度關於網絡壓縮和加速的論文《 Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration》被 CCF A 類學術會議 CVPR 2019 收錄為 Oral 論文，這篇論文提出了新的基於濾波器的幾何中心
  • 北大、微軟亞洲研究院:高效的大規模圖神經網絡計算
    新智元報導 來源：arXiv編輯：肖琴【新智元導讀】第一個支持圖神經網絡的並行處理框架出現了！北京大學、微軟亞洲研究院的研究人員近日發表論文，提出NGra，這是第一個支持大規模GNN的系統。GNN（圖神經網絡）代表了一種新興的計算模型，這自然地產生了對在大型graph上應用神經網絡模型的需求。但是，由於GNN固有的複雜性，這些模型超出了現有深度學習框架的設計範圍。此外，這些模型不容易在並行硬體（如GPU）上有效地加速。
  • 「深度學習」這十年:52篇大神級論文再現AI榮與光
    過去十年中有哪些有影響力的深度學習論文？從「深度學習三巨頭」到何愷明，從谷歌到MIT，52篇神級論文帶大家回顧深度學習這十年。戳右邊連結上新智元小程序了解更多！ 隨著2020年的到來，人類進入了一個嶄新的十年。回顧過去10年，深度學習領域取得的巨大進步。
  • 44篇論文強勢進擊CVPR 2018,商湯科技的研究員都在做哪些研究?
    本屆行人再識別領域唯一一篇 oral 論文就來自商湯，第一作者 Dapeng Chen 近三年都在從事行人再識別中相似性測度部分的研究，在後文的採訪中，他也提到，自己的研究逐漸從非深度學習方法轉向深度學習方法，從小數據集延伸到大規模數據集。除了行人再識別之外，商湯入選論文中也有 4 篇涉及三維場景理解與分析。
  • CIKM投稿數量1700篇,圖神經網絡成熱門方向,最佳論文紛紛進行圖研究
    話題論文的接收率（紅線）一定程度上反映了審稿人的興趣，若按接收率進行排序，可以看出廣告和金融方向的論文更容易被接收；而對科學數據進行處理的文章更可能被拒絕掉。而另一方面，柱狀圖的高低則能夠反映研究者的興趣點，顯然data mining、機器學習和深度神經網絡仍然佔據高位，而資料庫、網頁挖掘等則相對小眾。