CVPR2020|深度學習不要乘法?北大,華為Oral論文提出加法神經網絡

2021-01-10 機器之心Pro

作為計算機視覺領域的三大國際頂會之一，CVPR 每年都會吸引全球領域眾多專業人士參與。如 2019 年，CVPR 註冊參會人數高達 9227 人，突破歷屆記錄。其中，來自國內的參會人數就達到 1044 位，僅次於大會舉辦地美國（4743 位）。

CVPR 2020 原定於 6 月 16 日至 20 日在華盛頓州西雅圖的華盛頓州會議中心舉行，但是當前全球疫情勢態嚴峻，越來越多的 AI 頂會開始轉向線上，CVPR 也不例外。

雖然無法去現場交流，但這無法阻擋我們學習的熱情。

為向讀者們分享更多 CVPR 優質內容，在 CVPR 2020 開幕之前，機器之心將策劃多期線上分享。這是機器之心 CVPR 2020 線上分享的第一期，我們邀請到北京大學智能科學系陳漢亭（論文一作）為我們介紹他們的 Oral 論文《AdderNet: Do We Really Need Multiplications in Deep Learning?》。在此論文中，來自北大、華為諾亞方舟實驗室等機構的作者們提出完全用加法代替乘法，用 L1 距離代替卷積運算，從而顯著減少計算力消耗。

演講主題：加法神經網絡：在深度學習中我們是否真的需要乘法？

簡介：陳漢亭，北京大學智能科學系碩博連讀三年級在讀，同濟大學學士，師從北京大學許超教授，研究興趣主要包括計算機視覺、機器學習和深度學習。在 ICCV,AAAI,CVPR 等會議發表論文數篇，目前主要研究方向為神經網絡模型小型化。

摘要：和廉價的加法操作相比，乘法操作需要更大的計算量。在深度神經網絡中廣泛應用的卷積計算了輸入特徵和卷積核的互相關，其中包含著大量乘法操作。我們提出了一種加法神經網絡來將 CNN 中的大量乘法操作用加法來代替。具體的，我們將輸出特徵使用濾波器和輸入特徵的 L1 距離來度量。通過細緻的分析，我們提出了基於全精度梯度的反向傳播和自適應學習率來幫助加法神經網絡的訓練。實驗結果表明，我們提出的加法神經網絡能夠取得和卷積神經網絡近似的準確率，並且在卷積層中不含任何乘法。

論文地址:https://arxiv.org/pdf/1912.13200.pdf

Github 代碼地址：https://github.com/huawei-noah/AdderNet

時間：北京時間 4 月 22 日 20:00

CVPR 2020 機器之心線上分享

在 CVPR 2020 收錄的大量優秀論文中，我們將選出數篇優質論文，邀請論文作者來做線上分享。整場分享包括兩個部分：論文解讀和互動答疑。

線上分享將在「CVPR 2020 交流群」中進行，加群方式：添加機器之心小助手（syncedai6），備註「CVPR」，邀請入群。入群後將會公布直播連結。

相關焦點

  • 深度學習可以不要乘法_湃客_澎湃新聞-The Paper
    原創 Synced 機器之心機器之心報導參與：思、一鳴深度學習對算力要求太高，怎麼簡化計算複雜度呢？北大、華為諾亞方舟實驗室等提出完全用加法代替乘法，用 L1 距離代替卷積運算，從而顯著減少計算力消耗。
  • 7 Papers|MIT學神開源微分太極;北大等提出沒有乘法的神經網絡
    機器之心&ArXiv Weekly Radiostation參與：杜偉、楚航、羅若天本周的重要論文有 MIT 學神胡淵鳴等開源的自動微分版太極以及北大、華為諾亞方舟實驗室等主張以加法運算代替深度神經網絡中的乘法運算。
  • ...加法的神經網絡:實習生領銜打造,效果不輸傳統CNN | CVPR 2020...
    關注前沿科技 量子位曉查 發自 凹非寺量子位 報導 | 公眾號 QbitAI沒有乘法的神經網絡，你敢想像嗎？無論是單個神經元的運算還是卷積運算，都不可避免地要使用乘法。然而乘法對硬體資源的消耗遠大於加法。如果不用乘法，全部改用加法應該可以讓運算速度大大提升。
  • 華為開源只用加法的神經網絡:實習生領銜打造,效果不輸傳統CNN
    曉查 發自 凹非寺量子位 報導 | 公眾號 QbitAI沒有乘法的神經網絡，你敢想像嗎？無論是單個神經元的運算還是卷積運算，都不可避免地要使用乘法。然而乘法對硬體資源的消耗遠大於加法。如果不用乘法，全部改用加法應該可以讓運算速度大大提升。去年年底，來自北京大學、華為諾亞方舟實驗室、鵬城實驗室的研究人員將這一想法付諸實踐，他們提出了一種只用加法的神經網絡AdderNet（加法器網絡）。一作是華為諾亞方舟實習生，正在北大讀博三。
  • 把CNN裡乘法全部去掉會怎樣?華為提出移動端部署神經網絡新方法
    選自arXiv作者：Mostafa Elhoushi 等機器之心編譯參與：魔王、杜偉前不久，機器之心報導過北大、華為諾亞等合著的一篇論文，探討了不用乘法用加法能不能做深度學習。最近，我們又看到華為的另一篇論文，這一次沒有用加法替代乘法，而是用「按位移位」和「按位取反」來取代乘法運算。
  • 把CNN裡的乘法全部去掉會怎樣?華為提出移動端部署神經網絡新方法
    、華為諾亞等合著的一篇論文，探討了不用乘法用加法能不能做深度學習。最近，我們又看到華為的另一篇論文，這一次沒有用加法替代乘法，而是用「按位移位」和「按位取反」來取代乘法運算。 深度學習模型，尤其是深度卷積神經網絡（DCNN），在多個計算機視覺應用中獲得很高的準確率。但是，在移動環境中部署時，高昂的計算成本和巨大的耗電量成為主要瓶頸。
  • 給卷積神經網絡動動刀:加法網絡探究
    卷積神經網絡（CNN）在計算機視覺任務中有著廣泛的應用，然而它的運算量非常巨大，這使得我們很難將CNN直接運用到計算資源受限的行動裝置上。為了減少CNN的計算代價，許多模型壓縮和加速的方法被提出。其中AdderNet就是一種從新角度對模型進行加速的方法，以往的模型加速方法通過減少CNN的參數，AdderNet通過重新定義卷積計算，將卷積中的乘法替換為了加法。我們知道，乘法的計算代價要遠遠大於加法，AdderNet通過這種方式減少了計算量。
  • 四篇入選oral,深睿醫療8篇科研論文被國際學術會議IEEE CVPR、ISBI...
    ，其中4篇為oral，這些論文代表了計算機視覺領域尤其是醫療影像方向國際前沿的科研進展。CVPR 2020本次收錄四篇科研論文，其中三篇為oral。從IEEE CVPR 2020公布的論文接收結果來看，在6656篇有效投稿中有1470篇論文被接收，接收率僅為22%，相比去年又降低3個百分點，oral按照往年經驗，一般只有5-7%，競爭越發激烈。
  • 斯坦福學者造出機器鴿;港科大等提出學生情緒分析新系統
    .pdf 摘要：深度學習模型，尤其是深度卷積神經網絡（DCNN），在多個計算機視覺應用中獲得很高的準確率。而大量使用乘法的卷積層和全連接層正是計算成本的主要貢獻者。 華為的這篇論文提出了解決該問題的新方法，即引入兩種新型運算：卷積移位（convolutional shift）和全連接移位（fully-connected shift），從而用按位移位（bitwise shift）和按位取反（bitwise negation）來取代乘法。
  • CVPR 2018 | 商湯科技Oral論文詳解:BlockQNN自動網絡設計方法
    以下是在大規模分布式訓練領域，商湯科技發表的一篇重磅大會口頭報告（Oral）論文，提出基於分布式訓練的深度增強學習BlockQNN算法，自動設計神經網絡結構。本文由商湯科技實習研究員鍾釗在商湯科技研究院副院長閆俊傑和研究經理武偉指導下完成。
  • 百度聯合英偉達發布最新論文:使深度學習效率事半功倍的混合精度...
    據了解，大多數的深度學習模型使用的是32位單精度浮點數（FP32）來進行訓練，而混合精度訓練的方法則通過16位浮點數（FP16）進行深度學習模型訓練，從而減少了訓練深度學習模型所需的內存，同時由於FP16的運算比FP32運算更快，從而也進一步提高了硬體效率。通過用半精度運算替代全精度運算來提高效率，這一技術原理聽起來很簡單明了，但將其付諸實施並不像聽起來那麼簡單。
  • 華人問鼎CVPR!最佳論文最佳學生論文一作均為華人,清華最高產機構
    最佳論文今年的最佳論文來自牛津大學，論文名為Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild。在論文中，研究人員提出了一種無需外部監督即可從原始單視圖圖像中學習3D變形對象類別的方法。
  • 深度學習進入晶片領域,揭秘寒武紀神經網絡處理器
    就在全世界媒體的焦點鎖定於谷歌AlphaGo連續3盤戰勝李世石的同時，中國科學院計算技術研究所陳雲霽、陳天石課題組提出的深度學習處理器指令集DianNaoYu被計算機體系結構領域頂級國際會議ISCA2016（InternationalSymposiumonComputerArchitecture
  • 神經網絡和深度學習簡史(全)
    但是，這種災難性的形容的確可以用來描述深度學習在過去幾年中的異軍突起——顯著改善人們對解決人工智慧最難問題方法的駕馭能力，吸引工業巨人（比如谷歌等）的大量投資，研究論文的指數式增長（以及機器學習的研究生生源上升）。在聽了數節機器學習課堂，甚至在本科研究中使用它以後，我不禁好奇：這個新的「深度學習」會不會是一個幻想，抑或上世紀80年代已經研發出來的「人工智慧神經網絡」擴大版？
  • 北大、斯坦福提出基於動態圖網絡學習的三維部件拼裝
    機器之心轉載來源：北京大學前沿計算研究中心在一篇 NeurIPS 2020 論文中，北大、史丹福大學的研究者提出了一種基於迭代式圖神經網絡的動態圖神經網絡學習的框架為解決這一新設定下的部件拼裝問題，我們提出了一個基於迭代式圖神經網絡（iterative graph neural network）的動態圖神經網絡學習（dynamic graph learning）的框架。
  • MIT新突破:Nature Photonics揭秘新型光學深度神經網絡系統
    隨著以深度學習為代表的人工智慧技術的興起，人們也開始關注如何開發出能更有效、更高速地執行神經網絡運算的計算硬體。近日，麻省理工學院（MIT）的研究者在 Nature Photonics 上發表的一篇論文《Deep learning with coherent nanophotonic circuits》提出了一種使用光子技術實現神經網絡的方法，而且他們還已經對這一概念進行了實驗驗證。
  • 歷年 CVPR 最佳論文盤點(2000 年——2018 年)
    該論文提出了「Taskonomy」——一種完全計算化的方法，可以量化計算大量任務之間的關係，從它們之間提出統一的結構，並把它作為遷移學習的模型。實驗設置上，作者首先找來一組一共 26 個任務，當中包括了語義、 2D、2.5D、3D 任務，接著為任務列表裡的這 26 個任務分別訓練了 26 個任務專用神經網絡。結果顯示，這些遷移後的模型的表現已經和作為黃金標準的任務專用網絡的表現差不多好。
  • 「深度學習」這十年:52篇大神級論文再現AI榮與光
    過去十年中有哪些有影響力的深度學習論文？從「深度學習三巨頭」到何愷明，從谷歌到MIT，52篇神級論文帶大家回顧深度學習這十年。戳右邊連結上新智元小程序了解更多！ 隨著2020年的到來，人類進入了一個嶄新的十年。回顧過去10年，深度學習領域取得的巨大進步。
  • 萬字長文帶你看盡深度學習中的各種卷積網絡(上篇)
    如果你曾聽過深度學習的各種卷積網絡（例如 2D/3D/ 1x1 / 轉置 /空洞（擴張）/ 空間可分離 / 深度可分離 /扁平化 / 分組 / 混洗分組卷積）並疑惑它們到底都是什麼的話，你可以通過這篇文章了解它們實際的工作原理。在文中，我概括性地介紹了在深度學習中常見的幾種卷積，並採用了大家都能夠明白的方式來解釋它們。