NeurIPS 2020線上分享 | 華為諾亞方舟:超越CNN的加法神經網絡

2020-12-11 騰訊網

具有大量可學習參數和乘法運算的卷積神經網絡（CNN）在圖像分類、目標檢測、語義分割和低級圖像任務中表現出了卓越的性能，但由此帶來的功耗過大問題限制了 CNN 在手機和相機等可攜式設備上的應用。所以，近來的一些研究著力探索降低計算成本的高效方法。

目前出現了多種獲得高計算能效深度神經網絡的算法，如從準確度損失極少的預訓練神經網絡中刪除不重要參數或濾波器的權重剪枝方法，以及通過模仿教師模型輸出分布來直接學習學生模型的知識蒸餾方法。另一個獲得高效神經網絡的研究途徑是減少權重和激活值的位寬以降低內存使用和功耗。這類方法有很多，也可以大幅度降低計算複雜度，但生成網絡的性能依然低於 CNN 方法。

針對這些問題，Hanting Chen 等提出了不需要大量浮點數乘法運算的加法神經網絡（Adder Neural Network, ANN），不僅實現了比低位寬二進位神經網絡更好的性能，還對未來深度學習硬體加速器的設計產生深遠影響。

在華為諾亞方舟實驗室、雪梨大學這篇被 NeurIPS 2020 學術會議接收的論文《Kernel Based Progressive Distillation for Adder Neural Networks》中，研究者通過一種基於核的漸進式蒸餾方法構建了性能更好的加法神經網絡。研究者表示，這項研究使得 ANN 性能超越了同結構的 CNN，從而在功耗更少的情況下實現更佳性能。這項研究還將有益於智慧型手機和物聯網等的應用。

機器之心最新一期 NeurIPS 線上分享邀請到了論文一作、諾亞方舟實驗室研究員許奕星，為大家詳細解讀此前沿研究。

分享主題：基於核的加法神經網絡漸進式蒸餾方法

分享嘉賓：許奕星，諾亞方舟實驗室研究員，北京大學智能科學系碩士、浙江大學學士。師從北京大學許超教授和雪梨大學陶大程教授，曾在 MSRA 實習。研究興趣主要包括計算機視覺、機器學習和深度學習，並在 NIPS、CVPR、ICML、AAAI、IJCAI 等學術會議發表論文數篇。目前主要研究方向為加法神經網絡、神經網絡模型小型化、神經網絡自動搜索以及半監督學習。

分享概要：深度卷積神經網絡（CNN）在眾多計算機視覺任務中取得成功。然而為了保證性能，CNN 包含大量的乘法操作。近期提出的加法神經網絡（ANN）通過替換卷積操作為無需乘法的加法操作，極大的減少了網絡的運行功耗和所需的晶片面積，然而 ANN 在準確率上和同結構的 CNN 相比仍有一定差距。本講座介紹了一種基於核的漸進式蒸餾方法，提高 ANN 的分類性能。實驗表明，在 CIFAR-10、CIFAR-100 和 ImageNet 等多個標準圖片分類數據集上，ANN 能夠取得超越同結構 CNN 的性能，為 ANN 進一步應用於實際奠定了基礎。

直播時間：北京時間 11 月 25 日 20:00-21:00

論文連結：https://arxiv.org/pdf/2009.13044.pdf

加入機動組，一起看直播

「機動組」是機器之心發起的人工智慧技術社區，將持續提供技術公開課、論文分享、熱門主題解讀等線上線下活動，並在社群中提供每日精選論文與教程、智能技術研究周報，同時「機動組」也將不定期組織人才服務、產業技術對接等活動，歡迎所有 AI 領域技術從業者加入。添加機器之心小助手（syncedai5），備註「2020」，加入本次直播群。

2020 NeurIPS MeetUp

受新冠疫情影響， NeurIPS 2020 轉為線上舉辦。雖然這可以為大家節省一筆包括註冊、機票和住宿的開支，但不能線下參與這場一年一度的學術會議、與學術大咖近距離交流討論還是有些遺憾。

機器之心獲得 NeurIPS 官方授權，將於 12 月 6 日在北京舉辦 2020 NeurIPS MeetUp，設置Keynote、 論文分享和 Poster 環節，邀請頂級專家、論文作者與現場參會觀眾共同交流。

相關焦點

  • 效果比肩CNN| 華為諾亞方舟實驗室提出加法神經網絡蒸餾技術
    《Kernel Based Progressive Distillation for Adder Neural Networks》，提出了針對加法神經網絡的蒸餾技術，ResNet-34和ResNet-50網絡在ImageNet上分別達到了68.8%和76.8%的準確率，效果與相同結構的CNN相比持平或超越，該論文已被NeurIPS2020接收。
  • 華為開源只用加法的神經網絡:實習生領銜打造,效果不輸傳統CNN
    如果不用乘法，全部改用加法應該可以讓運算速度大大提升。去年年底，來自北京大學、華為諾亞方舟實驗室、鵬城實驗室的研究人員將這一想法付諸實踐，他們提出了一種只用加法的神經網絡AdderNet（加法器網絡）。一作是華為諾亞方舟實習生，正在北大讀博三。
  • 只有加法也能做深度學習,北大華為等提出AdderNet,性能不輸CNN
    但是，與加法運算相比，乘法運算的計算複雜度高得多。現在的深度學習在很大程度上依賴於GPU硬體，做大量的乘法運算，限制了它在行動裝置上的應用，需要一種更高效的方法。如果能夠拋棄乘法運算，是不是會讓代碼運行速度更快呢？
  • 華為諾亞方舟實驗室主任李航:自然語言處理的未來趨勢
    所以，未來自然語言處理深度學習的發展趨勢應該是一個神經處理和符號處理的結合的混合模式。我在闡述這個觀點的過程當中，也會介紹一下華為諾亞方舟實驗室做的一些工作。華為諾亞方舟實驗室，在整個華為的戰略裡，是肩負著人工智慧、機器學習和數據挖掘方面的研究任務，既有偏長期的工作，也有偏短期的、產品化的工作，那麼我今天主要是講一講，我們已經進行的基礎性長期性的工作。
  • 2020NeurIPS全日程公布,這是一場充實的學術交流活動
    受新冠疫情影響， NeurIPS 2020 轉為線上舉辦。為了更好的促進國內人工智慧的學術交流，機器之心將於12月6日舉辦2020 NeurIPS MeetUp。在4場Keynote中，我們邀請到北京大學教授林宙辰，南京大學教授俞揚，字節跳動 AI Lab 傑出科學家、總監李磊，華為諾亞方舟決策推理實驗室主任郝建業4位嘉賓帶來關於卷積神經網絡、強化學習與自然語言生成等話題的分享。更多演講詳情參見《NeurIPS 2020 MeetUp Keynote揭曉》。
  • 華為諾亞方舟實驗室開源即插即用的多用卷積核(NeurIPS 2018)
    華為諾亞方舟實驗室開源了一種即插即用的卷積核，該項工作發表在NeurIPS 2018上，論文題目為《Learning Versatile Filters
  • 華為方舟實驗室計算機視覺CTO田奇:大算力大數據時代六大前沿CV探索
    在剛結束的2019國際智能科技峰會上，華為諾亞方舟實驗室計算機視覺首席科學家田奇教授發表了以《大算力大數據時代的計算機視覺前沿探索》為主題的演講，並且在隨後的媒體溝通環節發表了自己對於AI算法、數據、算力等方面的觀點。
  • 給卷積神經網絡動動刀:加法網絡探究
    卷積神經網絡（CNN）在計算機視覺任務中有著廣泛的應用，然而它的運算量非常巨大，這使得我們很難將CNN直接運用到計算資源受限的行動裝置上。為了減少CNN的計算代價，許多模型壓縮和加速的方法被提出。圖1 加法和乘法計算量對比CNN卷積計算：AdderNet計算：1代碼解讀AdderNet的訓練代碼已經在github上開源（https://github.com/huawei-noah/AdderNet），接下來我們對代碼進行分析和解讀。
  • 諾亞方舟的故事,諾亞方舟在哪裡
    上帝告訴他們七天之後就要實施大毀滅，要他們用歌斐木造一隻方舟，分一間一間的造，裡外抹上松香。這隻方舟要長360米、寬23米、高13.6米。方舟上邊要留有透光的窗戶，旁邊要開一道門。方舟要分上中下三層，他們立即照辦。
  • 7 Papers|MIT學神開源微分太極;北大等提出沒有乘法的神經網絡
    機器之心&ArXiv Weekly Radiostation參與：杜偉、楚航、羅若天本周的重要論文有 MIT 學神胡淵鳴等開源的自動微分版太極以及北大、華為諾亞方舟實驗室等主張以加法運算代替深度神經網絡中的乘法運算。
  • 諾亞方舟實驗室李航:深度學習還局限在複雜的模式識別上
    華為技術有限公司諾亞方舟實驗室主任李航認為，機器學習、數據挖掘和人工智慧的研究，對華為未來的智能通信網絡、智能企業管理、智能信息助手三個應用方向很有幫助，比如機器學習對SDN的控制能力、網絡優化、人機互動、跨國交流等，都可以發揮很大的作用。
  • MIT學神開源微分太極;北大等提出沒有乘法的神經網絡
    機器之心機器之心&ArXiv Weekly Radiostation參與：杜偉、楚航、羅若天本周的重要論文有 MIT 學神胡淵鳴等開源的自動微分版太極以及北大、華為諾亞方舟實驗室等主張以加法運算代替深度神經網絡中的乘法運算
  • 諾亞方舟之謎:諾亞方舟真存在嗎?諾亞方舟停泊在哪裡?
    諾亞方舟真的存在嗎?諾亞方舟的停泊之處究竟在哪裡?在人類的歷史中，確實有關於大洪水的傳說，中國有女媧補天，大禹治水，聖經中有諾亞方舟。但迄今為止，考古學家們並沒有發現很有力的證據證明諾亞方舟真的存在過，估計它只是存在與傳說之中?真相真的是這樣的嗎?下面就跟著小編一起來看看吧!諾亞方舟在哪裡被發現?建築方舟的目的是什麼?
  • 發現諾亞方舟遺址,諾亞方舟不是神話傳說,是歷史上真實存在的?
    那諾亞方舟聽過嗎？在西方，關於諾亞方舟的傳說非常流行。其實，諾亞方舟是出自《聖經》，說的是為了讓諾亞、他的家人，以及世界上的各種陸地生物能夠順利逃過一場上帝故意製造的洪水災難而建造的。有人堅信諾亞方舟是真實存在的。為什麼這麼說呢？
  • 華為諾亞方舟開源哪吒、TinyBERT模型,可直接下載使用
    機器之心整理 參與：一鳴 華為諾亞方舟實驗室開源了一批優秀預訓練語言模型，性能更好、使用更方便。 昨日，華為諾亞方舟實驗室的 NLP 團隊開源了兩個重要的預訓練語言模型——哪吒和 TinyBERT。這兩個模型可以直接下載、預訓練和微調。華為語音語義首席科學家劉群在微博上轉發了這一消息。
  • 華為諾亞方舟開源預訓練模型「哪吒」,4項任務均達到SOTA
    BERT之後，新的預訓練語言模型XLnet、RoBERTa、ERNIE不斷推出，這次，華為諾亞方舟實驗室開源了基於BERT的中文預訓練語言模型NEZHA（哪吒），寓意模型能像哪吒那樣三頭六臂、大力出奇蹟，可以處理很多不同的自然語言任務。 據介紹，當前版本的NEZHA基於BERT模型，並進行了多處優化，能夠在一系列中文自然語言理解任務達到先進水平。
  • 諾亞沙發屬於幾線品牌 諾亞沙發公司簡介介紹
    那麼諾亞沙發屬於幾線品牌呢，這個品牌的沙發到底怎麼樣呢。諾亞沙發公司簡介介紹包括哪些方面，下面就來介紹這個品牌。諾亞沙發屬於幾線品牌諾亞沙發有深刻的文化底蘊，而且有高標準的選擇，能夠守誠信，重質量。就一線品牌產品。
  • 諾亞方舟如果真的存在,那麼我們都是諾亞的後代
    諾亞和方舟如果按照《創世紀》所記載，諾亞方舟是真實存在的，他是完全好人諾亞，在神的指示下，為了躲避洪災而建造了巨大木船——方舟。停靠諾亞方舟的地方不管別人怎麼評價諾亞方舟，以及諾亞方舟的故事，它早已成為人類精神文化的一部分，這是不爭的事實。
  • 不僅僅是技術分享 第二屆諾亞方舟技術年會全景回顧
    2018年7月7日，第二屆諾亞方舟技術年會在索貝公司總部B-1會議室隆重舉行。來自研發體系、事業部、銷售體系的70餘名同事經過自主報名參加了此次會議，公司高級副總裁王煒、國際業務BG副總裁楊琛出席了本次盛會。
  • 諾亞方舟遺址是真的嗎?諾亞方舟遺址具體位置在哪裡
    解答：諾亞方舟是西方的某個傳說，主要就是一個叫做諾亞的人成功製作了一艘大船，成功在洪水中拯救了人類文明和重要的火種。很多人覺得諾亞方舟確實存在，並且找到了很多所謂遺址，但是最終證實是虛假的。2010年某隻考察隊稱成功尋找到諾亞方舟遺址，下面探秘志帶大家共同了解下。