阿里7篇論文入選ICML 2020,達摩院讓機器學會「雙腦思考」

2020-12-20 量子位

ICML 2020放榜,接收率再創新低,為21.8%。

縱覽榜單,中國學術界依然是清華領銜,公司維度上,阿里則以7篇論文入選的數量拔得頭籌。

根據ICML官方資料,阿里7篇論文涵蓋在圖像識別、自然語言處理、搜索推薦等領域的研究成果。

比如,其中一篇《Boosting Deep Neural Network Efficiency with Dual-Module Inference》,提出了一種全新的AI推理方法,可大幅減少AI對計算和內存資源的消耗,能將推理速度提升3倍。

AI雙模推理

如何讓神經網絡的推理過程在有限的硬體資源下,延時更小,耗能更少,一直是業界難題。

尤其是類似語言模型這類大模型,給計算、內存資源帶來了新的挑戰。

目前,業界通用的解決方法是採用更先進的計算性能來運行AI任務,例如採用GPU、FPGA或者NPU等異構計算,但該方法並沒有從根源上解決問題。

阿里巴巴達摩院設計出了一種「AI雙腦思考」的方法,能讓大型神經網絡像人類一樣學會「快思考」與「慢思考」,從而進行高效且準確的推理過程。

該方法被稱為「雙模推理」, 即將一個複雜任務拆分成兩個任務,例如在複雜AI推理任務過程中,可以先以很小的資源運行「小網絡」,同時分析哪些網絡的區域較為敏感,然後只對敏感區域在「大網絡」中運行計算。

推理時:

先以很小的資源運行量化為FIX POINT的「小網絡」;

將該結果的每一個輸出與閾值對比,判斷這個數值是不是「關鍵的敏感數值」;

如果是「關鍵敏感」數值,那麼適用原有的精確大網絡,計算其精確數值;

如果不是,那麼就用這個小網絡的數值作為其估計值,繼續計算。

小網絡,實際上就是大網絡的一個估計。

研究人員同時考慮了維度縮減和量化,借鑑 random projection 的方法,用 W^LLPx 來估計 WHHx,其中 W^HH 大網絡是一個 nd 的矩陣,而 W^LL 是一個 nk (k << d) 的矩陣,P 是一個轉化矩陣(稀疏的 0/1 矩陣)。

在訓練上,採用知識蒸餾(Knowledge Distillation)的方法,把大網絡作為「老師網絡」小網絡作為「學生網絡」。

小網絡的訓練過程如下:

研究人員在CPU server上對該方法進行了實現,並與MKL的Pytorch實現進行了對比。

實際效果顯示,該方法能在保證模型精度的基礎上,在語言模型上減小40%的訪存,達到1.54倍-1.75倍的性能提升,同時可以在僅損耗0.5%精度基礎上,提升3倍的推理速度。

One More Thing

近年來,阿里在AI領域迎來了基礎研究與產業應用成果雙爆發的階段。

三年前,阿里巴巴成立了內部前沿研究機構達摩院,達摩院下設十餘個基礎研究實驗室,涵蓋語音實驗室、視覺實驗室、語言技術實驗室、決策智能實驗室、城市大腦實驗室、自動駕駛實驗室等AI相關部門。

據了解,阿里AI已在國際頂級技術賽事上獲得了近60項世界第一,500多篇論文入選國際頂會。同時,阿里AI落地了多項重大研究成果,全面賦能各行各業。達摩院醫療AI團隊疫情期間研發的AI診斷技術,已在全球近600家醫院落地,完成50餘萬例臨床診斷。

— 完 —

相關焦點

  • 阿里達摩院提出「AI雙腦思考」方式 推理速度可提升3倍
    DoNews6月19日消息(記者 翟繼茹)19日,阿里巴巴稱,有7篇論文入選人工智慧國際會議ICML 2020論文收錄結果。據了解,ICML是全球機器學習頂級學術會議之一,接受率為21.8%。據ICML官網顯示,阿里7篇論文涵蓋圖像識別、自然語言處理、搜索推薦等領域。在《Boosting Deep Neural Network Efficiency with Dual-Module Inference》中,提出了一種全新的AI推理方法,可減少AI對計算和內存資源的消耗,能將推理速度提升3倍。
  • 中國晶片企業新紀錄:阿里平頭哥三篇論文入選國際頂級會議ISCA2020
    今天,計算機體系結構頂會ISCA 2020公布了論文入選結果,平頭哥三篇論文入選,創國內晶片企業紀錄。據悉,平頭哥入選的三篇論文分別展示了平頭哥半導體在玄鐵910處理器、計算存儲一體化及AI硬體基準測試等方面的研究成果。ISCA是計算機體系結構領域最權威的會議之一,包括谷歌、英特爾、英偉達等企業在ISCA上發表的多項研究成果都已在半導體行業廣泛應用。
  • 阿里人工智慧厚積薄發 11篇論文被AAAI 2018收錄
    第32屆會議將於2018年2月2日-7日在美國紐奧良舉行。阿里巴巴被收錄的11篇論文,分別來自iDST、業務平臺事業部、阿里媽媽事業部、人工智慧實驗室、雲零售事業部,其中有5位作者受邀在主會做Oral形式報告,另有1位作者攜兩篇論文在主會以Poster形式做報告。阿里巴巴還會在展區向數千名參會人員展示阿里在人工智慧領域的技術研究、產品與落地應用。
  • 清華大四本科生2篇一作論文入選ICML 2020,後浪果然翻湧
    白交 發自 凹非寺量子位 報導 | 公眾號 QbitAIICML 2020放榜了。入選論文創新高,共有1088篇論文突出重圍。其中阿里11篇,百度9篇,華為5篇。當然,也還有其他機構表現的十分優異,我們就來看看名單吧。谷歌仍為最大贏家由於完整名單略長,就抓一些重點機構和大學的論文篇數來看吧。
  • 達摩院的「黑科技」
    文/ 白楊 編輯/ 李清宇在2017年10月召開的杭州雲棲大會上,阿里巴巴達摩院正式亮相。這是一個被阿里巴巴董事局主席馬雲寄予厚望的部門,承載了阿里巴巴最頂尖的研發資源,達摩院意味著技術創新,也代表著阿里的未來。
  • 達摩院為什麼叫達摩院
    他一會兒努力記筆記,一會兒皺著眉頭低頭思考的樣子,看上去認真甚至還有點萌。 他們在密談什麼? 昨天的雲棲大會上,答案揭曉。阿里巴巴宣布成立全球研究院——阿里巴巴達摩院,3年投資1000億元人民幣進行技術研發,並引進全球頂尖人才。記者 沈積慧 為什麼叫達摩院?
  • 南大學霸,浙江大學29歲女博導入選阿里青橙獎
    三年發表SCI論文20餘篇,其中第一作者論文5篇,包括NaturePhotonics,NatureElectronics, AdvancedMaterials等領域頂級期刊。作為(共同)作者,在Nature/Science/Cell系列期刊總計發表論文7篇。
  • 達摩院青橙獎結果揭曉:鍾南山院士寄語,DenseNet作者黃高獲獎
    今天上午,阿里巴巴達摩院青橙獎第三屆獲獎名單正式揭曉。在 20 進 10 的最終答辯環節之後,達摩院院長張建鋒正式公布了本屆達摩院青橙獎學者名單,分別為:梁文華國家呼吸研究所楊詩武北京大學趙保丹浙江大學
  • ICML 2019收錄774篇論文:谷歌153篇,清華北大26篇
    谷歌及其子公司佔據了前五名中的三席,總共有153篇論文被收錄。中國被收錄論文最多的公司是騰訊,數量為10篇。另外,阿里被收錄5篇、百度1篇。有4所中國大學進入Top 50,分別是:清華大學15篇,北京大學11篇,南京大學8篇,香港中文大學7篇。
  • 入選阿里巴巴「達摩院青橙獎」 南航「85後」教授拿下百萬獎金
    2019-09-26 11:22圖文來源:揚子晚報9月25日,杭州雲棲大會現場,阿里巴巴達摩院揭曉了第二屆青橙獎獲獎名單。來自南京航空航天大學計算機科學與技術學院/人工智慧學院的劉哲教授入選。「達摩院青橙獎」於2018年由阿里巴巴設立,評選面向信息技術、晶片、智能科技等基礎研究領域,每年遴選出10名青年科學家,每人授予100萬元人民幣的獎金,並將得到達摩院全方位的研發資源支持。青橙獎的一大特點是只頒給「青年人」。
  • 0.3秒定位解剖位置 達摩院解決骨科手術歷史難題
    7月9日,達摩院公布了最新研究成果,其醫療AI可在0.3秒內自動完成髖關節置換手術前的定位和測量,精度大幅提升2.3%以上,該技術即將在醫院上線使用。達摩院全新的AI技術正在讓這一工作變得簡單高效。不同於傳統AI只檢測關鍵點的方法,達摩院醫療AI能快速定位關鍵點位,並強化了點位之間的聯繫,測量數據更加直觀。實測數據顯示,該技術0.3秒即可完成髖關節置換術解剖位置的定位,相比傳統U-Net、Hourglass和HRNet模型,精度分別提升了2.3%,11.7%和5.1%。
  • 阿里的達摩院究竟有何寓意?它具體負責什麼業務?
    這裡是順菊說科技,本文我們將來說說有關阿里達摩院的話題。在各種社交媒體上,我們經常能夠聽到一個名詞,那就是阿里達摩院。很多人對這個聽上去很有武俠小說意味的名字非常好奇,也搞不明白它究竟代表了什麼意思,甚至不明白它是幹什麼的。針對這些問題,我們就來大致談談相關話題。
  • 阿里平頭哥三篇論文入選 ISCA
    作者 | 馬超責編 | 胡巍巍出品 | CSDN(CSDNnew)近日計算機體系結構方面的頂級學術會議ISCA2020公布了論文入選結果(http://iscaconf.org/isca2020),阿里平頭哥半導體公司有三篇論文入選,創下國內晶片公司的記錄。
  • 阿里平頭哥三篇論文入選ISCA2020;官方公布華為P40圓角曲率輪廓…
    打開APP 阿里平頭哥三篇論文入選ISCA2020;官方公布華為P40圓角曲率輪廓… Norris 發表於 2020-03-26 09:07:14
  • 一文速覽ICML2020高引論文與華人作者
    月 18 日召開,早在一個月前,ICML 官方就以經放出了論文統計結果:據官方統計,ICML 2020 共提交 4990 篇論文,投稿數量再創新高,而最終接收論文 1088 篇,接收率 21.8%。接下來讓我們看看截至目前引用量較高的本次 ICML 會議論文以及中國機構和華人的表現吧。ICML AMiner:https://www.aminer.cn/conf/icml2020ICMl2020高引用量的論文Aminer 開發的 ICML 2020 頂會系統給出了本屆會議引用量排名靠前的論文。
  • 信息安全的護航者 南航「85後」教授獲達摩院青橙獎
    9月25日,杭州雲棲大會現場,阿里巴巴達摩院揭曉了第二屆青橙獎獲獎名單。來自南京航空航天大學計算機科學與技術學院/人工智慧學院的劉哲教授入選。   「達摩院青橙獎」於2018年由阿里巴巴設立,評選面向信息技術、晶片、智能科技等基礎研究領域,每年遴選出10名青年科學家,每人授予100萬元人民幣的獎金,並將得到達摩院全方位的研發資源支持。除了巨額獎金外,青橙獎的一大特點是只頒給「青年人」。
  • 阿里巴巴達摩院成就10名百萬青年科學家,80後8位,90後2位
    作者 | 陳彩嫻編輯 | 青暮今日,2020年阿里巴巴達摩院公布第三屆青橙獎獲獎名單,10人獲獎。其中,有5名獲獎者來自人工智慧領域,2名專注於大數據挖掘與分析,其餘領域還有晶片、工控軟體、基礎數學等。
  • 達摩院提出新模型EBM-Net,比最強基線模型...
    雷鋒網消息,日前,AI領域頂會EMNLP 2020落下帷幕。今年全球僅有754篇論文被接受,接收率為24%,阿里巴巴憑藉28篇論文成為入選論文數最多的中國科技公司。據雷鋒網了解,阿里相關研究成果覆蓋情感分析、文本生成及醫療NLP等領域。
  • 阿里將赴NIPS2017 三大事業部聯袂展示AI全技能
    在本屆會議上,阿里巴巴除有兩篇論文入選Workshop並進行Oral和Poster形式報告外,3大技術事業部將連續3天(5日-7日)在阿里展區舉行多場技術研討會,向5000餘名參會人員介紹阿里在機器學習、人工智慧領域的技術研究、產品與落地應用。
  • ICML 2020百度AI之行:入選7篇論文 舉辦3場EXPO
    ICML 2020會議論文投稿量再創新高,接收率下降至21.8%左右。百度AI在激烈的投稿競爭中,成功入選論文7篇,涵蓋深度學習、遷移學習、自然語言處理、數據隱私以及語音等眾多熱門子領域;同時,百度AI積極申辦ICML EXPO,獲得3場舉辦資格,這是主辦方對百度AI技術實力的肯定,也展示出百度AI在全球人工智慧產業的行業領先地位。