上海交大CS系博士生李澤凡:利用高階殘差量化(HORQ)方法進行網絡...

2020-12-13 雷鋒網

雷鋒網 AI科級評論按,神經網絡的壓縮和加速現在已經成為一個熱門課題,這個領域有多種研究方法,網絡量化就是其中之一。網絡量化分為輸入量化和權值量化兩種。而同時將輸入和權值量化會造成網絡精度的大幅下降。在Performance Guaranteed Network Acceleration via High-Order Residual Quantization (性能保障的高階殘差量化網絡加速方法)一文中,作者針對這個問題,提出了高階殘差量化(HORQ)的方法,既能夠利用網絡量化帶來的大幅計算加速,又能夠保證網絡的精度不會大幅下降。

在近期雷鋒網(公眾號:雷鋒網) AI研習社的線上分享會上,該論文第一作者李澤凡為我們詳細解讀了HORQ方法及相關推導過程 。

李澤凡,上海交大 CS 系二年級博士生,師從高文院士和張文軍教授。 研究方向為神經網絡理論、網絡加速和壓縮。

分享內容:

大家好,今天我將為大家帶來我們在ICCV 2017上發表的文章——Performance Guaranteed Network Acceleration via High-Order Residual Quantization (性能保障的高階殘差量化網絡加速方法)。

這篇文章的研究領域是網絡加速和網絡壓縮。主要的網絡加速和網絡壓縮方法可以分為如下三種類型,第一種是網絡剪枝,第二種是低階分解和低階近似,第三種是網絡量化和二值化。這篇文章的關注點在網絡的二值化方法上。 

什麼是網絡的二值化/量化?這裡以CNN的一個卷積層為例。

卷積層的二值化有兩個優點,第一個優點是可以實現模型大小的壓縮。

第二點是能加速計算。

接下來介紹這篇文章的motivation,之前的XNOR網絡雖然能實現58倍的加速,但網絡精度出現大幅下降。我們希望既能利用二值化帶來的便利,也避免網絡精度的大幅度下降。

說到這篇文章的方法之前,我們再來看看如何進行網絡二值化。由淺入深,先來談談如何進行向量二值化。

向量二值化的目標如下:

求解如下最小二乘估計:

相當於求解如下問題,可以轉化為如何最大化X轉置乘以H的問題。

求解完H之後再來求解β,求解過程如下:

由此得到前面圖中該最優化問題的解析解形式如下:

下面舉個例子,如何運用向量二值化來二值化向量的內積。如下是四維向量相乘的例子: 

求解X和W內積的式子如下所示:

估算值為1.27875,與實際值0.76相比有很大誤差。這也表示,用這樣的方法進行向量二值化會帶來很大誤差,信息損失巨大。 

由此,我們的工作提出高階殘差量化,利用泰勒展開的方法,具體如下:

如圖左所示是原來二值化方法的信息損失,我們定義量化殘差的概念來描述信息損失:

由此可以上升到二階殘差量化估計:

下面是從三維空間來看:

以此類推,我們可以定義K維殘差估計:

接下來利用HORQ(高階殘差)方法來逼近我們剛才XW=0.76的例子:

下面求得X的二階量化值,對W不用進行二階二值估計,因為在之前網絡中對權值進行二階二值估計對網絡的影響不是很大,我們只討論對輸入進行高階殘差估計方法。XW的值如下:

最後的結果如下:

同理作出三階二值估計:

三階量化的結果如下,在0.81左右。

同理可以做四階二值估計,有一個很有意思的結論,對於n維向量X,它最多只有n階二值估計。

把這些殘差估計做一個匯總,如下:

這是一些HORQ框架下理論上比較有趣的結果。結論一:二值的殘差一定是跟相應階數下的二值向量垂直。

推導過程如下,另外還有一些小結論:

下面這張圖中可以應用上面推導出來的定理。

結論二:隨著i的增加信息損失是逐漸減少的。

第三個結論如下圖:

接下來講一下如何將HORQ的方法應用到矩陣乘法中。

實際上矩陣乘法可以看成一個行向量和一個列向量的乘積。

話說回來,如何利用HORQ的方法計算卷積層呢?

這裡涉及到tensor reshape過程,具體的過程如下:

下面是原始的卷積網絡以及對權值和輸入二值化來進行卷積操作,這樣帶來的信息損失巨大。

HORQ提出了下面這樣一個框架模型。

下面是一些實驗結果,可以看到在一些小數據集上都有不錯的表現,基本上可以降低一半的誤差。圖中也給出了不同階數的加速比。

下面是加速比的一些理論分析,加速比與三個因素有關,公式如下:

可以看到參數之間的相關關係:

接下來是一些問題。實際上HORQ網絡模型依賴於二值化矩陣乘法的計算,需要一些比較合適的框架,二值模型的存儲和載入與浮點數的存儲和載入不一樣。

論文地址:https://arxiv.org/abs/1708.08687

本次分享的視頻如下:

雷鋒網 AI科級評論編輯整理。

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 科學網—上海交大博導每年最多招3個博士生
    這項「新政」包括淡化「博士生導師」榮譽性稱號和終身資格,打破唯有教授當博導的職稱限制,並實施博導招生人數「封頂」制度;同時,報考上海交大博士生可隨時提交申請材料,通過審核及面試後可被直接錄取,今年這一「入學申請制」覆蓋所有博士生學科門類。 實施博士生導師動態選聘制度。「博士生導師就是指導博士生的教師,而非頭銜,也不代表永久性福利與待遇。」
  • 港科大博士生侯璐:基於損失函數的神經網絡量化方法|分享總結
    雷鋒網AI科技評論按:神經網絡功能強大,但是其巨大的存儲和計算代價也使得它的使用特性,特別是在一些計算能力相對較弱的行動裝置上受到了很大的限制。為了解決這個問題, 最近有許多針對於神經網絡壓縮和加速的工作被提出, 例如神經網絡剪枝, 權重矩陣低秩分解,權重量化等。這次分享主要是針對於權重量化這一類方法。
  • 上海交大啟動博士生教育「致遠榮譽計劃」
    繼從明年起取消博士統考後,上海交通大學的博士生教育又出新招。上海交通大學今天發布博士生教育「致遠榮譽計劃」,每年將單列100個博士生招生名額,實施全過程培養和動態考核,不對發表論文篇數作剛性規定,引導博士生論文選題對接國家重大戰略需求或緊扣世界科技前沿,旨在為我國建設創新型國家培養更多拔尖的青年科技人才。
  • 心甘情願做人梯——專訪上海交通大學計算機系教授、博士生導師...
    上海交通大學計算機系教授、博士生導師白英彩(左)與千家網記者的合影引言  看著眼前薄薄的幾張紙,上面寫著一個人的簡介:白英彩,上海交通大學計算機系教授,博士生導師。  第二個實驗室是上海交大金橋網絡工程中心實驗室。上世紀九十年代初,白教授承接了較多培養研究生的任務,且當時的課題組研究方向是網絡與分布式系統。
  • 上海交大博士生導師壓榨辱罵學生:垃圾!你有什麼資格需要休息
    導語:上海交大博士生導師壓榨辱罵學生:垃圾!你有什麼資格需要休息 從小學一路讀到博士,需要很多的精力以及對學習和科研的熱情,導師的水平也直接決定了博士期間個人發展的前景。
  • 上海交大8位學子獲2018贏創-上海交通大學博士生培養基金
    11月22日,2018贏創-上海交通大學博士生培養基金終評在贏創莘莊基地舉行。化學化工學院副院長周永豐教授、材料科學與工程學院竇紅靜教授、贏創大中華區企業創新副總裁馮兢博士、企業創新部謝田甜博士、姜金華博士作為評委出席終評會。
  • 第五屆「城市治理」全國博士生論壇在上海交通大學舉行
    論壇吸引了來自清華大學、復旦大學、上海交通大學、上海財經大學、廈門大學、山東大學等十幾所高校的優秀博士生前來參加,並邀請到各大高校的知名專家學者進行論文評審,同與會學子展開交流與討論。,並表示針對城市治理這一關鍵議題,上海交大依託學校文理醫工農多學科優勢,成立中國首家城市治理研究院、舉辦全球城市論壇、全球華人城市治理研討會等,充分利用上海市與國內外各方面優勢資源,立足上海、面向全國、放眼世界,為黨和政府科學決策提供「交大智慧」。
  • 上海交大閔行校區一博士生墜樓身亡 排除他殺可能[圖]
    圖為事發宿舍大樓    東方網8月6日消息:據《時代報》報導, 前天下午,上海交大閔行校區某宿舍樓一男子墜樓身亡。經確認,死者系交大一名博士生。警方調查後,已經排除他殺可能。隨後有其他網友證實,並稱事發地點就在其居住的交大閔行校區學生公寓西60號樓,但是對細節並不知情。一些網友猜測,事發原因可能與該學生攻讀博士7年遲遲無法畢業有關。    記者昨天趕到上海交通大學閔行校區西60號學生公寓,該公寓為一幢高層男生公寓,各院系學生混住。
  • 上海交大2018年起取消博士統考
    東方網記者劉曉晶6月13日報導:近日公布的「2018上海交通大學研究生招生簡介」顯示,從2018年開始,上海交通大學將不再組織統一的博士生入學考試,招生方式全面實行本科直博、碩博連讀和「申請-考核」制。
  • 上海交大博導用「垃圾」、「白痴」等侮辱性詞彙辱罵學生引發熱議
    上海交大博導使用「垃圾」、「白痴」等侮辱性詞彙辱罵學生,引發熱議近日,有網友爆料上海交大博士生導師倪某,在學術交流群裡要求學生無休工作,並辱罵學生稱「你們這些垃圾、白痴,有什麼資格需要休息」25日上海交大電子系回應稱已注意到相關反應,正了解情況
  • 上海交大碩博士生在湘西開展「遷陵文史園」文旅項目調研
    紅網時刻湘西8月5日訊(通訊員 宋林鳳)8月4日,一支由10人組成的師生隊伍專程從保靖縣城遷陵鎮來到吉首市,參觀了吉首邊城文博苑和湘西州博物(非遺)館,並於當日晚在吉首乾州古城內的湘西文史書店進行了白天參觀後的集中討論。這是上海交通大學人文學院碩博士生2020年暑期調研團隊圍繞保靖縣「遷陵文史園」大型文旅項目進行的一次專程調研環節。
  • 上海交大發布博士生教育"致遠榮譽計劃" 創新博士培養模式
    原標題:上海交大創新博士培養模式  據《勞動報》報導:昨天,上海交通大學發布博士生教育「致遠榮譽計劃」,匯聚海內外頂尖科學家和行業棟梁,組建「1+1+3」多元指導團隊,創新博士生國際化培養體系。
  • 絕對不能錯過GAIR大講堂——上海交大專場開啟報名
    8月12日下午,由雷鋒網主辦的「GAIR大講堂CVPR 上海交大專場」將在上海交通大學正式開幕。作為雷鋒網(公眾號:雷鋒網)旗下高端學術分享品牌,GAIR 大講堂將通過舉辦高頻次的線下校園學術分享活動,實現學術專家、AI業者與學校同學們之間的深度交流。
  • 上海交大博士生輸給了本科生!理由太扎心
    上海交大博士生輸給了本科生!理由太扎心 博士生應聘輸給本科生 不過,最近卻有一位上海交大的博士生給我們留言表示:自己本科是湖北工業大學的,上海交通大學大學博士生,今年在應聘一家企業的時候
  • 上海交大2018年起取消博士統考 實行直博等3種新方式
    剛剛公布的「2018上海交通大學研究生招生簡介」顯示,從2018年開始,上海交通大學將不再組織統一的博士生入學考試,招生方式全面實行本科直博、碩博連讀和「申請-考核」制。
  • 上海交大屬於美系,復旦大學中系,德系的同濟大學才符合上海精神
    ,這所高校就有著濃厚的德國文化傳統,加上民國時期,同濟引入德系的軍工科研平臺,致使同濟大學的老師們大多有留德背景,學生也大多學德語,所以養成了比較嚴謹和理性的特點,用現在的話來說,就是很注重工匠精神。同濟的領導從來不說我們要超越交大和復旦之類的大話,更是沒人吹噓自己是「南方的××」了,而是上上下下都比較理性,比較務實,不是很喜歡爭論,也不喜歡出風頭,就像普通的上海人一樣,踏踏實實,悶聲發財,追求一種細水長流,潤物細無聲的實實惠惠的小日子。
  • 上海交通大學啟動博士生教育「致遠榮譽計劃」
    致力於培養拔尖青年科技人才  上海交大力推博士生培養體系改革,打造博士生教育「致遠榮譽計劃」,採用本科生直接攻博的招生方式,每年單列100個名額(約佔全校博士生招生總名額的6%),為博士生量身定製個性化的培養方案,並為他們成為頂尖科技人才、引領未來科技發展提供肥沃的土壤。
  • 西南交大決定取消21名出國逾期博士生學籍
    2011年12月,西南交通大學在全校範圍內對逾期未畢業的博士生開展一次大規模的清理工作,595名逾期博士生和151名即將逾期的博士生受到校方警示——如果未能在規定時間內完成學業或提交延長學年書面申請,將予以退學處理。  截至2011年12月31日,746名逾期博士生中,仍有21名出國逾期博士生未與學校聯繫。
  • 上海交大博導被曝辱罵學生:垃圾一樣的東西
    【上海交大博導被曝辱罵學生
  • 上海交大王建華教授遺體告別儀式舉行
    4月28日下午,上海龍華殯儀館告別大廳哀樂低回、莊嚴肅穆,人們懷著十分沉痛的心情,深切悼念上海交大船舶海洋與建築工程學院教授、博士生導師王建華。2018年4月26日凌晨2點21分,王建華教授因病醫治無效,在上海仁濟醫院南院不幸逝世,享年60歲。