腦洞大開的機器視覺多領域學習模型結構 | CVPR 2018論文解讀

2021-02-21 PaperWeekly
論文亮點

這篇論文來自於牛津大學 VGG 組，該研究小組在機器視覺和遷移學習領域發表多篇重磅論文並且都被各類頂會錄用，作者之一的 Andrea Vedaldi 就是輕量級視覺開源框架 VLFeat 的主要作者。 

平常工程中或者參加過 Kaggle 比賽的都知道遷移學習對模型效果提升、訓練效率提升的好處。這篇文章認為人類可以很快地處理大量不同的圖像進行不同的任務分析，所以模型也能夠經過簡單的調整適應不同的場景。

本文提出了一種適合多領域、多任務、可擴展的學習模式，儘管當前階段多領域學習有很大突破，但效果相比於專有模型略有差距。

作者提出一種參數獲取模式——Parametric Family（圖a），這種模式改變了以往的階段性的參數提取（圖b），需適應的參數更少，並且在參數較少的基礎上使用了參數壓縮方法依然可以保證模型的效果。

模型介紹

論文中提出了兩種殘差適配器，順序殘差適應器（Series Residual Adapters）和平行殘差適應器（Parallel Residual Adapters）。兩種模型的結構如下所示。

本文作者在 2017 年的 NIPS 上發表了一篇關於殘差適應器（Residual Adapters）的論文 Learning multiple visual domains with residual adapters [1]，這篇論文中將殘差適應器定義為：

公式中 α 為適應參數，這樣做法的好處是當 α 為 0 時，f 就恢復到曾經的狀態，這樣就保證了記憶性。當參數 α 進行強正則項時， α 會接近於 0（L1 正則和 L2 正則都會令參數接近於 0）。

這裡作者們利用一種操作將 C×D 維的矩陣 A 進行重塑（Reshape）。

1. 順序殘差適應器（Series Residual Adapters）在前殘差適應器（Residual Adapters）進行了改進。

公式中 f 是標準的 filter，新的 filter g 可以看作是用 f 做為標準的低質的矩陣組合。

這樣適應器相當於對卷積層 filter 加入了「保險」機制。並且適應參數 α 維度較小是 filter f 的 1/L^2 大小。

2. 平行殘差適應器（Parallel Residual Adapters）和它的名字一樣適應參數 α 採用一種平行的方式。

新的 filter g 可以按照如下公式定義：

論文選擇 RestNet [2] 作為兩種殘差適應器（Residual Adapters）的應用網絡結構。論文中利用 SVD 矩陣分解將適應參數進行降維處理使得存儲的參數變得更加低維。


模型實驗效果

模型通過不同數據集，取 RestNet 的不同階段應用殘差適應器（Residual Adapters），並同常見的 Finetuning 以及兩種不同的多領域學習模型 [1,3] 進行比較，得出實驗結果如下所示。

平行殘差適應器（Parallel Residual Adapters）進行參數壓縮後的平均結果最佳，相較於 Finetuning 以及兩種不同的多領域學習模型 [1,3] 都有很好的提升。 

論文還驗證了不同規模的數據集的效果和 fine-tuning 進行比較，得出小規模數據和中等規模數據上兩種殘差適應器的效果都比較好，特別是小規模數據集中表現總是優於 fine-tuning，但是在大量數據集中 fine-tuning 效果就要領先了。

論文評價

這篇論文的模型結構比較有特點，改變了以往的階段性參數獲取模式，採用壓縮方式適應性獲取，對預訓練的模型參數有記憶性，保留先前的領域知識。

本文在效果上也相對不錯，開拓了新的遷移學習模型結構，是多領域學習的一大突破，同時也是遷移學習領域的一個較為突出的進展。

參考文獻

[1] S. Rebuffi, H. Bilen, and A. Vedaldi. Learning multiple visual domains with residual adapters. In Proc. NIPS, 2017. 

[2] K. He, X. Zhang, S. Ren, and J. Sun. Identity mappings in deep residual networks. In Proc. ECCV, pages 630–645. Springer, 2016. 

[3] A. Rosenfeld and J. K. Tsotsos. Incremental learning through deep adaptation. arXiv preprint arXiv:1705.04228, 2017.

本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智慧、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！

點擊標題查看更多論文解讀： 

#投 稿 通 道#


投稿須知 | 讓你的文字被很多很多很多人看到


  我是彩蛋 


解鎖新功能：熱門職位推薦！

PaperWeekly小程序升級啦

今日arXiv√猜你喜歡√熱門職位√

找全職找實習都不是問題

 

 解鎖方式 

1. 識別下方二維碼打開小程序

2. 用PaperWeekly社區帳號進行登陸

3. 登陸後即可解鎖所有功能

 職位發布 

請添加小助手微信（pwbot02）進行諮詢

 

長按識別二維碼，使用小程序

*點擊閱讀原文即可註冊

           

           

相關焦點

  • CVPR 2017 全部及部分論文解讀集錦
    3.CVPR2017論文：使用VTransE網絡進行視覺關係檢測（http://cvmart.net/community/article/detail/61)知識表示學習的思想（TransE）已經被成功應用於視覺關係提取（Visual Relation Extraction），提交 CVPR 2017 的新論文《Visual Translation Embedding
  • 對話頂會、解讀最佳:CVPR 2020最佳論文對CV領域的啟發
    對話頂會，探索最新學術進展，本次分享AI TIME特地邀請到CVPR 2017最佳論文得主、世界人工智慧大會 Super AI Leader（SAIL）先鋒獎得主、來自清華大學自動化系的黃高老師為大家解讀本屆CVPR「最佳論文」和「最佳學生論文」背後蘊含的亮點，深入剖析其核心思路、創新點，談談它們對CV領域的啟發。
  • 歷年 CVPR 最佳論文盤點(2000 年——2018 年)
    雷鋒網 AI 科技評論按：作為計算機視覺領域的頂級學術會議，CVPR 2019 近期公布了最終論文接收結果，引來學界密切關注。據悉，CVPR 2019 今年一共獲得 5165 篇有效提交論文，最終抉出了 1300 篇接收論文，接收率達到 25.2% 。
  • 圖鴨科技 CVPR 2018 圖像壓縮挑戰賽奪冠,獲獎論文全解讀
    CVPR 作為計算機視覺領域的全球頂級會議，其一直關注計算機視覺領域的發展，為了促進計算機視覺領域圖片壓縮的發展，Google 聯合 twitter、Netflix 等聯合贊助了機器學習圖像壓縮挑戰賽（CLIC）。
  • CVPR 2018獎項出爐:兩篇最佳論文,何愷明獲PAMI 青年研究員獎
    機器之心報導參與：機器之心編輯部昨日，一年一度的計算機視覺頂級會議 CVPR 2018 在美國鹽湖城拉開帷幕，排起長龍的註冊隊伍讓現場參會的機器之心分析師看到了這屆 CVPR 的火熱。直覺上對這些問題的正面回答暗示著在各種視覺任務之間存在一種結構。了解這種結構具有巨大的價值；它是遷移學習背後的概念，且可為識別任務間的冗餘提供了一種有理可依的方法，比如，為了在相關任務間無縫地重複使用監督或在一個系統中解決多個任務而不增加複雜度。
  • 歷年 CVPR 最佳論文盤點
    AI 科技評論按：作為計算機視覺領域的頂級學術會議，CVPR 2019 近期公布了最終論文接收結果，引來學界密切關注。據悉，CVPR 2019 今年一共獲得 5165 篇有效提交論文，最終抉出了 1300 篇接收論文，接收率達到 25.2% 。
  • 從CVPR2019看計算機視覺的最新趨勢
    CVPR帶來了計算機視覺領域的頂尖人才，每年都有許多令人印象深刻的論文。我從CVPR中選取已被錄用的論文進行分析，了解研究的主要領域和論文題目中的常見關鍵詞。這可以提供研究進展的一個跡象。最流行的研究領域是檢測、分割、3D和對抗性訓練。這也表明了對無監督學習方法的研究越來越多。最後，我還繪製了單詞雲圖。
  • 如何評價CVPR 2021的論文接收結果?
    論文Idea也非常有新意，得到了所有reviewer的一致認可，自認為開劈了所在領域中之前所有人都去迴避的問題。論文的主要欠缺在性能沒有刷的很高，但是投稿結束後也超過了競爭對手模型，rebuttal中因為政策並未提及新結果。
  • 【CVPR2018最佳論文重磅出爐】斯坦福伯克利折桂,何愷明獲TPAMI年輕研究員獎
    最佳論文最佳論文題目：Taskonomy: Disentangling Task Transfer Learning論文地址：https://arxiv.org/pdf/1804.08328.pdf作者來自史丹福大學和加州大學伯克利分校，包括計算機視覺領域的著名教授Jitendra
  • CVPR 2018 最牛逼的十篇論文！
    2018年計算機視覺和模式識別會議（CVPR）上周在美國鹽湖城舉行。該會議是計算機視覺領域的世界頂級會議。今年，CVPR 收到3300篇主要會議論文並且最終被接收的論文多達 979 篇。超過6,500人參加了會議，這可以說是史詩級的大規模！
  • CVPR 2018 最酷的十篇論文
    CVPR2018大會會場每年，CVPR都會帶來優秀的人才以及他們很棒的研究; 並且總能看到和學習到一些新的東西。當然，每年都有一些論文發表新的突破性成果，並為該領域帶來一些很有用的新知識。這些論文經常在計算機視覺的許多子領域帶來最先進的前沿技術。最近，喜聞樂見的是那些開箱即用的創意論文！隨著深度學習在計算機視覺領域的不斷應用，我們仍然在探索各種可能性。許多論文將展示深度網絡在計算機視覺中的全新應用。 它們可能不是根本上的突破性作品，但它們很有趣，並且可以為該領域提供創造性和啟發性的視角，從它們呈現的新角度經常可以引發新的想法。
  • 【收藏】2018年不容錯過的20大人工智慧/機器學習/計算機視覺等頂會時間表
    本文介紹了2018年值得關注的20個頂會，包括人工智慧、機器學習、計算機視覺、自然語言處理、體系結構等領域。目錄人工智慧/機器學習計算機視覺/模式識別自然語言處理/計算語言學體系結構數據挖掘/信息檢索計算機圖形學1.
  • CVPR 2017國內外亮點論文匯集:史上最盛大會議,華人佔據半壁江山
    從這次公布的數據來看，只有少數學術會議的影響因子超過了熱門的預印版論文發布平臺 arXiv。 其中可以看到，在計算機視覺與模式識別領域，CVPR 是影響力最大的論文發布平臺。不僅在學術領域，隨著深度學習在圖像處理領域的應用熱潮，越來越多的業界研究機構也在將目光投向 CVPR，從數量眾多的大會贊助商中，我們就可以感受到這一活動的關注度之高。在漫長的等待之後，本屆大會已於 2017 於 7 月 21 日在美國夏威夷開幕，並將舉行至 7 月 26 日。
  • CVPR 2019 論文解讀:人大 ML 研究組提出新的視頻測謊算法 | CVPR...
    隨著會議臨近，無論是學術界還是業界都迎來了一波 CVPR 2019 入選論文解讀熱潮。今年的 CVPR 2019，盧志武博士領導的中國人民大學信息學院機器學習（ML）組共有 3 篇論文被錄用，論文主題涵蓋視頻識別、小樣本學習、視覺對話等熱點問題，本文中要解讀的論文便是其中關於視頻識別的一篇：《面向視頻測謊的聚焦人臉的跨幀雙流網絡》「Face-Focused Cross-Stream Network for Deception Detection
  • CVPR2019無人駕駛相關論文
    同時提供每月大咖直播分享、真實項目需求對接、乾貨資訊匯總，行業技術交流。點擊文末「閱讀原文」立刻申請入群~CVPR2019 accepted list ID已經放出，極市已將目前收集到的公開論文總結到github上（目前已收集210篇），後續會不斷更新，歡迎關注，也歡迎大家提交自己的論文：https://github.com/extreme-assistant/cvpr2019
  • CVPR 2018摘要:第四部分
    -21ac05f935b9 領域適應的最新進展（CVPR 回顧 -4） 我們已經分三期關於CVPR 2018（計算機視覺和模式識別）會議：第一部分專門討論計算機視覺的GAN，第二部分涉及關於識別人類（姿勢估計和跟蹤）的論文，第三部分涉及合成數據。
  • CVPR 2018 | 新型語義分割模型:動態結構化語義傳播網絡DSSPN
    例如，長頸鹿、斑馬和馬同屬於有蹄類動物，這個大類描繪了它們的共同視覺特徵，使得它們很容易與貓/狗區分開來。此外，由於專業水平和應用目的不同，語義分割的目標概念集本質上可以開放化和高度結構化，以適應特定的任務/數據集。然而，一些技術還通過在最終預測分數上採用複雜圖形推斷 [7]、層級損失 [31] 或詞嵌入先驗 [39] 來探索視覺識別的語義層次。
  • CVPR論文解讀:非常高效的物體檢測Mimic方法
    背景Mimic作為一種模型小型化的方法，Hinton在 Distilling the Knowledge in a Neural Network  一文中已經詳細定義並介紹過，但近些年來大部分有關於mimic的論文主要都是局限在較為簡單的classification 的任務中，而對於較為複雜一些的
  • 阿里 CVPR 論文用全新幾何角度構建 GAN 模型
    雷鋒網 AI 科技評論按：本論文由阿里巴巴達摩院機器智能技術實驗室華先勝團隊與 UCF 齊國君教授領導的 UCF MAPLE 實驗室合作完成，被 CVPR 2018 收錄為 poster 論文。從學術開發和企業活動上看，阿里巴巴達摩院機器智能技術實驗室在雷鋒網學術頻道 AI 科技評論旗下資料庫項目「AI 影響因子」中有不錯的表現。實驗室分別在 SQuAD 和 KITTI 比賽中獲得第一名，近期在 AAAI 2018 上，達摩院機器智能技術實驗室共有 4 篇論文被錄用，在CVPR 2018上，也有多篇論文被錄用，成績斐然。
  • 計算機視覺「奧斯卡」CVPR 2020公布收錄論文
    近日，計算機視覺領域「奧斯卡」CVPR 2020官方公布論文收錄結果，伴隨投稿數量激增，接收率開始經歷了一個持續下降的過程。今年，在6656篇有效投稿中，共有1470篇論文被接收，接收率為22%左右，相較去年25%的入選率，同比下降3%。