東南大學提出條件自監督小樣本學習方法,顯著提升小樣本分類準確率

2022-01-01 PaperWeekly

©作者 | 安悅瑄

單位 | 東南大學PALM實驗室

研究方向 | 小樣本學習、自監督學習

如何從有限的樣本中學習可遷移的特徵表示是小樣本學習（Few-Shot Learning）的一個關鍵挑戰。最近，自監督學習作為輔助任務被加入到小樣本主任務的學習中，以提高小樣本學習的表徵能力。然而，傳統的自監督學習方法往往依賴於大量的訓練樣本。在小樣本場景中，由於缺乏足夠多的樣本，這些自監督方法可能學習到一種有偏的表示，從而導致對主任務的錯誤指導，引起小樣本學習的性能下降。 

本文提出條件自監督學習（Conditional Self-Supervised Learning，CSS）方法，利用先驗知識指導自監督任務的表徵學習。具體而言，CSS 利用有標記數據中固有的監督信息，改進自監督學習特徵流形，從而減少表示偏差，以挖掘更有效的語義信息。另外，CSS 分別通過監督學習和改進的自監督學習挖掘出更多有意義的信息，並將這些信息整合成一個統一的分布，進一步豐富和拓展了原有的表示方法。大量實驗表明，與現有的小樣本學習方法相比，本文提出的方法在不進行任何微調的情況下，能夠顯著提高小樣本分類的準確率。

Conditional Self-Supervised Learning for Few-Shot Classification

收錄會議：

論文連結：

https://www.ijcai.org/proceedings/2021/295

代碼連結：

https://github.com/anyuexuan/CSS與以往的深度學習方法需要大量人工標註數據不同，小樣本學習僅需少量樣本即可識別新的類別。最近的視覺小樣本學習方法可以通過訓練基類上的一組任務來學習可遷移的特徵表示，並使用少量的樣本將這種表示遷移到新（未見）類中 [1]。然而，由於數據的稀缺性，得到的監督信息主要集中在基類樣本的差異上，而忽略了對新類有價值的語義信息。因此，對於小樣本分類問題，需要從有限的樣本中提取更多的語義信息以獲取更好的特徵表示。自監督學習作為一種重要的學習範式，在不依賴標記的情況下，能夠探索出良好的視覺表徵 [2]。通常情況下，自監督學習通過對原始數據進行增強操作（如旋轉）來構造增強視圖，並構建可學習的任務來建立增強視圖和原始視圖的聯繫，從而從這些任務中學習自監督表示。另一種自監督方法使用對比損失，該損失使得來自相同數據的視圖的表示（「正對」）更接近，不同數據的視圖的表示（「負對」）更加分散。近年來，自監督學習被應用於小樣本分類中。這些基於自監督的小樣本學習方法以自監督任務為輔助任務，以原始的小樣本分類任務為主任務，共同學習同一個特徵表示 [3]。然而，自監督通常依賴於大量訓練樣本，不適合小樣本場景。而自監督學習任務在小樣本場景中的直接應用可能學習到一些不適當的「捷徑」（如邊緣的連續性），而不是關鍵的語義信息。因此，自監督學習可能存在偏差，導致對主任務的錯誤指導，引起性能下降。為了解決上述問題，我們提出了條件自監督學習（CSS），它可以更好地適應小樣本分類。CSS 分別從有監督的小樣本學習和自監督學習中學習兩種特徵表示。對於自監督部分，CSS 利用監督信息作為教師指導自監督學習。最後，將所有的信息整合到一個統一的分布中，進一步豐富了原有的表徵。因此，CSS 學習可以舉一反三，進一步提高小樣本的泛化性能。值得注意的是，我們的方法與半監督學習方法有本質的區別，不需要任何輔助的未標記數據。圖 1 所示，CSS 採用三階段訓練方式。首先，在預訓練階段，CSS 通過原有的有監督學習方法學習初始特徵提取器

在預訓練階段，使用原型網絡從小樣本分類任務學習特徵提取器

給定一個新樣本

自監督訓練網絡由自監督模塊和條件模塊組成。為了簡單和靈活，本文使用 SimSiam [4] 作為自監督任務，其他自監督方法同樣適用，其損失為

該階段提出融合蒸餾方法。對於樣本

然後 CSS 對圖矩陣進行標準化，以獲得鄰接矩陣：

和預訓練階段類似，對於查詢樣本

為了驗證方法的有效性，選取 CIFAR-FS、CUB-200、

▲ 表 1 在 CIFAR-FS 數據集上與 SOTA 的比較

▲ 表 2 在 CUB-200 數據集上與 SOTA 的比較

▲ 表 2 在
在所有情況下，元訓練完成後，CSS 的分類性能超過所有的 SOTA 算法，並取得了顯著的優勢。在 CIFAR-FS、CUB-200 和

SSL：原始的自監督學習

SL+SSL+FD：去除條件模塊

SL（S1）：只保留預訓練階段

CSS（S1+S2）：不執行元學習訓練階段

CSS（S1+S2+S3）：完整的CSS

▲ 圖3 不同設定在5-way 5-shot的對比結果

▲ 圖3 不同設定在5-way 1-shot的對比結果
實驗結果表明，條件模塊在自監督學習中起著至關重要的作用，有效的特徵融合方法可以進一步提高模型性能。在這項工作中，我們提出了條件自監督學習（CSS）的三階段訓練過程：預訓練階段、自監督的訓練階段和元訓練階段，每個訓練階段都有利於模型性能的提高。對於自監督訓練階段，CSS 利用預訓練階段學習到的監督信息來指導自監督學習，從而提高自監督學習在小樣本環境下的適應性。在元訓練階段，CSS 採用了融合蒸餾方法，將前兩個階段的信息整合成一個統一的分布，從而豐富和擴展了原有的特徵表示。充分的實驗體現了 CSS 相比於其他 SOTA 算法的優越性。

[1] Wei-Yu Chen, Yen-Cheng Liu, Zsolt Kira, Yu-Chiang Frank Wang, and Jia-Bin Huang. A closer look at few-shot classification. In ICLR, 2019.

[2] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. A simple framework for contrastive learning of visual representations. In ICML, volume 119, pages 1597–1607, 2020.

[3] Spyros Gidaris, Andrei Bursuc, Nikos Komodakis, Patrick Perez, and Matthieu Cord. Boosting few-shot visual learning with self-supervision. In ICCV, pages 8058–8067, 2019. 

[4] Xinlei Chen and Kaiming He. Exploring simple siamese representation learning. CVPR, pages 15750-15758, 2021.

[5] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In ICLR, 2017.


如何才能讓更多的優質內容以更短路逕到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。 

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝 稿件基本要求：

• 文章確係個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標註 

• 稿件建議以 markdown 格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

• PaperWeekly 尊重原作者署名權，並將為每篇被採納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬 投稿通道：

• 投稿郵箱：hr@paperweekly.site 

• 來稿請備註即時聯繫方式（微信），以便我們在稿件選用的第一時間聯繫作者

• 您也可以直接添加小編微信（pwbot02）快速投稿，備註：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

相關焦點

  • 500張訓練樣本攻破驗證碼?螞蟻金服提自監督表徵學習識別方法
    而一些基於深度學習的驗證碼識別算法在準確性上取得了顯著的提高，但這些方法的主要問題是需要大規模的帶有標籤的訓練樣本參與訓練，而這通常需要耗費大量的人工成本。因此，基於深度學習類方法主要需要解決的是訓練樣本量不足的問題。
  • 陳丹琦提出小樣本微調方法,比普通微調提升11%
    本文研究了一個更符合實際場景的小樣本學習問題：1）可以在普通硬體資源上訪問中等大小的語言模型（如RoBERTa）；2）可以通過少量樣本進行微調。其實，自BERT等預訓練語言模型誕生以來，本身就降低了對大規模標註數據量的需求；此外，獲得少量的標註樣本（比如每個類別16個樣本），對我們也是很容易的。
  • 有限樣本學習(一):半監督學習
    在監督學習任務中，如果我們僅有少量的帶標籤數據，通常我們會考慮以下四個方法：預訓練+微調：在一個非常大的非監督數據集上進行任務無關的模型訓練，比如：使用純文本訓練的預訓練語言模型，通過自監督學習對無標籤圖片訓練的預訓練視覺模型。
  • 基於PyTorch,集合17種方法,南京大學等提出小樣本算法庫LibFewShot
    、美國羅徹斯特大學開源了一個小樣本學習算法庫 LibFewShot。最近的一些研究表明，許多通用的技術或者技巧，如數據增強、預訓練、知識蒸餾和自監督可能會極大地提高小樣本學習方法的性能。此外，不同的算法可能由於使用不同的深度學習框架，不同的訓練方式，不同的嵌入網絡，甚至不同的輸入圖像大小，使得對這些算法進行公平對比變得困難，而且初學者也往往難以復現相關算法。
  • 不需要負樣本對的SOTA的自監督學習方法:BYOL
    >這些發現強調了在學習表徵時正樣本和負樣本對比的重要性，並幫助我們更基本地理解自監督學習是如何以及為什麼有效的。相比之下，在自監督學習中，在數據集中沒有正確的答案，因此我們學習一個函數，把輸入數據映射輸入到本身(比如：使用圖像的右半部分預測圖像的左半部分)。從語言到圖像和音頻，這種方法已經被證明是成功的。事實上，最近的語言模型，從word2vec到BERT和GPT-3，都是自監督方法的例子。
  • 自步對比學習: 充分挖掘無監督學習樣本
    這項工作在無監督的目標重識別任務上顯著地超越最先進技術高達16.7%；領域自適應的目標重識別任務中，在無監督的目標域上超越最先進技術高達5.0%，同時可以提升有監督的源域性能高達6.6%。實驗結果充分證明其廣泛的應用場景及有效性：可被應用於解決無監督學習任務，也可被應用於利用額外無監督數據提升有監督學習的任務。代碼和模型均已公開，方法也被收錄於OpenUnReID代碼庫。
  • 小樣本學習跨域(Cross-domain)問題總結
    ，其中Omniglot和MiniImagenet做為被用到最多的小樣本學習數據集，在5-way 5-shot的實驗設置上：Omniglot數據集上的sota結果早早的達到了99%+；MiniImagenet數據集上的sota結果更是從50%左右不斷刷新至現在的80%+，可謂是突飛猛進。
  • ICLR2021 | 顯著提升小模型性能,亞利桑那州立大學&微軟聯合提出SEED
    該文是亞利桑那州立大學&微軟聯合提出的一種自監督蒸餾表達學習方案，已被ICLR2021接收為Poster。針對現有對比自監督學習方案在小模型上表現性能差的問題，提出將知識蒸餾的思想嵌入到自監督學習框架得到了本文的自監督蒸餾學習。相比常規自監督學習方案，所提方案可以顯著的提升輕量型模型的性能，同時具有極好的泛化性能。
  • 騰訊天衍實驗室鄭冶楓:醫學影像AI為什麼需要小樣本學習和域自適應...
    當然，除了Med3D，鄭冶楓博士團隊還提出了基於魔方變換的自監督學習，在預訓練階段不需要人工標定，從而減少大量的時間成本。另外一方面，為了解決域偏移的問題，他們還提出了新型無監督域自適應(UDA)的方法，來緩和域偏移所導致的性能下降。該方法僅僅需要源域的數據、標註以及目標域的部分圖像，無需目標域的標註，即可實現兩個領域的自適應。
  • 小樣本學習(Few-shot Learning)綜述
    ，藉助最近鄰的思想完成分類；Optimization Based 方法認為普通的梯度下降方法難以在 few-shot 場景下擬合，因此通過調整優化方法來完成小樣本分類的任務。對於建模過程的創新，文章提出了基於 memory 和 attention 的 matching nets，使得可以快速學習。對於訓練過程的創新，文章基於傳統機器學習的一個原則，即訓練和測試是要在同樣條件下進行的，提出在訓練的時候不斷地讓網絡只看每一類的少量樣本，這將和測試的過程是一致的。
  • 論文集錦 | 9篇論文聚焦小樣本學習
    深度學習技術所帶來的算法性能提升是在大量訓練樣本提供的數據支撐下獲取的。而數據本身具有收集成本昂貴，甚至根本無法採集的弊端， 在標註數據比較少的情況下，深度學習的應用和效果都受到了限制，小樣本學習的實踐價值不言而喻。圖圖今日推薦《中國圖象圖形學報》近兩年發表的「小樣本學習」相關的9篇論文。
  • 今日Paper|小樣本學習;視覺情感分類;神經架構搜索;自然圖像摳像等
    以下是今日的精選內容——目錄基於深度學習的步行者慣性導航：方法、數據集和設備推理用於視覺情感分類的多源域自適應用多尺度自監督表徵提高小樣本學習的表現為了解決這個問題，這篇論文提出了一個新的名為多源情感生成對抗網絡的多源域自適應方法，用於處理視覺情感分類。為了處理來自多個源域的數據，新模型通過端到端的循環一致對抗學習，學習如何找到一個統一的情感潛在空間，在該空間來自源域和目標域的數據共享相似的分布。在四個基準數據集上的實驗證明，在情感分類任務上，這篇論文提出的新模型顯著優於目前的最佳模型。
  • 小樣本也能增量學習?CVPR 2020 Oral最新乾貨:小樣本類增量學習
    FSCIL要求CNN模型從少量的帶標籤樣本中增量式地學習新的類別，而不會忘記先前學習的樣本。傳統的深度類增量學習研究通常使用知識蒸餾（knowledge distillation）方法。它們通常存儲一部分舊類別的樣本，通過蒸餾損失函數來維持分類模型在舊類別樣本上的輸出。儘管在某種程度上有效，這種基於蒸餾損失的方法也存在一些問題。
  • 科普 | 自監督視覺特徵學習
    無監督學習希望能夠利用這些無標註數據來學習有用的特徵表示，聚類就是一種經典的無監督學習方法。然而，傳統的無監督方法往往性能有限，很難在大規模數據上學習到具有很強泛化性的特徵表示。在這樣的背景下，自監督學習逐漸走上歷史的舞臺。自監督任務是自監督學習的核心部分，其定義了由無標註數據中產生自監督信號的方法，以及自監督學習的優化目標。
  • 自監督、半監督和有監督全涵蓋,四篇論文遍歷對比學習的研究進展
    其中，SimCLRv2 是在 SimCLR 的基礎上構建的一個半監督學習框架，作者給出的分析和實驗顯示，半監督學習（SimCLRv2）極大提升了自監督對比學習（SimCLR）的效果，在文章中的實驗條件下，SimCLRv2 僅使用 10% 的標記數據就獲得了超過監督學習的效果。
  • 谷歌大腦聯手Hinton提出SimCLR新框架,瘋狂提升自監督學習性能 | 北郵畢業生一作
    然而，當前用於圖像數據的自監督技術非常複雜，需要對體系結構或訓練過程進行重大修改。在「視覺表示對比學習的簡單框架」中，Google概述了一種方法，該方法不僅可以簡化而且可以改進以前在圖像上進行自監督表示學習的方法。
  • 推出 Meta-Dataset:為小樣本學習而構建的數據集
    不可否認的是，研究人員近期開展了許多工作，想要解決小樣本分類問題，但由於先前的基準無法可靠評估各種所提出模型的優缺點，拖慢了研究進度。在《Meta-Dataset：為小樣本學習而構建的數據集》(Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples)（已在 ICLR 2020 上發表）一文中，我們提出了一種大型多元化基準，用於在現實且具有挑戰性的小樣本情境中衡量各種圖像分類模型。
  • 自監督學習在計算機視覺中的應用
    原始圖像根據圖像內容分為正正、正負樣本對（Pair)，所有圖像經過相同Encoder得到編碼特徵，希望是這些特徵投影到同一度量單位空間，正正樣本Pair的投影距離近，正負樣本投影距離遠。由於對比學習效果好，pretext task容易設計，這幾年成為自監督最重要的研究方向之一，本文就核心面向對比自監督學習。
  • 談談實現小樣本學習的兩條路徑
    所謂小樣本學習，就是使用遠小於深度學習所需要的數據樣本量， 達到接近甚至超越大數據深度學習的效果，也即是小樣本學習的本質就是學習的效果與數據比值的提升， 或者說單位數據產生的模型收益增大了 。也就是說， 實現小樣本學習的方法， 主要是 1， 如何讓給定模型具備相關任務的先驗知識， 2， 如何讓每個數據產生的學習效果更加一步到位。關於1，其實這也是人類可以小樣本學習的關鍵，所以我們就從人的認知力說，首先談談概念的學習和使用有關1的方法， 事實上很多， 我覺得如果讓對它們進行分類，就要對先驗知識的理解和表示進行分層。
  • 最新小樣本學習Few-Shot Learning的四大Model方法
    對類n，其原型由如下公式計算得出：這種方法可以使得結果更穩定且減少計算損失。使用原型的思想被引入到Matching Nets中[141]. ProtoNet的半監督變體在學習過程中通過soft-assignment來分配未標記的樣本以增強Dtrain ［108］。 (3)Other methods.