華人博士提出原型對比學習,非監督學習效果遠超MoCo和SimCLR

2021-02-15 新智元

來源：einstein.ai

編輯：白峰

【新智元導讀】繼MoCo和SimCLR之後非監督學習的又一裡程碑！Salesforce的華人科學家（Junnan Li）介紹了一種新的非監督式神經網絡學習方法，這種方法能夠從數百萬個未標記的圖像中訓練深層神經網絡，讓我們離機器智能又進了一步。

本文提出的原型對比學習(PCL) ，統一了非監督式學習的兩個學派: 聚類學習和對比學習。PCL 推動了機器學習和人工智慧的聖杯--非監督式學習技術的進步，並向無需人類指導的機器智能邁出了重要的一步。

深層神經網絡在許多方面取得了前所未有的進展，比如圖像分類和目標檢測。大部分的進步都是由監督式學習 / 標籤模式驅動的，得到這麼好的性能很大程度上依賴於大量帶有人工注釋的標籤(例如 ImageNet)。

然而，手工標註的成本是十分昂貴的，很難擴大規模。另一方面，網際網路上存在著幾乎無限量的未標記圖片。非監督式學習是唯一適合開發未標記數據這個大金礦的方法。

首先，讓我們來談談兩個流行的非監督式學習算法學派: 聚類和對比學習。

聚類:機器學習中最常見的非監督式學習任務之一。

它是將數據集劃分為若干個組的過程，聚類算法將相似的數據點組合在一起，而不同的數據點組合在不同的組中。

在所有的聚類方法中，K 均值是最簡單和最流行的方法之一。它是一個迭代算法，目的是將數據集劃分為 k 組(聚類) ，其中每個數據點只屬於一類，聚類中每個數據點和聚類質心(屬於該聚類的所有數據點的算術平均值)平方距離之和最小。

對比學習: 非監督式學習的一個新興學派

隨著深層神經網絡的出現，對比非監督式學習已經成為一個流行的方法學派，它訓練深層神經網絡而不用標籤。經過訓練的網絡能夠從圖像中提取有意義的特徵(表示) ，這將提高其他下遊任務的性能。

對比非監督式學習主要是從數據本身學習有用的表徵，所以也稱為對比自我監督學習。

許多最先進的對比學習方法(例如 MoCo 和 SimCLR )都是基於實例辨別的任務。

實例鑑別訓練一個網絡來分類兩個圖像是否來自同一個源圖像，如圖 1(a)所示。該網絡(例如 CNN 編碼器)將每個圖像裁剪投影到一個嵌入中，並將同源的嵌入彼此拉近，同時將不同源的嵌入分開。通過解決實例識別任務，期望網絡學習到一個有用的圖像表示。

實例鑑別在無監督表徵學習中表現出了良好的性能。然而，它有兩個局限性。

首先，利用低層線索就可以區分不同的實例，因此網絡不一定學習到有用的語義知識。

其次，如圖 1(b)所示，來自同一個類(cat)的圖像被視為不同的實例，它們的嵌入被推開。這是不可取的，因為具有相似語義的圖像應該具有相似的嵌入。為了解決上述缺點，我們提出了一種無監督表徵學習的新方法: 原型對比學習(PCL)。

原型對比學習是無監督表徵學習的一種新方法，它綜合了對比學習和聚類學習的優點。

在 PCL 中，我們引入了一個「原型」作為由相似圖像形成的簇的質心。我們將每個圖像分配給不同粒度的多個原型。訓練的目標是使每個圖像嵌入更接近其相關原型，這是通過最小化一個 ProtoNCE 損失函數來實現的。

在高層次上，PCL 的目標是找到給定觀測圖像的最大似然估計(MLE)模型參數：

我們引入原型 c 作為與觀測數據相關的潛在變量，提出了一種期望最大化算法來求解最大似然估計。在 E-step 中，我們通過執行 K 平均算法估計原型的概率。在 m 步中，我們通過訓練模型來最大化似然估計，從而最小化一個 ProtoNCE 損失:

在期望最大化框架下，我們可以證明以前的對比學習方法是 PCL 的一個特例。
通常情況下我們是通過將預先訓練的模型轉移到下遊任務來評估非監督學習的效果，類似於 ImageNet 預先訓練的模型已經廣泛應用於許多計算機視覺任務。一個好的預訓練模型應該在有限的訓練數據和有限微調的新任務上產生良好的表現。
我們在三個任務上對 PCL 進行評估，在所有情況下，它都達到了最先進的性能。
首先，將未標記的 ImageNet 數據集上訓練 ResNet 模型的任務轉化為兩個: VOC07 數據集上的目標識別和 Places205 數據集上的場景分類。對於每個任務，我們只得到很少(k)標記的樣本。我們使用無監督學習訓練一個線性支持向量機。如下表所示，PCL 在 VOC 上 取得 10% 左右的性能改善。接下來，我們評估 PCL 在半監督圖像分類中的作用。在這個任務中，我們在未標記的 ImageNet 圖像預先訓練 ResNet 模型，並使用 1% 或 10% 帶有標籤的 ImageNet 圖像微調分類模型。PCL 同樣優於其他方法，將 Top-5 準確率提高了 18% 。我們進一步評估了目標檢測學習表徵的泛化能力。我們在 VOC07 或 VOC07 + 12 上訓練了一個更快的 R-CNN 模型，並在 VOC07 的測試集上進行了評估。如下所示，PCL 實質上縮小了自監督方法和監督方法之間的差距，他們之間只有 1% 的差異。為了更好地理解 PCL 學習到的表徵，我們繪製了來自 ImageNet 前 40 類圖像的 t-SNE 可視化圖像。我們可以看到，PCL 學習的表示方法可以將來自同一類的圖像聚在一起。結果已經證明 PCL 有巨大的潛力，在深層神經網絡中使用純粹的非標記圖像就可以訓練。我們希望 PCL 可以擴展到視頻，文本，語音等領域，讓 PCL 激勵更多有前途的非監督式學習領域的研究，推動未來人工智慧的發展，使人工標註不再是模型訓練的必要組成部分。

作者簡介：Junnan Li，Salesforce亞洲研究院科學家，香港大學電子工程學學士，新加坡國立大學計算機博士，主要研究方向計算機視覺和深度學習、非監督式學習，弱監督學習，遷移學習和社交場景理解。

https://blog.einstein.ai/prototypical-contrastive-learning-pushing-the-frontiers-of-unsupervised-learning/https://sites.google.com/site/junnanlics/

相關焦點

  • 盤點近期大熱對比學習模型:MoCo/SimCLR/BYOL/SimSiam
    在表示學習方面，如果直接對語義進行監督學習，雖然表現很好，但是它需要很多的樣本並且往往是需要對特定的任務進行設計，很難具有遷移性。所以難怪各位大佬們都紛紛為自監督學習站臺，自監督是未來！自監督學習有大類方法，一個是生成方法一個對比方法，如上圖。
  • 自監督、半監督和有監督全涵蓋,四篇論文遍歷對比學習的研究進展
    機器之心分析師網絡作者：仵冀穎編輯：Joni本文通過四篇相關論文對自監督學習中的對比學習（Contrastive Learning）進行了深入的探討。自監督學習意思是使用非人工標記數據進行學習。在機器學習中，比較著名的自監督方法就是自然語言處理中的word2vec。
  • 自步對比學習: 充分挖掘無監督學習樣本
    以下是我們所提出自步對比學習（Self-paced Contrastive Learning）框架，包括一個圖像特徵編碼器（Encoder）和一個混合記憶模型（Hybrid Memory）。核心是混合記憶模型在動態變化的類別下所提供的連續有效的監督，以統一對比損失函數（Unified Contrastive Loss）的形式監督網絡更新，實現起來非常容易，且即插即用。下文將具體介紹。
  • 對比自監督學習浪潮迅猛來襲,你準備好了嗎?
    ，科研人員在基於對比學習的自監督方法方面進行了大量研究。本文是 PyTorch Lightning 創始人 William Falcon 的對比學習綜述，對自監督學習、對比學習等基礎概念進行了簡要的回顧，介紹了 CPC、AMDIM、BYOL、SimCLR、Swav等最近較為著名的對比學習方法，並提出了一種名為 YADIM 的新型對比學習算法。
  • 谷歌大腦聯手Hinton提出SimCLR新框架,瘋狂提升自監督學習性能 | 北郵畢業生一作
    【新智元導讀】Hinton團隊新作SimCLR似乎打開了自監督學習的大門，自監督學習的效果到底如何？最近Google發表了一篇博客，介紹了他們使用SimCLR的經驗，通過圖像擴增，模型擴展等手段提高了自監督和半監督模型的訓練效果。「新智元急聘主筆、高級主任編輯，添加HR微信（Dr-wly）或掃描文末二維碼了解詳情。」
  • 近期必讀的六篇 ICML 2020【對比學習】相關論文
    我們簡化了最近提出的對比自監督學習算法，並且不需要專門的體系結構或存儲庫。為了理解什麼使對比預測任務能夠學習有用的表示，我們系統地研究了我們框架的主要組成部分。我們表明：(1)數據增強部分在定義有效的預測任務中起著關鍵作用；(2)在表示和對比損失之間引入可學習的非線性變換大大提高了學習表示的質量；(3)與監督學習相比，對比學習受益於更大的batch和更多的訓練。
  • 監督學習、非監督學習和強化學習
    learning)、非監督學習(Unsupervised learning)與強化學習(Reinforcement learning)，不過在沒有任何概念的前提下，只看定義很難理解它們，我試著用教育孩子的方式來解釋，如果有什麼疏漏之處，歡迎大家指正。
  • 【源頭活水】淺談圖上的自監督學習——對比學習
    原始的監督學習、無監督學習，都被目所能及的一切所約束住，無法泛化，導致任務效果無法提升，正是因為自監督探索的是更本質的聯繫，而不是表像的結果，所以其效果通常出乎意料的好。自監督學習的前兩類方法，其核心想法其實都是想去探索事物的本質。
  • 劉鐵巖團隊ICML論文提出機器學習的新範式:對偶監督學習
    雷鋒網(公眾號：雷鋒網) AI 科技評論在本文中會先介紹和回顧對偶學習，然後再講解對偶監督學習的新特點。NIPS2016論文介紹的新範式——「對偶學習」在 AI 發展面臨的關於數據、時間、解釋性、協作性的眾多挑戰中，對偶學習的提出主要是為了解決依賴大量數據的問題。
  • Hinton構思下一代神經網絡:屬於無監督對比學習
    受人腦的啟發，他和其他研究者提出了「人工神經網絡」（artificial neural network），為機器學習研究奠定了基石。那麼，30 多年過去，神經網絡的未來發展方向在哪裡呢？Hinton 在此次報告中回顧了神經網絡的發展歷程，並表示下一代神經網絡將屬於無監督對比學習。
  • 監督學習、非監督學習、強化學習都是什麼?終於有人講明白了
    作者：小川雄太郎來源：大數據DT（ID：hzdashuju）01 術語整理本節概述機器學習及其三個分類（監督學習、非監督學習和強化學習）。之所以稱為機器學習，正是因為系統能根據訓練數據計算和確定系統運行所需的參數。強化學習是機器學習中的一種。機器學習可分為三大類：監督學習、非監督學習和強化學習。我們稍後會討論這三個分類，這裡只需要認識到強化學習是機器學習的一部分即可。接下來是深度學習。深度學習是實現機器學習的算法之一。
  • 機器學習三兄弟概念大揭秘:監督學習、非監督學習、強化學習
    當我們在探究人工智慧和機器學習背後的概念和算法時會接觸到一系列與這一領域相關的專業術語和核心概念。理解這些術語和概念有助於我們更好的把握這裡領域的發展，並理解數據科學家和AI研究人員們是如何引領時代發展的。本文將幫助你更好的理解監督學習、非監督學習和強化學習的定義的內涵，並從更廣闊的視角闡述它們與機器學習之間的聯繫。
  • 海康威視提出:無監督圖像分類的深度表徵學習
    這裡面提到對這種做法最大的質疑點就是訓練過程中很容易陷入局部最優點並且很難學習到有用的特徵，文章提出解決這個問題的關鍵就是數據增強，在模型生成label的時候和訓練的時候都需要加入數據增強，並且用到的是不同的增強方法。
  • 73歲Hinton老爺子構思下一代神經網絡:屬於無監督對比學習
    受人腦的啟發，他和其他研究者提出了「人工神經網絡」（artificial neural network），為機器學習研究奠定了基石。那麼，30 多年過去，神經網絡的未來發展方向在哪裡呢？Hinton 在此次報告中回顧了神經網絡的發展歷程，並表示下一代神經網絡將屬於無監督對比學習。
  • SIGIR2020|圖靈獎得主Hinton:無監督對比學習將是神經網絡的未來
    人工神經網絡一直懸而未決的問題是如何像大腦一樣有效地進行無監督學習。 當前有兩種主要的無監督學習方法。 第一種方法，以BERT和變分自編碼為代表，使用深度神經網絡來重建其輸入。無監督對比學習才是神經網絡的未來人類大腦有10^14個神經元連接，而人的一生只有10^9秒，因此人類僅靠監督學習是無法完成所有神經元訓練的，我們的深度學習模型也是如此，只用監督學習無法取得更新的進展，要將無監督學習融入進來。
  • 可微圖學習&弱監督,中山大學提出新型行人重識別方法和史上最大...
    在本文中，中山大學研究者提出的弱監督行人重識別方法恰恰克服了這兩方面的障礙，並發布了一個大型行人重識別數據集。近期，中山大學發布了一種基於可微圖學習的弱監督行人重識別（person re-ID）方法和一個大型數據集。該方法結合可微圖學習和弱監督學習方法，為行人重識別深度神經網絡加入自動生成訓練標籤的模塊並與其一體訓練。
  • 港中文MMLab | 由簡入難,即插即用:自步對比學習
    以下是該文所提出自步對比學習（Self-paced Contrastive Learning）框架，包括一個圖像特徵編碼器（Encoder）和一個混合記憶模型（Hybrid Memory）。核心是混合記憶模型在動態變化的類別下所提供的連續有效的監督，以統一對比損失函數（Unified Contrastive Loss）的形式監督網絡更新，實現起來非常容易，且即插即用。
  • 自監督黑馬SimCLRv2來了!提出蒸餾新思路,可遷移至小模型,性能精度超越有監督
    Abstract一種從少量帶標籤數據+大量無標籤數據中進行學習的方案是：現在無標籤數據集上採用無監督學習方案進行預訓練，然後採用監督學習方式在少量帶標籤數據上進行微調。儘管方案中的無標籤數據上的無監督學習是一種任務不可知方式(不同於其他CV中半監督學習)，但是令人驚訝的是這種半監督學習的放在ImageNet上極為有效。
  • 超深度學習SDL技術問答by顧澤蒼博士and李靜林博士郭淳學秘書長(5k字PDF發「SDL技術問答」下載)
    5月17日李靜林主任根據顧博士介紹和自己閱讀網上介紹的超深度學習資料，對超深度學習提出4個想法和困惑。5月18日顧博士對李主任提出的有關超深度學習的想法和困惑一一給以解答。我感到李靜林主任對超深度學習SDL提出的想法和困惑很專業和有水平。
  • 吳恩達《Machine Learning》精煉筆記 1:監督學習與非監督學習
    課程中沒有複雜的公式推導和理論分析，讓機器學習初學者能夠快速對整個機器學習知識點有比較整體的認識，便於快速入門。今天帶來第一周課程的筆記：監督式學習和非監督式學習。主要內容：監督學習和無監督學習單變量線性回歸問題代價函數梯度下降算法1-1.