何愷明團隊:stop gradient是孿生網絡對比學習成功的關鍵

孿生網絡已成為無監督表達學習領域的通用架構，現有方法通過最大化同一圖像的兩者增廣的相似性使其避免「崩潰解(collapsing solutions)」問題。在這篇研究中，作者提出一種驚人的實證結果：Simple Siamese(SimSiam)網絡甚至可以在無（(1) negative sample pairs；(2)large batch；(3)momentum encoders）的情形下學習有意義的特徵表達。

作者通過實驗表明：對於損失與結構而言，「崩潰解」確實存在，但是「stop-gradient」操作對於避免「崩潰解」有非常重要的作用。作者提出了一種新穎的「stop-gradient」思想並通過實驗對其進行了驗證，該文所提SimSiam在ImageNet及下遊任務上均取得了有競爭力的結果。作者期望：這個簡單的基準方案可以驅動更多研員重新思考無監督表達學習中的孿生結構。

上圖給出了該文所提SimSiam的示意圖，它以圖像

註：上述公式等價於

上述兩個損失作用於每一張圖像，總損失是所有圖像損失的平均，故最小的可能損失為-1.

需要的是：該文一個非常重要的概念是Stop-gradient操作(即上圖的右分支部分)。可以通過對上述公式進行簡單的修改得到本文的損失函數：

也就是說：在損失

SimSiam的實現偽代碼如下，有沒有一種「就這麼簡單」的感覺？？？

for x in loader:   x1, x2 = aug(x), aug(x)   z1, z2 = f(x1), f(x2)   p1, p2 = h(z1), h(z2)   L = D(p1, z2)/2 + D(p2, z1)/2   L.backward()   update(f, h)     def D(p, z):   z = z.detach()   p = normalize(p, dim=1)   z = normalize(z, dim=1) return -(p*z).sum(dim=1).mean()

我們再來看一下SimSiam的基礎配置:
Optimizer: SGD用於預訓練，學習率為
作者在ImageNet上線進行無監督預訓練，然後採用監督方式凍結骨幹網絡訓練分類頭，最後在驗證集上驗證其性能。
在該部分內容中，我們將實證研究SimSiam的表現，主要聚焦於哪些行為有助於避免「崩潰解」。
上圖給出了Stop-gradient添加與否的性能對比，注網絡架構與超參保持不變，區別僅在於是否添加Stop-gradient。
上圖left表示訓練損失，可以看到：在無Stop-gradient時，優化器迅速找了了一個退化解並達到了最小可能損失-1。為證實上述退化解是「崩潰」導致的，作者研究了輸出的
作為對比，如果輸出具有零均值各項同性高斯分布，可以看到其標準差為
上圖right給出了KNN分類器的驗證精度，KNN分類器可用於訓練過程的監控。在無Stop-gradient時，其分類精度僅有0.1%，而添加Stop-gradient後最終分類精度可達67.7%。
上述實驗表明：「崩潰」確實存在。但「崩潰」的存在不足以說明所提方法可以避免「崩潰」，儘管上述對比中僅有「stop-gradient」的區別。
上表給出了Predictor MLP的影響性分析，可以看到：
當移除預測MLP頭模塊h（即h為恆等映射）後，該模型不再有效(work)；
如果預測MLP頭模塊h固定為隨機初始化，該模型同樣不再有效；
當預測MLP頭模塊採用常數學習率時，該模型甚至可以取得比基準更好的結果（多個實驗中均有類似發現）.
上表給出了Batch Size從64變換到4096過程中的精度變化，可以看到：該方法在非常大範圍的batch size下表現均非常好。
上表比較了投影與預測MLP中不同BN的配置對比，可以看到：
移除所有BN層後，儘管精度只有34.6%，但不會造成「崩潰」；這種低精度更像是優化難問題，對隱含層添加BN後精度則提升到了67.4%；在投影MLP的輸出後添加BN，精度可以進一步提升到68.1%；在預測MLP的輸出添加BN後反而導致訓練變的不穩定。
總而言之，BN有助於訓練優化，這與監督學習中BN的作用類似；但並未看到BN有助於避免「崩潰」的證據。
所提方法除了與cosine相似性組合表現好外，其與交叉熵相似組合表現同樣良好，見上表。此時的交叉熵相似定義如下：
可以看到：交叉熵相似性同樣可以收斂到一個合理的解並不會導致「崩潰」，這也就是意味著「崩潰」避免行為與cosine相似性無關。
儘管前述描述中用到了對稱損失，但上表的結果表明：SimSiam的行為不依賴於對稱損失：非對稱損失同樣取得了合理的結果，而對稱損失有助於提升精度，這與「崩潰」避免無關。
通過上面的一些列消融實驗對比分析，可以看到：SimSiam可以得到有意義的結果而不會導致「崩潰」。優化器、BN、相似性函數、對稱損失可能會影響精度，但與「崩潰」避免無關；對於「崩潰」避免起關鍵作用的是stop-gradient操作。
接下來，我們將討論：SimSiam到底在隱式的優化什麼？並通過實驗對其進行驗證。主要從定義、證明以及討論三個方面進行介紹。
作者假設：SimSiam是類期望最大化算法的一種實現。它隱含的包含兩組變量，並解決兩個潛在子問題，而stop-gradient操作是引入額外變換的結果。我們考慮如下形式的損失：
其中
基於上述表述，我們考慮如下優化問題：
這種描述形式類似於k-means聚類問題，變量
對於
結合前述介紹，SimSiam可以視作上述求解方案的一次性交替近似。
此外需要注意：(1)上述分析並不包含預測器h;(2) 上述分析並不包含對稱損失，對稱損失並非該方法的必選項，但有助於提升精度。
作者假設：SimSiam是一種類似交錯優化的方案，其SGD更新間隔為1。基於該假設，所提方案在多步SGD更新下同樣有效。為此，作者設計了一組實驗驗證上述假設，結果見下表。
在這裡，
前述內容已經說明了所提方法的有效性，接下來將從ImageNet以及遷移學習的角度對比一下所提方法與其他SOTA方法。
上圖給出了所提方法與其他SOTA無監督學習方法在ImageNet的性能，可以看到：SimSiam可以取得具有競爭力的結果。在100epoch訓練下，所提方法具有最高的精度；但更長的訓練所得收益反而變小。
上表給出了所提方法與其他SOTA方法在遷移學習方面的性能對比。從中可以看到：SimSiam表達可以很好的遷移到ImageNet以外的任務上，遷移模型的性能極具競爭力。
最後，作者對比了所提方法與其他SOTA方法的區別&聯繫所在，見上圖。
Relation to SimCLR：SimCLR依賴於負採樣以避免「崩潰」，SimSiam可以是作為「SimCLR without negative」。
Relation to SwAV：SimSiam可以視作「SwAV without online clustering」.
Relation to BYOL: SimSiam可以視作「BYOL without the momentum encoder」.
全文到此結束，對該文感興趣的同學建議去查看原文的實驗結果與實驗分析。
該文採通過非常簡單的設計探索了孿生網絡，所提方法方法的有效性意味著：孿生形狀是這些表達學習方法(SimCLR, MoCo，SwAR等)成功的關鍵原因所在。孿生網絡天然具有建模不變性的特徵，而這也是表達學習的核心所在。
後臺回復關鍵詞【入群】
加入賣萌屋NLP/IR/Rec與求職討論群
有頂會審稿人、大廠研究員、知乎大V和妹紙
等你來撩哦~
 
[1] SimCLR: A simple framework for contrastive learning of visual representations[2] SimCLRv2: Big self-supervised models are strong semi-supervised learners.[3] SwAV：Unsupervised learning of visual features by contrasting cluster assignments[4] MoCo: Momentum contrast for unsupervised visual representation learning.[5]MoCov2:Improved baselines with momentum contrastive learning[6] BYOL: Bootstrap your own latten: A new aproach to self-supervised learning.[7] CPC: Data efficient image recognition with contrastive predictive coding.[8] PIC: Parametric instance classification for unsupervised visual feature learning.