對抗魯棒性使得神經網絡又強又慫——華南理工溫馨宇

作者：AITimer-閆昊 公眾號：AI TIME 論道

對抗樣本的存在表明現代神經網絡是相當脆弱的。

為解決這一問題，研究者相繼提出了許多方法，其中使用對抗樣本進行訓練被認為是至今最有效的方法之一。

然而，經過對抗訓練後神經網絡對於正常樣本的性能往往會下降，這一問題引起了學術界的廣泛關注，這種準確度與魯棒性之間互相妥協的本質原因仍未被找出。

在這一工作中，講者及其團隊從正則化的角度來研究神經網絡的對抗魯棒性。嘉賓團隊指出，經過對抗訓練之後的網絡在特徵空間的絕大多數方向上將被平滑，導致樣本集中於決策邊界附近；換言之，經過對抗訓練的網絡輸出往往是相對低置信度的，這種網絡對於正常樣本的性能往往也是更差的。

研究表明，我們應該以更溫和的手段來構建對抗魯棒性，避免過度正則化。

溫宇馨

溫宇馨，本科畢業於華南理工大學，目前在華南理工大學幾何感知與智能實驗室就讀博士三年級，導師為賈奎教授。研究興趣包括計算機視覺與機器學習。已在相關領域的國際頂級會議期刊如ICML, TPAMI等發表多篇論文。

一、對抗樣本與對抗魯棒性

在溫宇馨同學提到的這個案例中，第一張熊貓的圖片在神經網絡中以57.7%的置信度識別為熊貓；但把第二張熊貓圖片再次輸入同一個神經網絡中，居然以99.3%的置信度識別為長臂猿。在人眼中明明是相同的圖片，為什麼會在神經網絡中得到相差如此之大的結果呢？這就引出了對抗樣本的概念。

事實上第二張一幅經過人工精心設計的圖片，也被稱為對抗樣本。這幅圖片上疊加了一層噪聲，而神經網絡提取特徵的方式可以簡單的理解為對像素的計算。因此人工合成的圖像在神經網絡看來是兩幅完全不同的圖片。對抗樣本有兩個特性：（1）誤導性；（2）不可感知性。這兩個特性分別表示對神經網絡的誤導性，以及對人眼的隱蔽性。

對抗樣本在現實生活中會導致一些意想不到的隱患，就比如：

這兩個案例分別代表了對抗樣本可能對自動駕駛行業和人臉識別行業造成的威脅：無法識別被貼上特製標識的交通標誌，或者在特製的眼鏡幹擾下無法識別面部。

面對這種威脅，最好的辦法就是生成對抗樣本，以提高網絡的對抗魯棒性。下述生成對抗樣本的方式被稱為白盒攻擊，即已知網絡及其參數，通過設計的一個損失函數，獲得對抗噪聲，之後將其疊加到原圖像當中，獲得對抗樣本。為了使得模型具有魯棒性，一個最直接的方式就是將對抗樣本用數據增集的方式加到原函數當中進行對抗訓練。除此之外，還能夠通過對輸入圖像進行預處理以消除對抗樣本的影響、調節網絡參數使其偏向某類特定解使輸出平滑，或者改變網絡結構以獲得避免噪聲的能力。

在以下的內容中，模型獲得的對抗魯棒性均通過對抗訓練獲得。

二、神經網絡的準確度與對抗魯棒性

在對抗樣本被提出的時候，研究人員往往認為對抗樣本不僅可以增加模型的對抗魯棒性，也增加模型的泛化性。但近期的研究表明這種想法似乎不太現實。

在上圖中，藍色的線代表對抗樣本在模型中的性能，而紅色的線則代表正常樣本在模型中的性能。可以看到隨著對抗訓練中對抗樣本強度的增加，對抗樣本的誤差在下降，而正常樣本的誤差在上升，可以得出獲得對抗魯棒性往往是以模型在正常樣本上的性能退化為代價的。

下面探究對抗魯棒性對模型泛化性的影響。

對於不同對抗魯棒性的模型在同樣的正常樣本上的性能，分別考量其錯誤率和損失，其結果表現在上面的兩幅圖中，左邊的是錯誤率，右邊的是損失。

• 隨著對抗魯棒性的增加，左圖中自然的訓練樣本和自然的測試樣本的錯誤率在增加，其error gap也在增加，即模型的性能變差了。
• 而在右圖中，訓練樣本的損失隨著對抗魯棒性的增強而增加，測試樣本的損失卻在減少，它們之間的loss gap也在縮小，即表明模型的泛化性變好了。

在正常樣本上為什麼會出現看上去矛盾的現象呢？這不禁讓人疑問：模型在獲得魯棒性的過程中發生了怎樣的改變？而這些改變又對模型決策產生了怎樣的影響？為什麼對抗魯棒性作為一種有效的正則化手段會導致模型擁有較差的性能？這就引出了本次分享的第三個主題，對抗魯棒性與正則化的理論分析。

三、對抗魯棒性與正則化的理論分析

分享者在這一部分中的主要工作是在給定魯棒性的情況下，模型的泛化性會產生怎樣的改變，並且探究這種變化產生的原因。

首先，根據魯棒性框架，作者推導出了一個泛化界，在這個界中margin, adversarial robustness radius和singular value of weight matrices 建立起了關係，下面的公式顯示的是推導過後泛化誤差界的上界：

其中νmin表示樣本到決策邊界是最短的點的距離，在對抗魯棒性的前提下，其需要大於對抗性的魯棒性所定義的半徑；

σ^imin神經網絡權重矩陣的最小奇異值，可簡單理解為從輸入空間到特徵空間的放大或縮小；

表示最後一層的權重矩陣

umin表示特徵空間上某個點距離其最近的決策邊界的最小距離；

公式中的其餘項在理解泛化界中不構成障礙，可以暫時不去考慮。

為了更形象的去理解上述公式，可以看上面的圓形與方形種類的分類。當不要求對抗魯棒性的時候，紅色的虛線可以作為決策邊界。但是當要求了對抗魯棒性之後，其表現出了正則化效果就是使得原本可行的紅色決策邊界不再可行，原本的決策邊界現在變為了黑色的實線。值得一提的是，邊界距離margin則表現為樣本（黑色的圓形或者方形）到距離其最近決策邊界（黑色實線）的距離。

上圖是神經網絡中某一層的特徵投影的情況。以ReLu為激活函數的神經網絡將空間分割成為若干部分，每個區域對於x而言都是分段線性的，即從x到x』是一個分段線性變換的過程。這張圖說明，我們可以將輸入空間上的邊界距與特徵空間上的邊界距聯繫在一起。

四、對抗魯棒性與正則化的經驗分析

上一節中，margin, adversarial robustness radius和singular value of weight matrices 建立起了關係。在本節當中，作者將會分享根據上面的理論指導在模型中觀察到的現象。

我們經驗性地發現：

• 對於具有更高對抗魯棒性的神經網絡，其權重矩陣的奇異值會有更低的方差
• 這種奇異值方差的減少會導致樣本在決策邊界附近聚集

樣本在決策邊界聚集平滑了由於樣本空間上擾動帶來的在特徵空間上的突變，但是同時也增加了低置信度的誤分類

這是CIFAR10數據集在ResNet-56上訓練後的結果，橫向坐標代表著層深，縱向坐標代表著該層傳輸矩陣展開成線性變換之後對應的奇異值的方差值的大小。其中legend代表著對抗魯棒性的強度，縱向對比來看，綠色點代表對抗魯棒性更強的模型權重矩陣奇異值方差在絕大多數層下要比同層的對抗魯棒性較弱的紅色點的方差值小。這導致了經過激活函數後的輸出的範數的方差減少，換句話說就是輸入空間的擾動傳遞到特徵空間的擾動變小。

而激活層輸出的範數的方差減少表示的是神經網絡中每一層的輸出都更加的集中。上圖是測試集的結果，橫坐標表示margin的大小，縱坐標表示歸一化之後的概率。可以看到，測試集的margin分布結果表明，隨著對抗魯棒性的增加，樣本更加的集中於決策邊界的附近。這會導致前面的兩個結論：（1）對抗魯棒性的增強，會導致正常樣本的準確度下降；（2）測試樣本的損失在減少，測試樣本和訓練樣本之間的loss gap也在縮小。

上圖表示的是模型在訓練集上的表現，同樣表現出，隨著對抗魯棒性的增強，其分類置信度也在下降。但是相比於測試集，訓練集的結果並不存在大規模的誤判行為，即模型可以overfit到對應的訓練集中。這種對於分類正確以及分類錯誤的樣本置信度均降低的行為，映射到surrogate loss上，比如cross entropy loss上，一方面是對於分類正確的樣本loss更大了，另一方面是對於分類錯誤的樣本loss更小了。而在這裡，overfitting導致原本就不存在大量分錯的樣本，因此對於訓練集來說，loss變高的效果會比降低的效果更明顯，而測試集則剛好相反。因此，對比測試集結果，可以看到訓練集的loss要比測試集的loss增長快，這也是導致loss gap變小的原因。

上述的情況是在模型容納性較大的情況下的結果，那麼如果模型的容納性不足又會怎樣？分享者展示了通過限制模型的譜範數進而限制模型的容納性，模型容納性以Uncontrolled為最大，以1為最小。隨著模型容納性降低，Error Gap從上升轉而下降，Loss Gap則一直保持著下降的態勢，這說明當網絡沒有辦法overfit到訓練樣本時，即training error開始變大時，模型的error gap以及loss gap開始趨向於表現出一樣的性質。

重新回到這張圖，根據上面的一系列分享，可以得出一個結論：樣本集中於在決策邊界上使得對抗擾動造成的突變被平滑了，但是同時也增加了低置信度的預測，甚至是誤判。

這項工作的意義在於：對抗魯棒性使得樣本集中於決策邊界附近，這表明為了降低對抗擾動的影響，模型犧牲了其區分類間差異的能力；換言之，對抗訓練確實是一種有效的正則化手段，但它是通過不恰當地縮減神經網絡假設空間來實現的。那麼如何去消除這種不恰當的縮減就是接下來的研究方向。

嘉賓問答：

A:對抗防禦, 用拓撲學分析，有什麼比較好的一些研究思路呢?

Q:從邏輯上面，對抗噪聲其實是通過模型的一層層權重矩陣放大而導致在特徵空間的擾動的，在這種情況下，可以考慮追蹤對抗噪聲被放大神經元，其實這些神經元本質上特徵空間裡面的一些region，然後這些region會組成一個特徵空間，這個特徵空間的變換可能會跟你提到的拓撲學有關係，比如說我們要求其具有某些特定的拓撲性質等等。

A:很多人說正則化就是適應噪聲的一種防禦方法，如何理解？

Q:正則化我的理解更多是一種先驗，就是你要求模型具有怎樣的性質，這種性質恰好可以防禦對抗樣本，比如說要求Lipchitz properties等等，但是其實Lipchitz properties也是一個很鬆的約束。

A:李普希茨約束好像決定了神經網絡的收斂界限？或者說是跟學習的泛化性能界限有關，我也是最近看到ECCV-20那篇關於Gradient Centralization的文章提到這個概念。

Q:如果你指的是generalization gap的話那Lipchitz properties對它確實會有影響，不過我說的更多的是它對adversarial robustness的影響，比如說Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks那篇論文。

A:從修改神經網絡結構本身來抵禦對抗樣本是怎麼樣的呢?

Q:比如說Hinton他們提出的capsule networks，他們claim的其中一個優勢就是可以避免對抗樣本，因為這種模型一些特有的機制。