原創 關注前沿科技 量子位 收錄於話題#計算機視覺2#對抗性樣本1#LeCun1
金磊 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
都說「眼見為實」，但真是這樣嗎？
先來看下這張動圖。
是不是感覺這2個圓圈，會隨著箭頭方向移動？
然而事實卻是：
它們沒有發生任何改變。
而就是這樣一張動圖，近日卻在網上引發了熱烈的討論。
連深度學習三巨頭之一的LeCun大神，也出面發表言論：
大腦的對抗性樣本。
每個類似CNN的結構……都有盲點……會被愚弄。
那麼這張動圖到底暗含什麼玄機？又為何讓LeCun作出如此評價？
「忽悠」大腦的動圖
對此，很多網友還是選擇相信自己的眼睛，認為得它們就是在動；也有堅持說沒動的。
於是他們找到各種辦法來證明。
最簡單的方法就是擋住箭頭，效果是這樣的。
「恐怕這種幻覺與箭頭無關」，這位網友評價道。
接著，其他人便採取了更加「科學」的方法——畫線。
可以明顯看到，圓圈的轉動確實沒有超過標記線。
那是不是箭頭發生了移動，才產生的錯覺呢？
也有人做了實驗。
也不難看出，箭頭位置沒有發生變化，而且第一個實驗也證明了與箭頭無關。
那這到底是怎麼一回事？LeCun給出了正解：
它們是靜態的。
黃色區域的外側，有一條藍色的細線；藍色區域外側，則有一條黃色的細線。
網友將圓圈放大後，也發現了這個隱藏的「貓膩」。
LeCun繼續補充道：
你的視網膜→MT視覺通路，將圓周運動中的高對比度邊緣，解釋成了與邊緣正交的運動。
例如CNN在「工作過程」中，也會提取圖像中的一些邊緣信息/特徵。
而這也正是LeCun在文章開頭處評價的由來——大腦的對抗性樣本。
他認為：
每一個類似CNN的架構，無論是人工的還是自然的，都有盲點。
它們會被訓練數據分布之外的輸入所愚弄。
LeCun說這話並不是空穴來風，而是在AI（尤其是計算機視覺）*相關的研究中，諸如此類的「忽悠」現象屢見不鮮。
「忽悠」AI的對抗性樣本
對抗性樣本，簡單來說就是：
對輸入數據樣本，添加一些人無法觀察到的幹擾，導致模型以高置信度給出一個錯誤的輸出。
一個非常經典的例子就是圖像分類。
例如一張已經被分類為「熊貓」的圖片，在加入一些幹擾後，我們人類肉眼是無法察覺輸出圖像產生的變化。
但在AI眼裡卻截然不同，並以高置信度將輸出圖像分類為「長臂猿」。
至於其原理，可以引用Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images這篇文章中的圖來示意：
一種方法是從一個類別的樣本出發，添加一些「小修改」，然後模型就會把修改後的樣本，判定為另一類。
另外一種方法，就是利用分類不確定性。比如圖中除了最上面部分的空間可以認為是數據存在概率極低的區域，從實際應用的角度甚至可以認為是完全不關心的區域。
而這樣的對抗性樣本，不僅僅是在圖像分類任務中存在，在自動駕駛中也是常見的。
例如。
用一條2英寸的膠帶，成功欺騙2016年版特斯拉的攝像頭系統，誘使其出現了50英裡/小時（80公裡/小時）的異常加速。
欺騙後的效果是這樣的：
而這樣的問題，也成為了自動駕駛的一個安全隱患。
網友：LeCun，你說的不對
最後，對於LeCun說「大腦的對抗性樣本」這句話，也成了網友們熱議的一個焦點。
有網友非常直白地說：
這並不是一個很好的對抗性樣本。
也有網友提出質疑：
這是人類視覺系統的一個對抗性例子，還是一個特徵？
這看起來像是我們泛化能力的產物。
對此，你怎麼看？
參考連結：
https://twitter.com/ylecun/status/1331590066272153600
— 完 —
本文系網易新聞•網易號特色內容激勵計劃籤約帳號【量子位】原創內容，未經帳號授權，禁止隨意轉載。
原標題：《圓圈在動嗎？這個騙過人眼的動圖火了，LeCun解釋原理：和CNN對抗攻擊類似》
閱讀原文