雷鋒網 AI 科技評論：這是一名 MIT CS 在讀博士生在推特上引發的爭論。
谷歌大腦負責人 Jeff Dean 日前在推特上轉了一篇名字為 Anish Athalye 的推文，立刻引起了整個機器學習學術圈的關注，被譽為「GANs 之父」的 Ian Goodfellow 也接連跟帖回復。
Anish Athalye：我們研究了 ICLR 論文，結果並不令人滿意
到底是什麼言論驚動了眾多 AI 界大牛，我們先來看看這篇推文：
防禦對抗樣本仍然是一個尚未解決的問題，三天前公布的 ICLR 接收論文裡，八篇關於防禦論文裡已經有七篇被我們攻破。（只有「aleks_madry」等人的論文中提到的方法在攻擊中準確率保持了 47%，沒有被攻破）
Anish Athalye 也貼出了自己的 GitHub 地址， ，其中有詳細的說明。
雷鋒網發現在他的 GitHub 中展示了一個對抗樣本的例子，對一隻貓的圖像加入輕微的幹擾就可以使分類器 Inceptionv3 判別錯誤，將貓頭像錯認為為「果醬」。他稱這樣的「欺騙性圖像」很容易使用梯度下降法生成。
根據 GitHub 中的介紹，Anish Athalye 等人近期的論文《Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples》研究了 ICLR 2018 收錄的八篇關於防禦的論文中的防禦對抗樣本的魯棒性，發現其中有七種防禦魯棒性都很有限，可以通過改進的攻擊技術攻破。
下面是論文中的一個表格，展示了多種對抗性樣本防禦方法在攻擊下的魯棒性。（加 * 表示的這些防禦方法建議結合對抗性訓練使用）
根據 Anish Athalye 等人的研究，八篇論文中唯一一篇顯著提高對抗樣本防禦的魯棒性的論文是：《Towards Deep Learning Models Resistant to Adversarial Attacks》(即上述表格中的準確率 47% 那篇）。除了使用威脅模型以外，沒有辦法攻破這種防禦。即便如此，這種防禦方法也是難以擴展到 ImageNet 規模的。其餘的七篇論文無論是有意還是無意都在依賴於「混淆梯度」。一般的攻擊利用梯度下降法使給定圖像網絡損失最大化，從而在神經網路上產生對抗樣本，這種優化方法需要有用的梯度信號才能成功。基於混淆梯度的防禦會破壞這種梯度信號，並導致優化方法失效。
Anish Athalye 等人定義了三種基於混淆梯度的防禦方式，並構建了繞過每一種攻擊的方法。新的攻擊方法適用於任何有意的、無意的、包括不可微分操作或以其他方式防止梯度信號流經網絡的任何防禦。研究員們希望用此方法進行更徹底的安全評估。
《Towards Deep Learning Models Resistant to Adversarial Attacks》論文摘要我們意識到「混淆梯度」給防禦對抗樣本帶來的是一種虛假的安全感現象，儘管基於混淆梯度的防禦可以打敗基於優化的攻擊，但我們發現依靠這種效果的防禦仍然可以被攻破。對於我們發現的三種混淆梯度類型中的每一種，我們都會描述展示這種效果的防禦指標，並開發攻擊技術來攻破它。在樣本研究中，我們試驗了 ICLR 2018 接收的所有防禦措施。我們發現混淆梯度是常見現象，其中 8 個防禦中的 7 個依靠混淆梯度。使用我們新的攻擊技術，成功攻破了 7 個。論文地址：
Ian Goodfellow：你們其實只研究了一部分論文
Jeff Dean 轉發後，很快引起了整個機器學習學術圈的注意。難道這是在質疑 ICLR 2018 收錄的論文質量很水嗎？由於 Anish 的表態主要是針對對抗性樣本的防禦問題，很快便吸引了 GANs 的發明者、以及長期研究對抗性樣本的 Ian Goodfellow 圍觀，並在推特評論區接連跟帖回應。
Goodfellow 回應稱，ICLR 2018實際上至少收錄有11篇關於防禦的論文，其他三篇沒有提到，卻說只有Madry一篇中提到的方法沒有被攻破，這是不公平的。
Goodfellow：ICRL 實際上至少有 11 篇防禦論文，而不是 8 篇。（另外三篇裡，）實際上有 2 篇已被證明可防禦，還有 1 篇他們沒有研究。他們（論文的作者）應該說「所有未經認證的白盒防禦」而不是「全部防禦」。
另外，Goodfellow 認為這篇論文中提出的「混淆梯度」簡直就像是給「梯度掩碼」換了個名字而已。為了讓大家對「梯度掩碼」的概念更加了解，Goodfellow 還推薦了相關文獻。
與此同時，Goodfellow 還丟出了一篇 ICLR 2018 論文（Goodfellow 是作者之一），稱已經專門解決了梯度解碼的問題了。論文題目： Ensemble Adversarial Training: Attacks and Defenses
論文地址：
不過這一觀點截至目前暫未被發出這條震驚學術圈推文的 Anish Athalye 所承認。
雷鋒網報導