原創 親愛的數據 親愛的數據
原創：譚婧
川普抬起左手，手指捋一捋炸毛的亮黃色頭髮，右手緊握美國總統特製籤名筆，筆尖流水般滑過米白色紙面，墨水凝結，字跡微幹。
大名鼎鼎的美國《2019年國防授權法案》，經參眾兩院審議，由美國總統籤署生效。這一刻，也標誌著，數字偽造技術（Digital Content Forgery）正式被寫入大國史冊。
每一年，海量的技術專利如潮水般問世，為何這一項技術寫入《法案》？
如今，信息以光速傳播，錯誤信息，混雜其間。小蒙小騙，大欺大詐，幹擾選舉，煽動暴力，攪動政局……
謠言動動嘴，闢謠跑斷腿。還有一個噩耗，人工智慧也摻和進去了。
陽光普照，人工智慧賦能百業千行，挽起袖子進車間廠房，提起褲腿下田間地頭。陽光照不到的地方，在Boss直聘上高薪誠聘「資深人工智慧算法專家」的也可能是黑色產業。
早在2018年，一段罵川普的視頻在全美瘋傳。罵人者不是別人，正是美國前總統歐巴馬，他在視頻中一本正經：
「Simply, President Trump is a total and complete dipshit. （簡而言之，川普總統就是個徹頭徹尾的笨蛋。）」
這個視頻無疑是偽造的。
吃瓜群眾，喜大普奔。
川普，咬牙切齒。以川普的個性，很可能對深度偽造（DeepFake）這一人工智慧新技術懷有私憤。
人工智慧的進步，導致計算機能隨心所欲地讓視頻中的人物「變臉」，人聲「變調」。有視頻和錄音「為證」，掀起一場徹底粉碎「不在場證據」的狂歡。
未來的趨勢是，技術審查和政府監督的鞭子會越抽越狠。手舉鞭子嚇唬人的昨天已逝，現在是一鞭子下去，得皮開肉綻。
在人工智慧高超的造假能力未受重視之前，美國政府也只是消極防禦。有一天，華盛頓的國會山知道了一件事——「外國不法分子偽造信息禍害美國大選」，他們的態度立刻反轉。
《深度偽造技術報告法案》（DeepFake Report Act）自2019年6月下旬引入，僅僅120天之後，就作為獨立法案，在參議院獲一致通過，並轉交給眾議院消費者保護和商業小組委員會。
兩院「圍剿」，毫無懸念。
《法案》定義，「深度偽造技術」正式歸為「數字內容偽造」，是「使用新興技術（包括人工智慧和機器學習技術）來製造或操縱音頻、視覺或文本內容，以達到誤導他人的目的」。
《法案》規定，美國國土安全部負責對「數字內容偽造技術」詳盡調查，此後得定期匯報。法案頒布之日起5年內，國土安全部部長每年向科學技術部長提交報告。
兩部「碰頭」，鐵板釘釘。
層層警報，級級重視，美國最高司法機構的態度，越描越明確。
深度偽造技術，是一次技術的濫用。啼笑皆非的是，這一技術的開源社區還非常活躍，軟體可以上網免費用，「科技作惡」的門檻一降再降。
若以「假臉」論英雄，深度偽造，可謂風光一時。
殊不知，人工智慧暗藏一股更強大的力量——對抗樣本（adversarial sample）技術。
掌握了對抗樣本，
只戴一副列印的紙眼鏡，就可以「弄瞎」手機鎖屏的人臉識別。
掌握了對抗樣本，
破解APP人臉識別功能，可以分分鐘假冒支付寶用戶消費、授權網銀轉帳、冒充滴滴專車司機。
一場你想是誰就是誰的表演，即將上演。
這是新一代黑客秘籍，而江湖卻只聞其聲。
鏡頭一：人工智慧學派，幾十年來沐雨櫛風，幾經浮沉。一代宗師甩袖拋給弟子一本《對抗攻擊算法拳譜》，飄然遠走。
鏡頭二：黑客在大雨中狂奔，一個劇烈的跪滑，表情狂放，仰天長嘯：「到底什麼是對抗樣本？」
鏡頭三：視頻網站B站，瑞萊智慧RealAI公司（下文簡稱「RealAI公司」）的研究人員，戴上一副紙眼鏡，秒級「弄瞎」人臉識別算法。
這已經不是我第一次尋訪研究對抗攻擊算法的科學家，這次我探訪到了RealAI公司的安全算法負責人，蕭子豪。
這位畢業於清華大學計算機系的碩士，夏天酷愛穿一件簡單的T恤。他總是聲調冷靜，節奏緩慢，像一潭沉靜的湖水。
而他的高中時代活出了一個新聞標題——《別人在高考，保送清華學霸現身考場，為同學加油助威》。腦補蕭子豪在電視臺記者的話筒前，淡然一笑，表示：「考試沒有什麼壓力，因為我已經保送清華大學物理系了。」
技術的魔力，需以一個實驗來說明，才能眼見為實。
視頻中，不明身份男子（該角色由蕭子豪本尊扮演）戴上一副說不清是愛馬仕，還是香奈兒的時尚眼鏡，花紋浮誇，色調刻意失真，一股藝術氣息撲面而來。感覺是走秀Party，而不是黑客攻擊的案發現場。
人臉識別可以簡單地理解為把密碼寫在臉上，刷臉就是刷卡。破解了人臉識別功能，就是破解了身份認證的唯一性。黑客佩戴眼鏡之後，會被人臉識別算法誤認為手機主人，解鎖手機。
為什麼只戴一副列印的紙眼鏡，就可以「弄瞎」手機的人臉識別算法？先講解步驟，再給出前沿學術論文的解釋。
第一步，準備三個材料：攻擊者的一張照片，受攻擊者的多張照片，和一個深度學習人臉識別算法模型（開源的模型也可以）。講到這裡就順口一提，很多人不在乎隱私保護，社交網站、朋友圈裡有大量眉清目秀、五官清晰的照片，這都可能被黑客惡意保存。
「極端情況下，只用受攻擊者的一張照片也可以，只是成功率會低一些。」這一句，蕭子豪加重了語氣。
第二步，將三個材料輸入攻擊算法，生成攻擊人臉識別算法。這裡的攻擊算法就是智慧財產權的核心。算法會利用人臉識別算法模型，從受攻擊者的照片中提取他/她的人臉信息，然後在攻擊者的照片上構造出攻擊用的對抗圖案。一般情況下，研究人員稱攻擊算法生成的圖案為對抗圖案。對抗圖案疊加在原來的圖片上，得到帶有攻擊功能的圖片，叫對抗樣本。（對抗圖案+原有圖片=對抗樣本，對抗樣本指的是整張圖，對抗圖案既可以是局部的，也可以是全局的。）
黑客的眼鏡是算法生成的局部圖案。
第三步，用攻擊算法生成的這張圖，列印製作成眼鏡。表面上，是一副普通的眼鏡。背地裡，眼鏡上的局部圖案是對抗樣本。戴上眼鏡的人，面對手機。隨後，發生不可思議的一幕——佩戴了這副眼鏡，瞬間成功解鎖手機。
有興趣的群眾，可以研究一下視頻中手機的品牌，蘋果、華為，還是小米。
而本文關注這個實驗中的三個知識點：黑盒、紙眼鏡、遷移性。
這是一個典型的黑盒攻擊的黑客實驗。
蕭子豪解釋道，進行攻擊的算法和遭受攻擊的算法，就像戰爭中的敵我兩方。這兩種算法可能不是同一個模型，背後原理是抓住了人臉模型之間的相似性（雖然人臉識別模型各有千秋，但是都屬於深度學習模型，免不了會有相似性）。攻擊算法尋找、挖掘、抓住不同人臉識別模型之間的相似性，同時放大，這樣就有攻擊的機會。換句話說，只要攻擊者能夠從人臉識別模型裡面挖掘出漏洞（相似性），就能夠攻擊模型。
研發攻擊算法的過程中，挖掘相似性是一件很耗神、很熬人的事。
我們都知道，手機裡的人臉識別算法需要將攝像頭採集到的人臉信息作為輸入的信息。手機上裝載的人臉識別算法對黑客來說就是黑盒。因為在攻擊之前，完全不知道其中的原理，所以稱之為黑盒攻擊。
紙眼鏡有什麼講究呢？
眼鏡是一個物理世界的真實物件，黑客戴上眼鏡，就是為了改變人臉面部的特徵。在做眼鏡的時候，黑客還要考慮很多來自外部環境的幹擾。室內的光照，印表機的色差，都會影響攻擊效果。所以，需要有一些色彩矯正算法，或者一些光線補償的算法，保證最後列印出來的眼鏡在實際場景中能夠攻破手機的人臉識別算法。
手機廠商使用的人臉模型和攻擊它的模型，這個兩個模型並不相同，為什麼就攻擊成功了呢？
答案是遷移性。
蕭子豪說：「借用遷移學習的思路，有利於增加對遷移性的理解。」不過這樣的解釋還不夠有誠意。他又補充道：「好比每個人都有常識，神經網絡也有自己的常識。人和人想法會差很遠，神經網絡也是一樣。不同神經網絡之間用不同的語言。但是，可以用常識溝通彼此都認可的事情。」
「神經網絡也有自己的常識」是蕭子豪打的一個比方，他也願意用「心理學或者生物學原理」來替代。
就是說，雖然人和人的想法/體質會差很遠，但他們都會有相似的心理或者生理弱點。
前沿論文告訴我們，「對抗樣本的一個有趣特性就是具有良好的可遷移性，這使得實際應用的黑盒攻擊變得可行。」
「通過將動量項整合到攻擊的迭代過程中，該方法可以穩定更新方向，並在迭代過程中避開局部最大值，從而得出遷移性更優的對抗樣本，進一步提高黑盒攻擊的成功率。」
今時今日，以對抗算法的地位，將其定義為人工智慧算法前沿，絲毫不為過。而學術論文又在為其方法的迭代與演化，提供源源不斷的新鮮思路。
紙眼鏡的思路，也能用在雲計算廠商人臉識別算法的API攻擊中。
一般情況下，APP開發者不會自己研發人臉識別算法，而是通過第三方的API接口或SDK組件來獲得人臉識別功能，這個第三方，可以是雲計算廠商。黑客直接將對抗樣本圖上傳到雲廠商的API，進行攻擊。這種對抗樣本同樣也可以使亞馬遜、微軟等人臉識別平臺的服務出現嚴重的識別錯誤。
這也是一個典型的黑盒攻擊。
將對抗樣本用紙列印出來，黑客可以直接作為「作案工具」。也就是說，對抗樣本通過區區列印的照片就可以攻擊那些算法工程師冥思苦想才能提高精確度的人臉識別算法。給人臉識別系統搗亂，聽上去如此的輕而易舉，似乎成了春田花花幼稚園手工課的作業。
對抗樣本技術，是在用算法欺騙算法。這裡的算法，是深度神經網絡算法，是人工智慧算法的一種。所以，也算人工智慧騙人工智慧。
黑盒攻擊不是《聊齋志異》裡的鬼故事，也不是《哈利波特》裡的黑魔法。對抗樣本「走出」學術論文，現身於真實的生活環境。
蕭子豪特別提起2017年那場比賽，這是一個標誌性事件。這場對抗樣本攻防賽，由谷歌公司贊助，由圖靈獎獲得者Ian Goodfellow牽頭，在NIPS頂級學術會議期間舉辦。參賽團隊均來自全球頂級院校，清華大學團隊在競賽的全部三個項目中得到冠軍。由清華大學博士生董胤蓬、廖方舟、龐天宇及指導老師朱軍、胡曉林、李建民、蘇航組隊。
朱軍教授在ICLR2020會議的署名論文數量排名中，位居世界第二。
大風起於青萍之末。
競賽中，之前的很多積累都用上了，其中一種方法——廣泛的基於梯度的迭代算法來增強對抗攻擊（Momentum Iterative Method，MIM），被兩位圖靈獎得主J.Hopcroft教授、G.Hinton教授在ICLR2019等論文中大幅引用，也被該領域主流開源項目FoolBox、Cleverhans等收錄為對抗攻擊的標準算法。
方法出自名為《Boosting Adversarial Attacks with Momentum》的論文，這一方法被稱為代表性方法。人工智慧算法領域，事實性標準最為難得和寶貴。
2017年，清華大學計算機科學與技術系人工智慧實驗室就開始研究這一領域。最初刷學術數據集，後面不斷地提升攻擊的成功率。有了RealAI公司之後，打磨重點從圖像分類往人臉識別去切。
一群科研人員掌握獨門技術，認為技術切實可行，判斷應用價值大，那就出發，冷靜且理性。
算法研究，靠理論指導方向，靠做大量的實驗來實現，對抗算法也是如此。理論和其實現無法替代，實現的過程需要徵服大量細節，而細節存在於大量的實驗中，多番嘗試，才能追求更好。就好比化學實驗，摸索某種配方比例。積累得夠久，才會形成技術壁壘。
都說技術壁壘是技術創業者的護城河。人工智慧的護城河飽受質疑，仿佛人人手裡有把尺子，伸手就能量出人臉識別算法公司技術壁壘有多高。
「對抗算法屬於人工智慧算法，你怎麼看別人手中這把尺子？」
蕭子豪的觀點是，技術周期上的領先不會太久，領先6個月到12個月，最後也會都被別人趕超。但是，對抗算法有一個獨特之處，使得其不會重度依賴從數據上獲得的優勢。
猛一聽，這是個缺點。然而，面對越來越重視隱私保護的法律環境，這是名副其實的長處。
人臉識別算法信奉 「人海戰術」，越是人臉數據訓練出來的模型，效果越好。一個億的人臉數據用二流設計的算法訓練，一千萬人臉數據用一流設計的算法訓練，前者的準確率往往會更高。這就是一億人臉數據帶來的優勢。
做人臉識別算法的人可能需要到處找「照片」，做對抗算法的人，則無此憂慮，因為這種算法訓練所需的數據量並不大。
香港電影《盲探》中，劉德華飾演探案警官，在連續高強度工作後因視網膜脫落而雙目失明。靠肉眼夜以繼日地盯著監控視頻錄像，查找犯罪嫌疑人，並不現實。所以，人工智慧紛紛在視頻監控裡上崗，查找視頻中和犯罪分子相似度超過97%的人臉。
可惜，椅子還沒有坐熱，「對抗樣本」的攻擊就可能讓人工智慧看花了眼。眼看「犯罪嫌疑人」進入監控區域，結果就是找不到。因為對抗樣本可以製造監控視頻裡的「隱身人」。
這也許會讓海康威視和大華股份這樣的監控攝像頭廠商緊張。業界是否已有類似的攻擊極難調查。誰丟人誰心裡知道，吃了虧被窩裡流淚，絕少會有人臉識別算法的廠商宣布受到對抗算法攻擊的數據，所有電商企業也都不會說自己一年會被黑產薅多少羊毛。
危險之處還在於，渾然不覺。
安全極客們在鎂光燈下相會，聚在屬於自己的「光明頂」——GeekPwn國際安全極客大賽。
2018年，選手用對抗樣本攻擊讓主持人蔣昌建的照片被識別為施瓦辛格，以此事件「宣告」攻破亞馬遜名人識別系統。
2019年，對抗樣本「隱身術」挑戰目標檢測系統識別。選手需要在A4紙上列印出幹擾識別的隱身圖案，實現「隱身」，紙張面積隨意。是的，他們就是想用一張紙騙過監控，也就是在監控視頻中隱身。
比賽結果非常驚人，所有的參賽隊伍都在一米處實現「隱身」。肉眼看到明明有人，但是檢測時就是「瞎了」。清華戰隊使用的圖像面積最小（14cm*14cm），所以，成功拿下第一名的桂冠。
蕭子豪也參加了比賽，他告訴我，隱身不同於對手機和雲廠商API攻擊的地方是：
「隱身是攻擊物體檢測，手機和雲廠商是攻擊人臉識別，被攻擊的模型不同。物體檢測模型攻擊難度更大，因為其模型內置有對局部遮擋不敏感的能力。」
即使有高考保送清華的光環，算法研發對蕭子豪也是高強度的腦力工作。
北京夏季的三伏天，揮汗如雨，人像悶在皮鞋裡的腳趾。
RealAI公司位於清華科技園，距離清華大學東門只有幾百米，蕭子豪常去學校泳池消暑，拍打水面，水花落下，氣泡上升，譁啦作響，沉在水底的藍色裡，既安靜又放鬆，仿佛只剩下他的思考和水的浮力。
沒有人會懷疑保送生的智商，也沒人會懷疑清華學子的自律，而蕭子豪告訴我，堅持和抗壓比聰明更重要。
他的體會是：
「把一個新的事物往前推，是一件很難找到方向的事情。研究算法的過程中，會被一個問題困擾一到兩年、或者數年。如果所有的精力都用來對抗壓力，人會被困住，沒有辦法前進。有人嘗試個一兩百次，情緒開始波動，就幹不下去了。迷茫的新手試錯次數更多，所以，很多人都被阻擋在門外了。」
火車跑得快，全靠車頭帶。目前，對抗樣本的「火車頭」並非工業界，而是學術界。
2013年，在谷歌公司約有十年工齡的人工智慧科學家Christian Szegedy和其他研究者先在圖像分類的深度學習模型中發現了對抗樣本。
隨後，前谷歌大腦的年輕科學家伊恩·古德費洛（Ian Goodfellow）等研究者發現了快速攻擊的對抗算法。
而後，對抗性樣本的研究越來越多。
隨著研究推進，文本處理、語音識別、自動駕駛、惡意軟體檢測等深度學習表現好的領域，統統都被對抗樣本攻擊了，甭管用循環神經網絡，還是強化學習。
「對抗樣本」驕傲地笑了，它就是能讓人工智慧算法失效，讓人工智慧算法錯誤分類。專業解釋就是，黑客對照片裡的像素，進行不可察覺的微小擾動，可以使深度神經網絡以較高的置信度錯誤分類。
這裡，還有兩個知識點，一個是較高的置信度，另一個是攻擊結果。
這個「較高的置信度」，可以理解為深度神經網絡錯誤分類的時候，自以為有較大的概率自己判斷（分類）對了。這種迷之自信，更讓人覺得背後發涼，汗毛倒立。「我以為我做對了」的誤判比起「我拿不準我是否做對了」，前者似乎更糟糕。
黑客操縱了人工智慧算法的計算結果，甚至可以指定發生結果。一種是，把易烊千璽識別成別人就可以了，這個別人，愛誰是誰，你和我都行。另一種是，無論別人是誰，都識別成易烊千璽。（在專業術語中，前者是非目標攻擊，後者是目標攻擊。）
歐巴馬「假臉風波」，讓深度偽造技術名噪一時。對比看來，深度偽造技術只是用算法去欺騙人類的肉眼，而對抗樣本技術則是要欺騙算法。
算法與算法，決戰紫禁之巔。
成千上萬次的計算，人工智慧最終能熟練地完成任務。這麼好的技術，在一些領域的表現超越了人類，怎麼好端端就傻了呢？
攻防是道法，也是術勢。
「生為算法，卻又不為造假而來。」是對抗樣本的內心獨白。
攻擊與防禦在學術界是一種研究思路，在大型企業安全部門也是方法論。京東安全首席架構師耿志峰，也曾在聊天時告訴我：
「攻防是信息安全的本質。所以，京東安全團隊內部會定期開展大規模紅藍對抗的攻防演練。」
「外練筋骨皮」，企業安全團隊，紅藍對抗。
「內練一口氣」，神經網絡與對抗樣本，相互對抗。
對抗樣本是提高人工智慧魯棒性的拳法，其終點是徹底搞懂深度神經網絡。深度神經網絡是人工智慧諸多算法的代表作，大放異彩。人臉識別用得越多，威脅也越多。
魔高一尺，道高一丈。
雖然，人臉識別黑盒攻擊的成功率還是可觀的，但是，在自動駕駛等領域，還需要研究者去研究提升攻擊成功率的方法。
雖然，現在深度學習+安全的應用場景還比較有限，能被攻擊的對象比較少，但是，未來潛在威脅會越來越多。
雖然，對抗樣本攻擊在許多場景下還需要適應性地調整和優化，但是，尤擅此類的黑客還比較少，技術還處於起步階段。
明刀易躲，暗箭難防。
潛在的危險比已知危險更有破壞力。
前沿論文中的理論告訴我們：
「評估最新的人臉識別模型在基於決策的黑盒攻擊環境下的魯棒性，即無法訪問模型參數或梯度，只能通過向目標模型發送查詢來獲取預測標籤。這種攻擊在實際情況的人臉識別系統中更為實用。」
「一種基於演化算法的高效攻擊方法，充分利用搜索空間的局部幾何特性，並通過降低搜索空間的維數來提高攻擊效率。大規模實驗表明，該方法比已有的攻擊方法更高效，能夠以較少的查詢對輸入的人臉圖像產生最小的擾動。」
對新技術敏感的人，齊聲高呼：「人工智慧變身黑客啦，求解救，在線等，挺急的。」
對新技術麻木的人，半眯著眼睛，不屑一顧地說：「我們這裡，還沒有這樣的情況（需求）。」
老警察會告訴你，凌晨三四點是入室盜竊的高發時段。人在熟睡中，一時半會還覺察不到被賊偷了。黑產對企業進行攻擊也是如此，很有可能沒有被發現，一切還在不知不覺中。
有人可能會說，「人工智慧換臉」這種好事，還是請領導和土豪先試用。畢竟，黑客肯定盯著高端人士，未必輪得上群黎百姓。
殊不知，給視頻中人臉造假的暗潮，洶湧。
根據創業公司Deeptrace的報告，到2019年初，網際網路上流傳的視頻，可以確定為深度偽造技術生產的，有7964個。僅僅9個月後，這個數字就躍升至14678個。根據生活賦予我們的吃虧經驗，如果沒有工商部門的強勢執法，造假的產量不會下降（除非銷量不好）。
現實中，專門製造假貨的江南皮革廠可以倒閉，而深度偽造技術軟體則是免費複製。造假和欺騙是一種病毒，還會變成流行性病毒。
在圖像識別、語音識別等模式識別任務中，深度學習的準確度超越了人類，這也就是近幾年的事。輝煌戰績一眨眼就散去，技術缺陷和可解釋性問題倒像個沒有盡頭的迷宮。
的確，人工智慧剛有點能耐，就受到攻擊，這真是夠鬧心的。深度神經網絡的臺詞是：「我很man，是硬科技，也有脆弱的一面。」
那人臉識別算法廠商又如何看待對抗攻擊算法商業化落地呢？
一位國內著名安防公司的研發副總裁，這樣對我說：
「這種新聞一開始很嚇人，尤其是當YOLO V3 這種著名的神經網絡被攻破的消息傳出來後，公司總裁專門把報導用微信轉發給我看。我們研發團隊內部也專門分派人手去分析研究。」
「對於這一趨勢，我有兩方面的態度，一方面，對抗算法的商業化落地，不算是對人臉識別算法廠商的叫板。攻破後，我們就需要在網絡結構設計上再動腦筋；另一方面，這不是一件壞事，反而帶來新思路，都在為提高算法魯棒性努力。值得重視的是，如果在人臉識別算法的競標中，增加對抗樣本的測試環節，會對行業產生震動。」
他還補充道：「對抗算法開發難度較大，相信各方都在努力。未來，對抗算法究竟有多大的能量，大家都要拭目以待。」
RealAI公司CEO田天博士的觀點也同樣不拘泥於算法間的針鋒相對，他關注對抗算法給人工智慧產業安全帶來的價值。
他說道：
「其實，我們的目標客戶並不是人臉識別算法公司，除了我們推測他們會自己開發對抗樣本相關技術之外，我們更希望能夠影響那些採購人臉識別算法的企業，以及權威的評測機構和政府監管者，推動人工智慧產業安全能力的提升。
比如國家電網集團採購了（我們公司的）算法和檢測平臺，用於對集團內部的目標檢測類算法（安防、電力設備、電路巡檢）進行評測，為保障電網運維安全貢獻價值。」
幾千年前的楚國，有人一手持矛，一手持盾，在街頭叫賣，旁人指出，「以子之矛，陷子之盾，何如？」
人臉識別算法和專攻人臉的對抗算法，表面上猶如長矛與盾牌。如果僅靠嚷嚷誰的技術更厲害，未免愚蠢。產業的要求是，算法的安全級別更上一層樓，是在人工智慧算法的研發周期裡加一道防火牆。
我們從攻防、對抗，討論到了人工智慧的根基，能不能下結論說「深度神經網絡」的魯棒性還不夠好？原因是不是我們研究得還不夠透，不夠深入？
這個問題，我也請教了喬治亞理工大學計算科學與工程系終身副教授，機器學習中心副主任宋樂教授，他與清華大學朱軍教授並列頂級學術會議 ICLR 2020 華人貢獻榜首位。
宋樂教授告訴我的第一句話是：「You can say that.（你可以這麼說。）」
他解釋道：
「深度學習網絡的魯棒性還有很多沒研究透徹之處。這包括模型設計、模型訓練等一系列問題。比如，模型設計上，如何設計神經網絡，讓它只關心人眼關心的信號，以及能像人一樣在識別人臉時，把感知（perception）和符號化推理（symbolic reasoning）結合起來。」
「再比如，人在看不太清楚和有疑慮的時候，會主動把注意力放在臉部細節上，比如嘴巴和眼睛的形狀，或者臉上的表情，通過判斷和推理細節的正確組合來進一步識別。深度學習網絡還不能作到這一點。所以，後續研究的一個重要問題是：如何讓深度學習把感知和符號化推理相結合？
我相信，這也是人工智慧下一步的重要研究方向。」
人工智慧的今天，百姓日用為道。
而學術界眾人皆知的秘密——深度神經網絡容易受到對抗樣本的攻擊，通過添加難以察覺的擾動來誤導分類器。這也是質疑人工智慧技術不夠安全的原因之一。
而工業界眾人皆知的秘密——深度神經網絡的安全性和性能同步增長是非常困難的事情。魚和熊掌如何兼得？
一部分人關心，人工智慧夠不夠聰明？
一部分人關心，人工智慧夠不夠安全？
世事不難，我輩何用。科學家們早已出發，他們決心深入腹地，探索人工智慧的未來。
於是，對抗樣本的論文，以步兵的姿態進入人工智慧所有頂級學術會議。
在鏗鏘的步履聲中，開源社區的軍號聲遼遠響起，集結力量，呼喚創新。
哪裡有唾手可得的對抗算法開源？
第一波，由谷歌員工開源的代碼庫Cleverhans，用於對對抗示例漏洞進行基準測試。這是全球最早的開源項目，其中也有清華大學計算機科學與技術系人工智慧研究所董胤蓬博士的貢獻。
第二波，IBM公司的對抗性魯棒性工具箱（ART），是目前用於機器學習安全性做得最好的，最全面的代碼庫。IBM公司花了很多力氣在做對抗算法，也一直在推對抗樣本攻擊算法與可解釋的人工智慧。
第三波，德國圖賓根大學開原始碼庫Foolbox。它提供了大多數已發布的對抗性攻擊方法，用於基準測試。
截至目前，沒有工業級別的開源對抗模型，開原始碼還停留在學術數據集上使用的階段。沒有定製化的修改，工業界依然高度依賴學術界分享的成果與信息。全球頂級大廠也把對抗樣本技術用在知名產品身上，比如IBM公司的沃森，亞馬遜公司的Alexa，這一次，對抗樣本的責任不是攻擊，而是保護。
川普若有座右銘，那定是「順我者昌，逆我者亡」。
他還對假視頻惡搞之仇懷恨在心。美國總統辦公室裡咖啡杯摔碎了，還傳來咒罵聲：「那個深度偽造技術，你們都給我盯緊一點，連我也敢戲弄。」
天下一物降一物，「深度偽造技術」也有克制之法。
田天博士告訴我：「深度偽造技術並非萬無一失。生成的造假視頻的畫面中會有不自然的紋理存在，讓其學習正常情況中的紋理特徵，再以此檢測造假視頻中不一致的紋理，這一方法可以用於打假。
自古文無第一，武無第二。
「對抗樣本」與「深度偽造技術」都可以造假，到底誰更牛？
田天博士回答道：「對抗樣本是探究神經網絡的學習原理，而深度偽造技術屬於神經網絡的應用，如果要一較高下，做應用比研究原理簡單一些。」
「無論何時，只要人們談及網絡空間安全形勢，一定會用形勢嚴峻、應對能力不足等悲觀說法，這往往會讓決策者感到迷惑：網絡空間安全領域為何總是缺少作為呢？」
2020年5月，方濱興院士在《人工智慧安全》一書中給出的解釋是，新技術必然會帶來新的安全問題，這是「伴生效應」。
踏過，字符的河流，
趟過，貝葉斯的淺灘，
網際網路的信徒向賽博空間祈禱，
請賜理想之地，
只要純淨，
只要安全。
可惜現代繁華包庇惡俗，
可惜物理世界暗藏殺戮，
祈禱純淨，不如為良知禱告。
尋找理想之地，創造者們划著船，雄渾地行在曲折的水道中，他們的前進，有風、有浪，更有生命的激情。
-正文結束-
對抗攻擊學術論文整理：
第一篇:Defense against Adversarial Attacks Using High Level RepresentationGuided Denoiser
標題：用「高階特徵引導去噪器」防禦神經網絡對抗攻擊
摘要：眾所周知，神經網絡容易受到對抗樣本的攻擊，這對於其在安全系統中的應用構成了威脅，本文提出了一種高階特徵引導的去噪器(HGD)來作為圖像分類器的抵禦方法。標準的去噪器通常具有誤差放大效應，即便是微小的殘餘對抗噪音也會逐步被放大，最終導致圖像分類錯誤。HGD通過損失函數來解決這一問題，其中涉及的損失函數是由原始乾淨圖像與去噪後的圖像在目標模型中的輸出差異所定義，與目前最先進的針對大面積圖像的防禦方法比較，HGD具有三大優勢：
第一，利用HGD作為防禦，目標模型對白盒攻擊和黑盒攻擊都具有更強的魯棒性；
第二，在少量樣本子集上訓練的HGD能夠很好地泛化到其他樣本甚至沒有見過的樣本類別上。
第三，HDG效率更高，需要更少的訓練數據和訓練時間。在NIPS對抗樣本防禦賽中，本文提出的HGD贏得了第一名，並在很大程度上優於其他模型。
第二篇：Boosting Adversarial Attacks with Momentum
標題：使用基於動量的迭代算法來增強對抗攻擊
摘要：深度神經網絡容易受到對抗樣本的攻擊，考慮到可能導致嚴重後果，神經網絡的安全問題常常被提及。對抗性攻擊是在部署深度學習模型之前評估其魯棒性的重要手段，但是現有的攻擊手段在黑盒模型上的成功率非常低。為了解決這一問題，本文提出了一類基於動量的迭代算法來增強對抗攻擊效果。通過將動量項整合到攻擊的迭代過程中，該方法可以穩定更新方向，並在迭代過程中避開局部最大值，從而得出遷移性更優的對抗樣本。為了進一步提高黑盒攻擊的成功率，本文將動量迭代算法應用到模型集合的場景中，證明了具有較強防禦能力的對抗訓練模型也容易受到我們的黑盒攻擊。我們希望所提出的方法可以作為評估各種深度模型和防禦方法魯棒性的基準。通過這種方法，我們在NIPS 2017對抗樣本攻防競賽的「無目標對抗攻擊」和「定向目標對抗攻擊」的兩個項目中均獲得了第一名。
第三篇：Efficient Decision Based Black BoxAdversarial Attacks on Face Recognition
標題：高效的基於決策的人臉識別黑盒對抗攻擊
摘要：近年來，基於深度卷積神經網絡的人臉識別取得了顯著的成就。但是，深度卷積神經網絡很容易受到對抗樣本的攻擊，這對於現實世界裡用於安全目的的人臉識別應用來說，可能存在巨大的安全威脅。為了驗證當前最先進的人臉識別模型的安全性，本文評估了最新的人臉識別模型在基於決策的黑盒攻擊環境下的魯棒性，即無法訪問模型參數或梯度，只能通過向目標模型發送查詢來獲取預測標籤。這種攻擊設置在實際情況的人臉識別系統中更為實用。本文提出了一種基於演化算法的高效攻擊方法，充分利用搜索空間的局部幾何特性，並通過降低搜索空間的維數來提高攻擊效率。大規模實驗表明，該方法比已有的攻擊方法更高效，能夠以較少的查詢對輸入的人臉圖像產生最小的擾動。同時，我們也基於該方法對實際環境下的第三方人臉識別系統進行了攻擊驗證，也充分展示出優越性能。
第四篇：Evading Defenses to Transferable Adversarial Examples by TranslationInvariant Attacks
標題：利用平移不變攻擊應對可遷移對抗性樣本的防禦
摘要：深度神經網絡容易受到對抗性樣本的攻擊，通過添加難以察覺的擾動來誤導分類器。對抗樣本的是一個有趣特性就是具有良好的可遷移性，這使得實際應用的黑盒攻擊變得可行。由於對抗攻擊的威脅，目前已經有許多方法被提出用來提高魯棒性，其中幾種最先進的防禦措施均對可遷移的對抗樣本表現出良好的抵禦能力。本文提出了一種平移不變攻擊方法，通過產生更可遷移的對抗樣本有效應對發防禦模型。通過在一個平移圖像集上優化擾動，生成的對抗樣本對受到攻擊的白盒模型不太敏感，並且具有更好的可遷移性。為了提高攻擊效率，我們進一步證明了，該方法可以在未平移圖像上卷積梯度來實現。我們的方法適用於任何基於梯度的攻擊方法，在ImageNet數據集的大量實驗也驗證了本方法的有效性。我們最好的攻擊成績，是以82%的平均成功率愚弄了8個最領先的防禦模型，而且僅基於遷移性，這也證實了現有防禦技術的不安全。
第五篇：Improving Adversarial Robustness via Promoting Ensemble Diversity
標題：通過提升集合多樣性來提高對抗魯棒性
摘要：雖然通過模型集合的方式，深度神經網絡在各種任務上取得了顯著進展，但現有的高性能模型卻很容易受到對抗樣本攻擊。許多研究聚焦於提高單個神經網絡模型的魯棒性和可靠性，然後直接構造一個模型集成策略，例如直接平均輸出的方法，而忽略模型集成中各個子模型之間的相互作用。本文提出了一種新的方法來研究神經網絡間的相互作用，以提高模型集成方法的魯棒性。從技術上講，我們將對抗環境下的集合多樣性重新定義為單個網絡模型的非最大預測之間的差異，並提出了一種自適應多樣性促進（ADP）正則化器來提升多樣性，這使得對抗樣本很難在各個單獨的網絡模型之間遷移，從而使整個模型集成具有更好的魯棒性。我們的方法計算效率高，並且兼容於單個網絡模型的防禦方法。在不同數據集上的實驗結果表明，我們的方法可以有效提高對抗魯棒性，同時在正常情況下能夠保持領先準確性。
第六篇：Improving black box adversarial attacks with a transfer based prior(NeurIPS 2019)
標題：引入遷移梯度作為先驗以提高黑盒攻擊效果
摘要：在對抗攻擊任務中，我們關注黑盒的設定，即攻擊者不能完整訪問到目標模型的架構和參數信息，故無法直接得到模型的輸出關於輸入的梯度。先前的方法試圖通過使用替代白盒模型的遷移梯度或基於查詢來近似梯度反饋，但是在高維空間中利用有限的信息來估計梯度是非常複雜的，因此這些方法通常攻擊成功率低或查詢效率低。為了解決這一問題，本文提出了一種受先驗引導的隨機無梯度（P-RGF）方法來改進黑盒攻擊效果，該方法同時利用基於遷移的先驗信息和查詢信息。通過理論推導得出的最優參數，本方法將替代模型的遷移梯度先驗引入到基於查詢的攻擊算法中。大量的實驗表明，與現有方法相比，我們的方法減少了黑盒攻擊成功所需要的查詢數量，而且成功率更高。
第七篇：Rethinking Softmax Cross-Entropy Loss for Adversarial Robustness, ToAppear in proc. of International Conference on Learning Representations (ICLR),Addis Ababa,Ethiopia, 2020.
標題：對Softmax交叉熵損失函數提升對抗魯棒性的再思考
摘要：先前的工作表明，提高對抗魯棒性的泛化性往往需要基於大而複雜的樣本，例如CIFAR-10數據集雖然能得到具有正常識別精度的模型，但往往難以訓練出魯棒的模型。然而收集新的訓練數據成本較高，因此通過在特徵空間中選擇引入高樣本密度的區域來集中利用給定數據，能夠獲得局部足夠樣本進行魯棒學習。本文首先表明了Softmax交叉熵(SCE)損失函數及其變體傳遞了不恰當的監督信號，這促使學習獲得的特徵點在訓練過程中稀疏地散布在整個空間中。在此思路的啟發上，本文主要提出MMC損失函數（Max-Mahalanobis）方法，以明確誘發密集的特徵區域提高魯棒性。也就是說，MMC損失函數促使模型專注於有序和緊湊的學習表示，這些表示聚集在預先設定的用於不同類的最優中心周圍。根據經驗證明，即使在強自適應攻擊下，應用MMC損失函數也能顯著提高魯棒性，同時在不需要額外計算的情況下，在純淨輸入樣本上保持與SCE損失相當的高精度。
第八篇：Mixup Inference: Better Exploiting Mixup to Defend AdversarialAttacks，ICLR 2020.
標題：利用混合推理更好地防禦對抗樣本攻擊
摘要：眾所周知，對抗樣本能夠很容易欺騙深度神經網絡，這主要由於神經網絡在輸入樣本附近的不合理表現。Mixup訓練模型則提供了一種有效的防禦機制，在訓練中引入了全局線性行為，從而提升模型的泛化性能和魯棒性。但是，此前Mixup訓練的模型只是對輸入樣本做直接分類，並不能夠很好的利用引入的全局線性，所以面對對抗樣本攻擊時只是被動防禦。本文主要對Mixup訓練模型開發了一個名為「Mixup推理」（MI）新推理原理，將輸入樣本與其他隨機純淨樣本混合，如果輸入樣本是對抗性的，則縮小並傳遞等效擾動。通過在CIFAR-10和CIFAR-100數據集上驗證表明，MI可以進一步提高由Mixup訓練模型及其變體訓練模型的魯棒性。
值得一提的是，清華大學計算機科學與技術系人工智慧研究所，董胤蓬博士的黑盒攻擊算法正在成為業界認可的標準算法（谷歌學術中的論文應用次數，超過500次）。
原標題：《黑客如何用一副紙眼鏡，就「弄瞎」人臉識別算法？》
閱讀原文