人工智慧安全對抗賽,機器時代的攻與防

2021-01-08 澎湃新聞

文/陳根

歷史表明,網絡安全威脅隨著新技術的進步而增加。

關係資料庫帶來了SQL注入攻擊,Web腳本程式語言助長了跨站點腳本攻擊,物聯網設備開闢了創建殭屍網絡的新方法。網際網路打開了潘多拉盒子的數字安全弊病;社交媒體創造了通過微目標內容分發來操縱人們的新方法,使網絡用戶更容易收到網絡釣魚攻擊的信息;比特幣使得加密ransowmare攻擊成為可能。

近年來網絡安全事件不斷曝光,新型攻擊手段層出不窮,安全漏洞和惡意軟體數量更是不斷增長。2019年VulnDB和CVE收錄的安全漏洞均超過了15000條,平均每月高達1200條以上。2019年CNCERT全年捕獲計算機惡意程序樣本數量超過6200萬個,日均傳播次數達824萬餘次,涉及計算機惡意程序家族66萬餘個。

根據研究集團IDC的數據,到2025年聯網設備的數量預計將增長到420億臺。我們正在迅速進入「超數據」時代,但是,在數據算法大行其道人工智慧方興未艾的今天,我們也迎來了新一輪安全威脅。

人工智慧攻擊如何實現?

我們先想像一個超現實場景:

未來的恐怖襲擊是一場不需要炸彈、鈾或者生化武器的襲擊,想要完成一場恐怖襲擊,恐怖分子們只需要一些膠布和一雙健步鞋。通過把一小塊帶有電子晶片的膠布粘貼到十字路口的交通信號燈上,恐怖分子就可以讓自動駕駛汽車將紅燈識別為綠燈,從而造成交通事故。在城市車流量最大的十字路口,這足以導致交通系統癱瘓,而這卷膠布可能只需 1.5 美元。

以上就是「人工智慧攻擊」,那麼它又是如何實現的?

要了解人工智慧的獨特攻擊,需要先理解人工智慧領域的深度學習。深度學習是機器學習的一個子集,其中,軟體通過檢查和比較大量數據來創建自己的邏輯。機器學習已存在很長時間,但深度學習在過去幾年才開始流行。

人工神經網絡是深度學習算法的基礎結構,大致就是模仿人類大腦的物理結構。傳統軟體開發需要程式設計師編寫定義應用程式行為的規則,與傳統的軟體開發方法相反,神經網絡只需通過閱讀大量示例就能創建自己的行為規則。

當你為神經網絡提供訓練樣例時,它會通過人工神經元層運行它,然後調整它們的內部參數,以便能夠對具有相似屬性的未來數據進行分類。這對於手動編碼軟體來說是非常困難的,但對神經網絡而言卻非常有用。

舉個簡單的例子,如果你使用貓和狗的樣本圖像訓練神經網絡,它將能夠告訴你新圖像是否包含貓或狗。使用經典機器學習或更古老的人工智慧技術執行此類任務非常困難,一般很緩慢且容易出錯。近年興起的計算機視覺、語音識別、語音轉文本和面部識別都是藉助深度學習而獲得巨大進步。

但由於神經網絡過分依賴數據,從而引導神經網絡犯錯。一些錯誤對人類來說似乎是完全不合邏輯甚至是愚蠢的,人工智慧也由此變成了人工智障。例如,2018年英國大都會警察局用來檢測和標記虐待兒童圖片的人工智慧軟體就錯誤地將沙丘圖片標記為裸體。

當這些錯誤伴隨著神經網絡而存在,人工智慧算法帶來的引以為傲的「深度學習方式」,就成了敵人得以攻擊和操控它們的方法。於是,在我們看來僅僅是被輕微汙損的紅燈信號,對於人工智慧系統而言則可能已經變成了綠燈,這也被稱為人工智慧的對抗性攻擊,即引導了神經網絡產生非理性錯誤的輸入,強調了深度學習和人類思維功能的根本差異。

儘管恐怖襲擊看起來遠在天邊,但這一類的安全威脅卻近在眼前。上一陣子引起惶恐的豐巢智能快遞櫃刷臉功能就被小學生破解,一群小學生只用一張列印照片就能代替真人刷臉,騙過「人工智慧」快遞櫃,取出父母的包裹。比利時魯汶大學的兩位少年僅僅通過在肚子上貼一張圖片就輕鬆躲過了目標檢測界翹楚YOLOv2的火眼金睛,成為了一個「隱形人」。

此外,隨著人工智慧技術的發展,我們生活中將有更多的方面需要用到這種生物識別技術,其一旦可以被輕而易舉地攻擊便貽害無窮。除了圖像領域,在語音系統上,全球知名媒體TNW(The Next Web)在早些時候也進行過報導,黑客能夠通過特定的方式欺騙語音轉文本系統,比如在用戶最喜愛的歌曲中偷偷加入一些語音指令,即可讓智能語音助手轉移用戶的帳戶餘額。

此外,對抗性攻擊還可以欺騙GPS誤導船隻、誤導自動駕駛車輛、修改人工智慧驅動的飛彈目標等,對抗攻擊對人工智慧系統在關鍵領域的應用構成了真正的威脅。

基於深度學習的網絡威脅

全球數位化時代才剛開始,黑客的攻擊卻存在已久,尤其是近年來的黑客襲擊事件給網民們留下深刻陰影。2007年,熊貓燒香病毒肆虐中國網絡;2008年,Conficker蠕蟲病毒感染數千萬臺電腦;2010年,百度遭史上最嚴重的黑客襲擊;2014年,索尼影業遭襲導致董事長下臺;2015年,美國政府遭襲,僱員資料外洩……

當人工智慧技術的研究風聲迭起時,也就是網絡世界戰爭的白熱化階段。對於黑客利用人工智慧技術進行攻擊的可能性預測,或許會幫助我們在網絡世界的攻守裡達到更好效果。

目前,網絡威脅的大部分惡意軟體都是通過人工方式生成的,即黑客會編寫腳本來生成電腦病毒和特洛伊木馬,並利用Rootkit、密碼抓取和其他工具協助分發和執行。

那麼,機器學習如何幫助創建惡意軟體?

機器學習方法是用作檢測惡意可執行文件的有效工具,利用從惡意軟體樣本中檢索到的數據(如標題欄位、指令序列甚至原始字節)進行學習可以建立區分良性和惡意軟體的模型。然而分析安全情報能夠發現,機器學習和深度神經網絡存在被躲避攻擊(也稱為對抗樣本)所迷惑的可能。

2017年,第一個公開使用機器學習創建惡意軟體的例子在論文《Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN》中被提出。惡意軟體作者通常無法訪問到惡意軟體檢測系統所使用的機器學習模型的詳細結構和參數,因此他們只能執行黑盒攻擊。論文揭示了如何通過構建生成對抗網絡(generative adversarial network, GAN)算法來生成對抗惡意軟體樣本,這些樣本能夠繞過基於機器學習的黑盒檢測系統。

如果網絡安全企業的人工智慧可以學習識別潛在的惡意軟體,那麼黑客就能夠通過觀察學習防惡意軟體做出決策,使用該知識來開發「最小程度被檢測出」的惡意軟體。

2017 DEFCON會議上,安全公司Endgame透露了如何使用Elon Musk的OpenAI框架生成定製惡意軟體,其所創建的惡意軟體無法被安全引擎檢測發現。Endgame的研究看起來是有惡意的二進位文件,通過改變部分代碼,改變後的代碼可以躲避防病毒引擎檢測。

數據投毒

不論是人工智慧的對抗性攻擊還是黑客基於深度學習的惡意軟體逃逸,都屬於人工智慧的輸入型攻擊(Input Attacks),即針對輸入人工智慧系統的信息進行操縱,從而改變該系統的輸出。從本質上看,所有的人工智慧系統都只是一臺機器,包含輸入、計算、輸出三環節。攻擊者通過操縱輸入,就可以影響系統的輸出。

而數據投毒便屬於典型的汙染型攻擊(Poisoning Attacks),即在人工智慧系統的創建過程中偷偷做手腳,從而使該系統按照攻擊者預設的方式發生故障。這是因為人工智慧通過深度學習 「學會」如何處理一項任務的唯一根據就是數據,因此汙染這些數據,通過在訓練數據裡加入偽裝數據、惡意樣本等破壞數據的完整性,進而導致訓練的算法模型決策出現偏差,就可以汙染人工智慧系統。

數據中毒的一個示例就包括訓練面部識別認證系統以驗證未授權人員的身份。在2018年Apple推出新的基於神經網絡的Face ID身份驗證技術之後,許多用戶開始測試其功能範圍。正如蘋果已經警告的那樣,在某些情況下,該技術未能說出同卵雙胞胎之間的區別。

但其中一個有趣的失敗是兩兄弟的情況,他們不是雙胞胎,看起來不一樣,但年齡相差多年。這對兄弟最初發布了一段視頻,展示了如何用Face ID解鎖iPhone X。但後來他們發布了一個更新,說明了他們實際上通過使用他們的面部訓練其神經網絡來欺騙Face ID。當然,這是一個無害的例子,但很容易看出同一模式如何為惡意目的服務。

中國信息通信研究院安全研究所發布的《人工智慧數據安全白皮書(2019年)》也提到了這一點。白皮書指出,人工智慧自身面臨的數據安全風險包括:訓練數據汙染導致人工智慧決策錯誤;運行階段的數據異常導致智能系統運行錯誤(如對抗樣本攻擊);模型竊取攻擊對算法模型的數據進行逆向還原等。

值得警惕的是,人工智慧與實體經濟深度融合,醫療、交通、金融等行業對於數據集建設的迫切需求,使得在訓練樣本環節發動網絡攻擊成為最直接有效的方法,潛在危害巨大。比如在軍事領域,通過信息偽裝的方式可誘導自主性武器啟動或攻擊,可能帶來毀滅性風險。

人工智慧時代的攻與防

未來的機器時代是道高一尺魔高一丈的世界,而今天的網絡安全問題早已突破了虛擬與現實的邊界。國家與地域的邊界,成為廣泛存在的全球性問題。網絡安全是一個龐大的系統工程,構建這個系統則需要以全球的深度連接為基礎。

此外,網絡安全要以人與人工智慧的共同值守為特徵。隨著各類網際網路技術的爆發式成長,網絡攻擊的手段也不斷豐富和升級,但是唯一不變的就是變化本身。防禦網絡攻擊,必須具備快速識別、快速反應、快速學習的能力。

如果是病毒威脅入侵,用機器學習檢測的方法,勢必很難解決。因此,只有在綜合的技術運用下,理解信息洩露及其中的關聯,弄清黑客如何入侵系統,攻擊的路徑是什麼,又是哪個環節出現了問題。找出這些關聯,或者從因果關係圖譜角度進行分析,增加分析端的可解釋性,才有可能做到安全系統的突破。

對抗網絡安全的風險還需要擁有智慧的動態防禦能力,網絡安全的本質是攻防之間的對抗。在傳統的攻防模式中,主動權往往掌握在網絡攻擊一方的手中,安全防禦力量只能被動接招。但在未來的安全生態之下,各成員之間通過數據與技術互通、信息共享,實現彼此激發,自動升級安全防禦能力甚至一定程度的預判威脅能力。

當然,網絡安全本來就是一個高度對抗、動態發展的領域,這也給殺毒軟體領域開闢了一個藍海市場。人工智慧殺毒行業面臨著重大的發展機遇,殺毒軟體行業首先應該具有防範人工智慧病毒的意識,然後在軟體技術和算法安全方面重視信息安全和功能安全問題。

以現實需求為牽引,以高新技術來推動,就有可能將人工智慧病毒查殺這個嚴峻挑戰轉變為殺毒軟體行業發展的重大契機。

相關焦點

  • 極棒2018國際安全極客大賽將舉行 人工智慧安全問題引發關注
    但人工智慧在各領域的廣泛應用,也造成了數據洩露等安全隱患。8月10日,極棒2018國際安全極客大賽美國拉斯維加斯站比賽將舉行,碁震(KEEN)公司CEO、大賽發起創辦人王琦表示,人工智慧還存在很多缺陷,希望通過對各種安全漏洞的挑戰,讓更多人意識到人工智慧的安全問題。人工智慧的應用會造成哪些危害?
  • 360杜躍進:以攻促防 360強勢打造網絡攻防靶場
    12月8日,「以戰促防,錘鍊實戰防禦體系——360實網攻防靶場發布會」重磅登錄ISC平臺。360政企安全集團強勢推出「實網攻防靶場平臺」,幫助用戶開展安全能力體系實戰檢驗,為政企用戶提供一站式的網絡攻防演練服務支撐。
  • 360杜躍進:以攻促防,360強勢打造網絡攻防靶場
    通過網絡靶場的網絡安全體系,同步規劃建設數字孿生時代下的安全底座,打造出一個應對大安全挑戰的系統化平臺,從而護航網絡安全發展。>數字孿生時代,軟體定義一切、萬物全面互聯、數據驅動業務。因此,在缺乏實戰經驗的前提下,亟需評估攻防對抗中的對手、環境及自身能力的有效手段,從而彌補安全對抗中認知、經驗、能力的不足等情況。
  • ISC 2020靶場與實網攻防對抗論壇:俯瞰網絡安全全局,決勝實網攻防...
    ,並圍繞「實網攻防靶場技術先進性」、「實網攻防與安全產業落地的結合」、「金融行業實網防護最佳實踐」、「攻方視角下的實網攻防-未知攻焉知防」、「網絡靶場:從專業賦能到實戰攻防-賽 博空間的對抗與演進」五大議題展開安全攻防思維博弈。
  • 機器翻譯新紀元:人工智慧的實際落地
    應用落地  機器翻譯的歷史幾乎是人工智慧的縮影。上世紀九十年代,機器翻譯完成了從以規則為基礎的方法到統計方法的蛻變,基於大數據加以分析以完善翻譯系統,喚起了機器翻譯新紀元。  事實上,早在1954年冷戰時期,當科學家首次公開發布了一款能翻譯人類語言的機器時,人們就堅信,一旦通用翻譯機器問世,不僅能讓美國在國家安全上領先蘇聯,還能消除語言障礙,促進世界和平——幾十年之後,我們發現,這個良善的判斷愈加接近於正確。  你得承認,當「地球村」三個字愈加脫離比喻成為現實,當人們覓得彼此,卻聽不懂彼此語言,著實有些尷尬。
  • 從賢二機器僧 看人工智慧與佛法傳播
    北京龍泉寺動漫中心副主任賢帆法師以「人工智慧與佛法傳播之賢二」,分享賢二機器僧的發想到帶來的影響,以及在佛法傳播中所扮演的角色。(圖片來源:人間社 攝影:林靖敏)北京龍泉寺動漫中心副主任賢帆法師以講題「人工智慧與佛法傳播之賢二」,從賢二的發想到帶來的影響,以及在佛法傳播中所扮演的角色。北京龍泉寺方丈學誠法師曾說賢二機器僧是一個充滿靈性與人性溫暖的文化符號,指出如不運用高科技,佛法的聲音將無法傳播,佛教傳播的形式,應是大眾喜聞樂見,和社會同步發展的。
  • 第一本由AI翻譯的書來了 人工智慧時代機器將要替代人工翻譯
    經濟觀察網記者陳伊凡8月22日,由網易有道公司和電子工業出版社合作出版的《極簡區塊鏈》中文版圖書亮相2018北京國際圖書博覽會,此為全球首本由AI機器完成翻譯、人工審校的圖書。此次翻譯的譯者為網易有道AI翻譯,採用有道神經網絡翻譯技術,該書的中英文圖書得以同步發售。
  • 由「機器人」到「人機器」人工智慧發展史
    1開篇綜述:什麼是人工智慧機器人    隨著智能時代的到來,機器人越來越多的參與到我們的生活和工作中來,而電影《超能陸戰隊》和《復仇者聯盟2》人工智慧機器人題材的電影的熱播,引發很多影迷甚至專業人士對於人工智慧的關注和思考。那智慧機器人是什麼時候發明的?又有幾個重要時期?
  • ...AI發布首個企業級隱私保護機器學習平臺與升級版AI模型殺毒軟體
    清華大學人工智慧研究院院長、中科院院士張鈸,清華大學教授、中科院院士王小雲,清華大學教授、安全人工智慧創新中心主任朱軍、北京智源人工智慧研究院院長黃鐵軍,清華大學技術轉移研究院院長王燕、瑞萊智慧RealAI CEO田天等出席大會。本次會議上,瑞萊智慧RealAI旗下兩款第三代AI新品——隱私保護機器學習平臺RealSecure和人工智慧安全平臺RealSafe2.0 版本正式發布。
  • 【深度】機器時代的法律與世界
    從對局進程來看,這種模糊計算的可能性極大(參見第二局第37手打破職業高手眼鏡的五路肩衝,這手棋從人類棋譜中幾乎是看不見的)。於是乎,我們可以發現,機器已經開始涉足一個人類私有的領地——感覺。當機器開始感覺,那它覺醒的日子也為時不遠了。有文章將這個機器覺醒的時間點成為「奇點」。如果「奇點」真的存在,那麼在奇點之後,必將開啟一個新的機器時代。
  • 騰訊安全攜手極棒發起第二屆雲安全比賽 演繹雲安全時代下的攻與防
    基於對雲安全問題的思考和研究,GeekPwn攜手騰訊安全雲鼎實驗室啟動第二屆GeekPwn2020雲安全比賽,7月11-12日先期啟動的雲靶場挑戰賽熱身賽,將以解題模式來考察選手在實戰狀態下的技術實力,鼓勵參賽選手對雲計算設施的安全研究,提升雲上安全水平,探索雲安全的前沿發展趨勢。本屆雲安全比賽項目包括「雲靶場挑戰賽」和「雲安全開放賽」兩部分。
  • 人工智慧在機場安全安保中的應用與發展
    那麼,對於機場安全安保來說,人工智慧到底有什麼影響?又會對安全安保有哪些新思路,新方向呢?近日,公安部第三研究所物聯網技術研發中心主任梅林在第四屆中國機場安全(安保)大會上就「人工智慧在機場安全安保中的應用」發表了主旨演講,並對未來機場安全安保智能化發展起到了拋磚引玉、推波助瀾的重要作用。
  • 機器是如何被騙並騙人的?
    下面是我個人對這個問題的分析。在《計算機會有超人的智能嗎?》一文中,我說到機器學習通常把「學習」看作以「計算」為途徑和目標。從計算的觀點看,用計算機解決一個問題就是實現一個從輸入到輸出的函數。以數值函數為例,如果已知從輸入X,Y到輸出Z的關係是 Z = X2–Y,那麼當輸入是(2,3)時,輸出是1;輸入是(4,7)時,輸出是9;輸入是(3,5)時,輸出是4。
  • 瑞萊智慧RealAI發布首個企業級隱私保護機器學習平臺與升級版AI...
    藍鯨TMT頻道12月9日訊,在2020第三代人工智慧產業論壇暨瑞萊智慧RealAI戰略發布會上,瑞萊智慧RealAI 正式發布旗下兩款第三代AI新品——隱私保護機器學習平臺RealSecure和人工智慧安全平臺RealSafe2.0
  • 人工智慧時代,哪些是低危職業
    確實,不少領域都已經出現了來自人工智慧的威脅:高速公路收費站用ETC取代收費員,ETC就是一種人工智慧;銀行營業廳安裝了各種銀行業務機器,取代了窗口櫃員;各種新聞提到,曾經是金飯碗的證券公司操作員已經大量被機器取代……這些信息都預示著,機器正在並將要取代曾經可以廣泛就業的職業,甚至這些職業很多都還是高收入崗位。
  • 胡泳|在人工智慧時代生存和成長
    那個時代,我們認為也許可以造出一個擊敗西洋棋冠軍的機器人,但是不可能有一個程序可以擊敗圍棋,因為圍棋號稱比西洋棋複雜太多了,所以我們覺得還可以賽跑。今天我們說「與機器賽跑」肯定過時了,已經沒辦法跟機器賽跑了。總不能說人工智慧程序下一個要攻破的目標是麻將?
  • RealAI推出可在線測評算法模型的安全平臺
    4月8日,孵化自清華AI研究院的創業團隊RealAI(瑞萊智慧)正式推出國內首個針對算法模型本身安全的檢測平臺——RealSafe人工智慧安全平臺。作為人工智慧時代的「殺毒軟體」,RealSafe提供從測評到防禦完整的解決方案,快速緩解對抗樣本攻擊威脅。
  • GeekPwn2019:匯聚全球頂尖黑客 解剖雲、AI、隱私等安全攻守道
    從第一屆GeekPwn大會走到現在,GeekPwn這個舞臺已經走出了不少中國安全領域的頂梁柱級的人物,有了越來越多的朋友,也推動了越來越多的廠商認識到安全的重要性,藉助GeekPwn舞臺來推動產品升級與漏洞修復。  實戰演練全新挑戰,感受攻與防的極致樂趣  以雲計算、AI、物聯網、5G為代表的前沿科技的普及,正在拓寬極客的影響力邊界。
  • 人工智慧機器視覺的挑戰和好處
    打開APP 人工智慧機器視覺的挑戰和好處 51cto 發表於 2020-12-24 13:57:51   人工智慧的改進與更好的機器視覺控制相結合,為智能製造行業創造了至關重要的新組成部分–高精度和可擴展的故障檢測。
  • 錘鍊數位化時代的實網攻防技術,ISC 2020靶場與實網攻防對抗論壇拉...
    ,並圍繞「實網攻防靶場技術先進性」、「實網攻防與安全產業落地的結合」、「金融行業實網防護最佳實踐」、「攻方視角下的實網攻防-未知攻焉知防」、「網絡靶場:從專業賦能到實戰攻防-賽博空間的對抗與演進」五大議題展開安全攻防思維博弈。