追蹤科技前沿,關注產業發展
▎科學人
科技·教育·文化
方濱興院士:人工智慧安全之我見
© 黃曉豔播報
方濱興 網絡空間安全專家。
1960年7月17日出生於哈爾濱,江西萬年縣人。先後獲得清華大學碩士、哈爾濱工業大學博士學位。曾任哈爾濱工業大學網絡中心主任、國家計算機網絡與信息安全管理中心主任、信息產業部網際網路應急處理協調辦公室主任、北京郵電大學校長。現任中國電子信息產業集團首席科學家、哈爾濱工業大學(深圳)計算機學院首席學術顧問、廣州大學網絡空間先進技術研究院名譽院長、信息內容安全技術國家工程實驗室主任、可信分布式計算與服務教育部重點實驗室主任、國家信息化專家諮詢委員會網絡與信息安全專業委員會副主任、中國網絡空間安全協會理事長、中國中文信息學會理事長、中國雲安全與新興技術安全創新聯盟理事長、中國通信標準化協會網絡與信息安全技術委員會主席、教育部網絡空間安全學科評議組召集人。
長期從事網絡與信息安全技術研究工作。1989年開始研究計算機病毒防禦技術,並於1992年出版《計算機病毒及其防範》專著,90年代末從事計算機安全事件入侵檢測方面的研究工作。1999年提出建設國家信息安全基礎設施的理念,並組織建設了相關系統,為保障國家信息安全工作奠定了堅實的技術基礎。2002年起,先後獲得國家科技進步一、二等獎四次,其中三次為第一完成人。2001年獲信息產業部「在信息產業部重點工程中做出突出貢獻特等獎先進個人」稱號,2002 年獲國家「傑出專業技術人才」榮譽稱號,2007年獲何梁何利基金科學與技術進步獎。
2005年當選中國工程院院院士。
方濱興院士
人工智慧在推動經濟社會創新發展的同時,也在重塑人類安全的未來。從宏觀的角度來看,作為一個新技術和安全有什麼樣的關係?當一個新技術應用於安全時會存在如下兩種情況。
一種是應用新技術服務於安全領域,我們說是新技術賦能安全領域。當然既可以服務於防禦行為,利用大數據可以分析網絡安全態勢,這算是賦能防禦;也可以服務於攻擊行為,例如量子計算機的出現導致現有的密碼體系失去了原有意義,這是賦能攻擊。
第二種是每出現一種新技術就會帶來新的安全問題,我們說這屬於安全的一種伴生技術。它也有兩種情況,一種是新技術本身不成熟帶來了自身的安全問題,例如移動網際網路的基站帶來了偽基站攻擊的問題,這屬於內生安全;還有一種情況是新技術的問題對自身沒有什麼影響,但危害了其他領域,例如區塊鏈的去中心化問題 原本屬於「可控性缺失」的缺陷,其對區塊鏈本身沒有什麼影響,但卻挑中了中心制管理體系(如比特幣就不能沒收違法所得),這屬於衍生安全。
人工智慧賦能於安全領域
首先,人工智慧可以賦能於防禦。人工智慧機器學習模型為積 極主動的網絡防禦帶來了新途徑。智能模型採用積極主動的方式,而不是傳統的被動應對方式;同時,利用人工智慧的預測能力和機器學習的進化能力,可以為我們提供抵禦複雜網絡威脅的手段。本質上來講,最重要的變化是在網絡攻擊發生之前就進行預警並採取阻斷措施。麻省理工學院研發的基於人工智慧的網絡安全平臺AI²,用人工智慧方法來分析網絡攻擊情況,幫助網絡安全分析師做那些類似「大海撈針」的工作。AI²系統首先利用機器學習技術自主掃描數據和活動,把發現的結果反饋給網絡安全分析師。網絡安全分析師將會標註哪些是真正的網絡攻擊活動,並將工程師的反饋納入AI²系統,從而用於對新日誌的自動分析。在測試中,研究小組發現AI²的準確性約為現今所使用的自動分析工具的3倍,大大減少誤報的概率。另外,AI²在分析過程中可以不斷產生新模型,這意味著它可 以快速地改善自己的預測率。系統檢測越多的攻擊活動,收到來自分析師的反饋越多,相對地可以不斷提高未來預測的準確性。據報導,AI²通過超過3.6億行日誌文件的訓練,使其可以分析出85%的攻擊行為,以便告警可疑行為。
其次,人工智慧可以賦能網絡攻擊,業內稱之為自動化或智能化網絡攻擊。通過機器人在人完全不幹預的情況下,自動化地進行計算機的攻擊。近年來連續發生的重大黑客事件,包括核心資料庫洩密、數以億計的帳戶遭入侵、WannaCry勒索病毒等都具有自動化攻擊的特點。通過藉助自動化工具,攻擊者可以在短時間內,以更高效、更隱蔽的方式對大量不同網站進行漏洞掃描和探測,尤其對於0day/Nday漏洞的全網探測,將會更為頻繁和高效。人工智慧強大的數據挖掘和分析能力,以及由此帶來的智能化服務,經常被黑客組織加以利用,藉助於人工智慧技術,形成更為擬人化和精密化的自動化攻擊趨勢,這類機器人模擬真人的行為會更聰明、更大膽,也更難以追蹤和溯源。當前,自動化、智能化的網絡攻擊正在不斷讓網絡安全防線頻頻失守,而這顯然需要引起網絡安全行業的足夠重視,需要從了解自動化網絡攻擊行為特點入手,及時採取措施。
早在2013年,美國DARPA就發起網絡超級挑戰賽(Cyber Grand Challenge,CGC),旨在推進自動化網絡攻防技術的發展,即實時識別系統漏洞,並自動完成打補丁和系統防禦,最終實現全自動的網絡安全攻防。DARPA給了104支參賽隊伍以兩年的時間做準備,要求他們首先開發一套全自動的網絡推理系統(Cyber Reasoning System,CRS),以便依靠人工智慧技術來支撐網絡攻擊。CRS可對主辦方動態給定的挑戰性程 序(Challenge Binary,CB)進行自動漏洞挖掘與補丁生成(防禦),需自動生成打補丁後的加固程序(Replacement CB,RCB);需自動生成漏洞利用程序(攻擊),即自動生成攻擊程序(Proof of Vulnerability,PoV);需自動生成入侵檢測(IDS)規則。2015年6月3日進行了初賽,24小時內,各隊CRS在無人幹預的情況下自動下載組織方提供的131道存在已知內存處理漏洞的CB,其共包含覆蓋了53個不同類型的通用缺陷列表(Common Weakness Enumeration,CWE)的590個漏洞,CRS需要自動分析程序並查找漏洞,然後提交自動生成的RCB和PoV。比賽結果是所預留的全部漏洞都分別被不同的CRS成功的發現並修補。最終有7支隊伍進入了決賽。決賽在2016年8月4日進行。決賽階段增加了線上參賽隊之間的實時對抗,並增加了網絡防禦能力(CRS可以自動 生成IDS規則)的評測。裁判機使用CRS提交的RCB、PoV和IDS規則,在獨立、隔離環境下交叉驗證(用A隊的PoV攻擊B隊的RCB),通過綜合攻擊表現、防禦表現、功能損失、性能損失來進行評判。最終,卡內基梅隆大學的For All Secure團隊的Mayhem獲得CGC冠軍,進而獲得人類的Defcon CTF參賽資格。在2016年8 月5-7日舉辦的Defcon CTF上,卡內基梅隆大學的Mayhem機器CTF戰隊與另外14支人類頂尖CTF戰隊同臺較量,並一度超過2支人類戰隊排名第13。自動化攻擊系統能站上Defcon CTF賽場,開創了「機器智能」和「自動化攻防」的新局面。由此可見,人工智慧在賦能攻擊的方面還是很強大的。
人工智慧所伴生的安全問題
人工智慧自身存在著脆弱性,例如對抗樣本就是人工智慧的內生安全問題。對抗樣本是機器學習模型的一個有趣現象,反映出了人工智慧算法的弱點。攻擊者通過在源數據上增加人類難以通過感官辨識到的細微改變,但是卻可以讓機器學習模型接受並做出錯誤的分類決定。一個典型的場景就是圖像分類模型的對抗樣本,通過在圖片上疊加精心構造的變化量,在肉眼難以察覺的情況下,讓分類模型產生誤判。對抗樣本除在圖像識別領域存在,也在其他領域存在,如語音、文本等。從網絡安全領域看,同樣存在類似於對抗樣本的攻擊問題,攻擊者通過對惡意代碼插入擾動操作就有可能對人工智慧模型產生欺騙。例如,有人就設計了一個惡意樣本,讓分類器將一個存有惡意行為的軟體認定為良性的變體,從而可以構造能自動逃逸PDF惡意軟體分類器的攻擊方法,以此來對抗機器學習在安全中的應用。上述安全問題都可能會導致同樣後果,就是導致人工智慧系統發生錯誤的決策、判斷,以及系統被控制等問題。
人工智慧技術存在著巨大的安全性挑戰。目前人工智慧系統還無法超出固有的場景或對特定語境的理解,人工智慧技術在下棋或遊戲等有固定規則的範圍內一般不會暴露其脆弱性,當環境數據與智能系統訓練的環境大相逕庭,或者實際的應用場景發生變化,或者這種變化超出機器可理解的範圍時,人工智慧系統可能就立刻失去判 斷能力。美國智庫「新美國安全中心」最近發布的《人工智慧:每個決策者需要知道什麼》報告顯示,人工智慧的一些弱點可能對國家安全等領域造成巨大影響。
人工智慧的失誤可能會給人類帶來災難,從而會形成衍生安全問題。2016年5月7日,在佛羅裡達州公路上一輛處於「自動駕駛」模式的特斯拉Model S以74英裡的時速,撞上了拐彎中的白色拖掛式大貨車。Model S從貨車車底穿過,車頂被完全掀飛,40歲的駕駛員Joshua Brown不幸死亡。出事路段限制時速為65英裡/時。由於 「自動駕駛」模式車前的高清攝像頭為長焦鏡頭,當白色拖掛卡車進入視覺區域內時,攝像頭只能看到懸浮在地面上的卡車中部,而無法看見整個車輛;此外,當時陽光強烈(藍天白雲),使得自動駕駛系統無法識別出障礙物是一輛卡車,而更像是飄在天上的雲,導致自動剎車未生效。這次事故引發了外界對自動駕駛汽車安全性的爭議。這種自動駕駛的缺陷導致人類傷亡的事情,是典型的人工智慧衍生安全的案例。
當前,人們已經開始關注人工智慧自身的安全問題,霍金曾經在2015年8月與美國Reddit 網的問答互動中,提出了人工智慧「威脅論」的觀點,後又曾多次在世界知名期刊撰文強調類似看法。比爾•蓋茨稱,人類在人工智慧領域已經取得了很大進展,這些進展能讓機器人在接下來的10年內學會駕駛和做家務,在一些特定的領域甚至能比人類優秀。但是之前他曾經提出警告,「人工智慧如果進展太快,可能會對未來的人類造成一定威脅」。特斯拉創始人馬斯克在Code大會上也預測智慧機器人未來,他認為未來人類生活將離不開虛擬實境技術,而這一技術的高度發展將使人類很難分辨出真實與遊戲的區別;加之人工智慧的飛速發展,人類智商將會止步不前;最為嚴重的後果是機器人反超人類成為實際運營世界的主體,人類在機器人心中可能如寵物一般的存在。
防止人工智慧體行為失控的方案
隨著人工智慧技術的高速發展,人工智慧行為體越來越有可能在不遠的將來成為人類生活重要組成部分。目前,相關研究領域專家已認識到人工智慧存在巨大風險,並從人工智慧安全設計原則、標準規範、道德倫理方面進行呼籲。但是,針對如何設計一個防止具有行為能力的人工智慧系統失控的裝置?該裝置應具備的什麼樣的控制功能和性能指標?該裝置的軟硬體形態是什麼?這些目前尚無研究成果。
人工智慧為什麼會危害人類?前提是要有一個具有行為能力的、由人工智慧來操作的行為體。人工智慧行為體是指一類能感知外部環境並將之作為輸入,通過內部算法進行決策,並利用自身驅動裝置與物理世界產生交互行為的自主硬體實體。自動行走機器人、自動駕駛汽車和人工智慧武器等,都是人工智慧行為體的類型。人工智慧行為體需要有感知外部環境、內部控制邏輯、運動驅動裝置和自主能力(自學習)四個要素的體現。外部環境包括所處的自然環境和相關生物體等;內部控制邏輯是指預製在人工智慧行為體內部,用於產生運動行為的程序;運動驅動裝置是可與物理世界交互,或者可改變人工智慧行為體處所空間坐標的硬體;自主能力是指人工智慧行為體可以自己設定要達到的目標函數或自主決策,而非由人類設定目標。
人工智慧在什麼情況下會危害人類?需要同時滿足三個條件,第一,有行為能力,AlphaGo是下棋機器人,不能動,所以不會危害人類;第二,有足夠破壞力的動能,有危害性,掃地機器人不具有破壞的動能,所以不會危害人類;第三,具有自主能力,完全聽命於人類的系統,不會主動傷害人類,但會誤傷人類。
首先,能動的問題已解決;第二,有破壞力的機器人也已經存在,這是一個危險因素;第三個要素,自主行為體。運動體已經比比皆是,破壞力已經突破掉了,關鍵就是能不能自主。但是我們不能太相信機器人不會自我進化到具有危害人類的程度,所以對它預先要有約束。針對機器人來說有一個國際標準,提出了四種約束條件。第一是安全級的監控停止,當出現問題時,有讓它停止的能力;第二是手動引導,做什麼事情讓它做它才開始做,如果這個機器人只能手動才開始做,它就沒辦法給自己設定攻擊性目標;第三是速度和距離監控,當它和人比較接近時,速度必須降下來;第四是功率和力的限制,當和人接近時其功率必須迅速降下來。這些都是保護人類要做的事情。
我們提出一種如圖1所示的防止人工智慧行為體失控的方法——AI保險箍。圖中,串聯模塊用於與人工智慧行為體的決策系統和驅動裝置連接;反摘除模塊用於在發生暴力拆除時,毀滅人工智慧行為體,其確保本裝置無法從人工智慧行為體總摘除。AI保險箍方法的核心要點包括:①人工智慧行為體的驅動裝置需採取主動探測或被動監聽等方法,以檢測到一個授權的、認證的、可信的控制系統(AI保險箍)的存在,並接受其完全控制;② 當人工智慧行為體無法檢測到一個授權的、認證的、可信的控制系統存在時,應停止一切工作;③ 速度與距離監控,當人工智慧行為體中某個危險部件與人之間的距離小於安全距離時,觸發保護停止、觸發與人工智慧行為體相連的安全級功能;④ 在人工智慧行為體發生失控時,系統能根據遠程控制命令,實現人工智慧行為體的遠程控制,使其無法危害人類或將危害控制到最低;⑤ 系統會對人工智慧行為體進行風險識別,當識別出風險時,發出警報示警,進一步防止人工智慧行為體因為失控而造成的損害。
圖 1 AI 保險箍——一種防控 AI 行為體的方法
結束語
人工智慧作為最具顛覆性和戰略性的核心關鍵技術,持續引起全球產業界、學術界和各國政府的高度關注。當前,人工智慧技術在安全領域的應用需求日益迫切,同時,人工智慧自身的安全問題也不容小覷,安全與人工智慧並舉,雙方的融合發展與創新是我強國戰略中不可忽視的重要助推因素。
來源:CAAI會員中心 選自《中國人工智慧學會通訊》 2020年 第10卷 第4期 人工智慧與安全專題
科學人 點擊打開
段正澄 王 辰 韓啟德
貝聿銘 孫逢春 曹雪濤
李家洋 趙沁平 白春禮
柳百成 吳文俊 尤 政
寧 濱 李 凱 高 錕
吳宏鑫 饒 毅 鄔賀銓
徐井宏 楊振寧 施一公
詹啟敏 張 軍 吳曼青
饒 毅 劉文清 劉忠範
鄔賀銓