AI安全最全「排雷圖」來了！騰訊發布業內首個AI安全攻擊矩陣

2020-09-26 AI科技大本營

近年來，人工智慧迅猛發展，與家居、金融、交通、醫療等各個領域深度融合，讓人們的生活更為便利。但與此同時，基於人工智慧的系統一旦存在風險也將帶來更為嚴重的後果。

如何確保人工智慧在不同的應用場景下不會被輕易控制、影響或欺騙，也成為從業者的重要研究課題。

9月25日，騰訊正式發布業內首個AI安全攻擊矩陣。這是一份具有高實用性的AI安全技術指導框架，首次全面梳理了學術及工業界最前沿的AI安全研究，從攻擊者的視角系統列舉了AI技術研發部署各個環節中的攻擊過程與技術實現手段，幫助AI從業者快速了解全生命周期下AI系統的風險點與對應緩解方法，為AI系統的安全部署和應用落地提供重要的技術參考。

據了解，該矩陣由騰訊兩大實驗室騰訊AI lab和朱雀實驗室聯合編纂，並借鑑了網絡攻防領域中成熟度高、實戰意義強的開源安全研究框架ATT&CK，全面分析了攻擊者視角下的戰術、技術和流程，能夠幫助防禦者更精準地掌握安全響應方法與防禦措施。

相比從單一角度研究算法的安全問題，該矩陣具有更高的實用價值和參考意義。

該AI安全的威脅風險矩陣強調真實場景，並按照較成熟、研究中、潛在威脅三種成熟度直觀地將攻擊技術分類。

據騰訊AI Lab介紹，矩陣編撰的核心難點在於如何選取和梳理AI系統安全問題的分析角度。作為一種與其他軟硬體結合運作的應用程式，AI系統安全的分析切入角度與傳統網際網路產品並不完全一致。

經過充分調研，團隊最終選擇從AI研發部署生命周期的角度切入，總結歸納出AI系統在不同階段所面臨的安全風險，從全局視角來審視AI的自身安全。

在這種實用思想的指導下，該矩陣能夠像字典一樣便捷使用。研究人員和開發人員根據AI部署運營的基本情況，就可對照風險矩陣排查可能存在的安全問題，並根據推薦的防禦建議，降低已知的安全風險。

除了聚焦機器學習、計算機視覺、語音識別及自然語言處理等四大基礎研究領域外，騰訊AI Lab也在持續關注AI領域的安全性研究，助力可信的AI系統設計與部署。

騰訊朱雀實驗室則專注於實戰攻擊技術研究和AI安全技術研究，以攻促防，守護騰訊業務及用戶安全。此前朱雀實驗室就曾模擬實戰中的黑客攻擊路徑，直接控制AI模型的神經元，為模型「植入後門」，在幾乎無感的情況下，實現完整的攻擊驗證，這也是業內首個利用AI模型文件直接產生後門效果的攻擊研究。

騰訊雲副總裁、騰訊安全平臺部負責人楊勇表示，隨著行業對AI應用的不斷深入，在各個層面都會出現更具有實際攻擊意義的方法和手段。騰訊將持續研究AI安全領域，並不定期更新風險矩陣，保持和業界最新成果的同步。

目前，風險矩陣的完整版本可於騰訊AI Lab官網免費下載。

https://share.weiyun.com/8InYhaYZ

相關焦點

  • 騰訊發布業內首個AI安全攻擊矩陣，可像查字典一樣排查風險
    在考慮模型性能的同時，技術人員與用戶也要對 AI 系統自身的安全有所考慮，確保 AI 模型在業務場景下的安全性，從而避免被攻擊者輕易控制、影響、或欺騙，也避免造成結果誤判或隱私數據洩漏等嚴重後果。9 月 25 日，騰訊發布業內首個 AI 安全攻擊矩陣。
  • 騰訊發布業內首個AI安全攻擊矩陣,可像查字典一樣排查風險
    在考慮模型性能的同時，技術人員與用戶也要對 AI 系統自身的安全有所考慮，確保 AI 模型在業務場景下的安全性，從而避免被攻擊者輕易控制、影響、或欺騙，也避免造成結果誤判或隱私數據洩漏等嚴重後果。9 月 25 日，騰訊發布業內首個 AI 安全攻擊矩陣。
  • 你的AI模型有哪些安全問題，在這份AI攻防「詞典」裡都能查到
    為了應對AI模型各個環節可能存在的安全風險，並給出相應的防 御建議，今天騰訊正式發布業內首個AI安全攻擊矩陣。該矩陣由騰訊兩大實驗室騰訊AI lab和朱雀實驗室聯合編纂，並借鑑了網絡攻防領域中較為成熟的ATT&CK開源安全研究框架，全面分析了攻擊者視角下的戰術、技術和流程。
  • 首個谷歌TensorFlow安全風險被騰訊找到:攻擊成本低、迷惑性強
    李根 發自 凹非寺 量子位 報導 | 公眾號 QbitAI首個TensorFlow安全風險被找到！利用該風險，攻擊者可以生成Tensorflow的惡意模型文件，對AI研究者進行攻擊，對受害者自身的AI應用進行竊取或篡改、破壞。
  • 三種使用AI攻擊網絡安全的方法
    圖片：iStockphoto/metamorworks三個網絡安全專家在Digital Guardian的數字首席信息安全官Tim Bandos認為，網絡安全總是需要藉助人類思維來建立更強的防禦措施來抵抗攻擊
  • 國內首現公有雲遊戲APT攻擊事件,騰訊安全助力構築遊戲安全防護體系
    近日，騰訊安全威脅情報中心追蹤捕獲了一例專門針對遊戲行業公有雲資產的APT攻擊。攻擊組織藉助公有雲主機系統的木馬植入，實現在該遊戲公司雲主機系統的長期潛伏，可在遊戲公司無感知的情況下，實施資產盜取、遊戲私服創建等惡意行為，嚴重影響受害企業的數據及財產安全。目前，騰訊安全已在第一時間向該遊戲公司發布了木馬入侵告警，並密切關注後續攻擊動向。
  • 騰訊AI Lab 2020 年度回顧
    因此，騰訊 AI Lab 在積極探索最前沿的 AI 技術的同時，也致力於將這樣的潛力轉化為切實可行的應用，以更好地服務用戶和造福社會。註冊證，成為國內首個獲準進入臨床應用的智能顯微鏡產品。 AI+藥物：首個AI驅動的藥物發現平臺問世 2020 年 7 月，騰訊 AI Lab 重磅發布了首個 AI 驅動的藥物發現平臺「雲深智藥」。
  • 騰訊朱雀實驗室首亮相，披露新型AI攻擊手法
    圖片來源@unsplash日前，騰訊朱雀實驗室首度公開亮相。該實驗室由騰訊安全平臺部孵化，專注於實戰攻擊技術研究和AI安全技術研究，以攻促防，守護騰訊業務及用戶安全。騰訊朱雀實驗室高級安全研究員nEINEI分享了一項AI安全創新研究：模擬實戰中的黑客攻擊路徑，擺脫傳統利用「樣本投毒」的AI攻擊方式，直接控制AI模型的神經元，為模型「植入後門」，在幾乎無感的情況下，可實現完整的攻擊驗證。
  • Securiti.ai獲3100萬美元融資,打造網絡安全和合規化平臺
    賽門鐵克的數據顯示，就在2017年，美國的勒索軟體攻擊數量就超過了所有其他國家。其他地方的分析人士估計，網絡犯罪的年利潤已經增長到1.5萬億美元，預計到2021年，網絡犯罪造成的損失將達到6萬億美元。向代價高昂的網絡犯罪妥協催生了一個預計到2024年價值達到3000億美元的市場。數百家初創公司已經佔據了這一領域，但競爭並沒有阻止總部位於加州聖何塞的Securiti.ai。
  • 聚焦政務安全問題,騰訊雲聯合騰訊安全、騰訊標準發布報告
    （原標題：聚焦政務安全問題，騰訊雲聯合騰訊安全、騰訊標準發布報告）
  • XMOS發布Xcore.ai處理器，提供高性能AI，控制，價格從1美元起
    I / O協議之間的「數百種」應用程式，而第二代體系結構通過添加雙流水線設計來增強晶片的控制和數位訊號處理性能，最典型的就是其XVF3510語音處理器，實現了很牛X的遠場語音識別能力。大家說說，與前幾天arm發布的M55內核哪個更牛逼？Xcore.ai基於XMOS的專有Xcore架構。Xcore本身建立在稱為邏輯核心的構建塊上，可用於I / O，DSP，控制功能或AI加速。每個圖塊上有八個邏輯核心，每個Xcore.ai晶片中都有兩個圖塊，設計人員可以選擇為每個功能分配多少個核心。每個圖塊還包含內存，ALU和邏輯內核共享訪問權限的向量單元。
  • 騰訊安全與騰訊標準聯合IDAC、青藤雲安全發布《2019中國主機安全...
    近日，騰訊安全與騰訊標準聯合中國產業網際網路發展聯盟（IDAC）、青藤雲安全等生態夥伴共同發布《2019中國主機安全服務報告》（以下簡稱「報告」）。報告由騰訊基礎安全主機團隊與青藤雲安全團隊聯合主筆，站在宏觀角度對2019年主機安全行業現狀和未來發展趨勢進行了研究與解讀。
  • 騰訊朱雀實驗室首度亮相，業內首秀控制神經元構造AI模型後門
    來源：環球網8月19日，在第19屆XCon安全焦點信息安全技術峰會上騰訊朱雀實驗室首度亮相公眾視野。這個頗有神秘色彩的安全實驗室由騰訊安全平臺部孵化，專注於實戰攻擊技術研究和AI安全技術研究，以攻促防，守護業務及用戶安全。
  • 騰訊安全平臺部孵化的朱雀實驗室亮相，專注AI安全技術研究
    澎湃新聞記者 陳宇曦 綜合報導8月19日，第19屆XCon安全焦點信息安全技術峰會於北京舉行，由騰訊安全平臺部孵化的騰訊朱雀實驗室首度亮相公眾視野。據介紹，該實驗室專注於實戰攻擊技術研究和AI安全技術研究，以攻促防，守護騰訊業務及用戶安全。
  • 人工智慧為什麼會和「AI」有關聯？看看它的技術
    近期，我國信息技術標準化技術委員會用戶界面分技術委員會以下就簡稱全國信標委用戶界面分委會，2020年年會在北京召開了，全國信標委用戶界面分委會人工智慧工作組也在當日成立了，除了雲從科技以外，這次委員單位還包括中國電子技術標準化研究院，中國科學院自動化研究所，北京大學，中國科學技術大學，以及騰訊，阿里雲，華為公司等很多科研院所和科技企業。
  • 盤點:2020年最酷的10家網絡安全初創公司
    應對明日威脅近幾年湧現了一批出色的網絡安全公司，致力於解決各種網絡安全問題，從自動遵守複雜的全球隱私法規，到保護應用安全以及將應用從網絡中隔離出來，發現黑客最有可能從哪發起攻擊。
  • 最新AI安全研究成果被AAAI-20收錄,騰訊安全科恩實驗室加快AI產業...
    騰訊安全科恩實驗室此次被收錄的論文核心是利用AI算法解決大規模二進位程序函數相似性分析的問題。展示了騰訊在將機器學習技術應用於二進位軟體安全分析的全新思路與成果。這一成功嘗試不僅為傳統計算機安全問題的高效研究提供了新的技術支持，也將促進結合AI算法解決產業新業務場景問題趨勢的推進。
  • Mobile Pwn2Own2017黑客大賽騰訊安全再獲總冠軍,摘首個「三冠王...
    （世界破解大師）」獎盃收入囊中，成為全球首個三次獲得該榮譽的安全研究團隊，再次在世界舞臺上證明了中國白帽黑客的實力。比賽中攻破目標利用的漏洞，都已經在賽後按照國際通用漏洞匯報機制報告給相關廠商，廠商也會儘快地發布安全補丁修復漏洞。全球首個「三冠王」誕生 技術驅動安全升級事實上，騰訊安全在網際網路安全技術研究領域已經走在了世界前列，旗下擁有七大專注安全技術研究的頂尖實驗室。
  • 安全高效地實現公共運輸自動駕駛,「Bluespace.ai」宣布完成 350...
    「Bluespace.ai」是一家專注於公共運輸新型自動駕駛的初創公司，它的執行長 Joel Pazhayampallil 曾是 Drive.ai 的前聯合創始人。而總裁兼營運長 Christine Moon 則曾是 Google 「Nexus計劃」的合作夥伴。其他成員則來自 Zoox、Lyft Level 5 和 Voyage 等公司。
  • 騰訊最神秘的團隊之一！朱雀首次亮相，披露新型AI攻擊手法
    昨天，第19屆XCon安全焦點信息安全技術峰會在北京正式拉開帷幕。隨著人們對信息安全的重視程度越來越高，作為國內最權威的信息安全會議之一，這次峰會吸引了很多公眾的關注。此次峰會的亮點之一，就是首度亮相的騰訊朱雀實驗室。