「黑」掉神經網絡:通過逆向模型文件來重構模型後門

2020-12-15 騰訊網

技術是強大的,它讓夢境成為可能;技術是脆弱的,它讓日常暗藏危機!

開車行駛在回家路上,拿出手機對準攝像頭,用一句語音喚起「Siri」,讓它完成播放音樂的簡單指令,僅用時30秒,你便完成了一次與神經網絡的交互體驗。

伴隨科技的快速發展,深度學習與AI技術在現實中擁有了愈發多樣而靈活的應用場景,而深度學習在計算機視覺任務中獲得的巨大成功,也令神經網絡的安全問題逐漸暴露。

此前,一項來自日本的研究表明,搞垮強大的神經網絡,僅需修改圖片上的一個像素,導致的危害不僅僅是讓神經網絡認錯圖片,甚至還可以誘導它返回特定的結果。可見,深度學習模型具備天生的安全隱患,因此在傳統的諸多案例中我們也看到,大量的研究者通過數據投毒的方式對模型植入後門,以實現攻擊的核心目的。

隨著技術研究的不斷深入,安全專家也開始探索更為高級的攻擊方式,例如:直接控制神經元,將AI模型改造為後門模型,進一步實現對神經網絡的深層次攻擊。在本次XCon2020的會議現場,這場安全與威脅間的正面對抗也即將展開。

「黑」掉神經網絡:通過逆向模型文件來重構模型後門

議題簡介:

機器學習框架(Tensorflow,Torch,Caffe等)生成的模型文件會保留很多有用的信息。但由於深度神經網絡的不可解釋性,根據模型數據很難獲得其準確含義,配合具體場景,在攻擊者可以操縱模型文件或是接觸模型文件的情況下完成多種攻擊方式。

議題將擺脫傳統的利用「樣本投毒」 訓練後門的方式,為大家展示通過直接控制神經元,將AI模型改造為後門模型,甚至在保留正常功能的前提下在模型文件中插入二進位攻擊代碼或是利用漏洞改造模型文件為攻擊載體來執行惡意代碼。

演講者:

nEINEI,騰訊朱雀實驗室,AI安全研究負責人。擁有10多年信息安全從業經驗,致力於高級威脅對抗、漏洞利用技術、逆向工程、AI安全等研究。曾在CanSecWest,Blackhat,AVAR,XCon等國際安全會議上發表過議題演講。

XCon2020 第19屆 安全焦點信息安全技術峰會

會議時間:2020年8月19-20日

會議形式:線上直播

XCon安全焦點信息安全技術峰會(XFocus Information Security Conference),始於2002年,是國內首個信息安全行業技術峰會,現已發展成為國內「最知名、最權威、舉辦規模最大」的信息安全會議之一。

秉承「嚴謹求實、精進探索」的會議精神,XCon持續致力於信息安全行業生態體系的建設與發展。憑藉前瞻性的技術分享、權威性的技術交流、開放性的人才培養成功吸引了兩百餘位國內外知名安全專家、技術人才、一線安全從業者,為國內信息安全行業優質生態的構建提供了「人才、技術、創新模式」等基礎,也為信息安全從業者、愛好者構建起友好和諧的交流平臺。

2020年,經歷過疫情的沉澱與思考,XCon再度活力啟程。更主流的形式、更精彩的議題、更深度的探索、更豐滿的乾貨,期待你的加入!最新活動資訊,請關注XCon官方微信!

相關焦點

  • 騰訊曝光新型AI攻擊手法:「黑」掉神經網絡,構造後門,最主流模型均...
    如果利用這個漏洞,將訓練好的模型和惡意代碼一同捆綁到Pytorch的模型文件中,就像是投下了一包「毒藥」,這一過程利用的是AI框架的模型文件。如下圖所示,上下兩張圖分別是神經網絡原始的部分模型、和被植入惡意代碼的部分模型。
  • 黑掉神經網絡,騰訊朱雀實驗室首亮相:操縱神經元構造AI後門
    隨著技術研究的不斷深入,安全專家也開始探索更高階的攻擊方式,通過模擬實戰中的黑客攻擊路徑,從而針對性的進行防禦建設。騰訊朱雀實驗室發現,通過對 AI 模型文件的逆向分析,可繞過數據投毒環節,直接控制神經元,將 AI 模型改造為後門模型。
  • 「黑」掉神經網絡:騰訊披露新型AI攻擊手法
    騰訊朱雀實驗室發現,通過對 AI 模型文件的逆向分析,可繞過數據投毒環節,直接控制神經元,將 AI 模型改造為後門模型。甚至在保留正常功能的前提下,直接在 AI 模型文件中插入二進位攻擊代碼,或是改造模型文件為攻擊載體來執行惡意代碼,在隱秘、無感的情況下,進一步實現對神經網絡的深層次攻擊。
  • 騰訊曝光新型AI攻擊:「黑」掉神經網絡,最主流模型均不能倖免
    如果利用這個漏洞,將訓練好的模型和惡意代碼一同捆綁到Pytorch的模型文件中,就像是投下了一包「毒藥」,這一過程利用的是AI框架的模型文件。如下圖所示,上下兩張圖分別是神經網絡原始的部分模型、和被植入惡意代碼的部分模型。
  • 騰訊朱雀實驗室首度亮相,業內首秀控制神經元構造AI模型後門
    騰訊朱雀實驗室發現,通過對AI模型文件的逆向分析,可繞過數據投毒環節,直接控制神經元,將AI模型改造為後門模型。甚至在保留正常功能的前提下,直接在AI模型文件中插入二進位攻擊代碼,或是改造模型文件為攻擊載體來執行惡意代碼,在隱秘、無感的情況下,進一步實現對神經網絡的深層次攻擊。
  • 騰訊曝光AI攻擊手法,操縱神經元構造後門,主流ML框架受影響
    騰訊朱雀實驗室發現,通過對AI模型文件的逆向分析,可繞過數據投毒環節,直接控制神經元,將AI模型改造為後門模型。甚至在保留正常功能的前提下,直接在AI模型文件中插入二進位攻擊代碼,或是改造模型文件為攻擊載體來執行惡意代碼,在隱秘、無感的情況下,進一步實現對神經網絡的深層次攻擊。
  • 無觸發後門成功欺騙AI模型 為對抗性機器學習提供新的方向
    研究人員將這種技術稱為「無觸發後門」,這是一種在任何情況下都能夠以無需顯式觸發方式對深度神經網絡發動的攻擊手段。機器學習系統中的經典後門後門是對抗性機器學習中的一種特殊類型,也是一種用於操縱AI算法的技術。大多數對抗攻擊利用經過訓練的機器學習模型內的特性以引導意外行為。另一方面,後門攻擊將在訓練階段對抗性漏洞植入至機器學習模型當中。
  • 機器學習之神經網絡學習及其模型
    1、神經元模型歷史上,科學家一直希望模擬人的大腦,造出可以思考的機器。人為什麼能夠思考?科學家發現,原因在於人體的神經網絡。 神經網絡最基本的成分是神經元模型5、常見的其他神經網絡1.RBF網絡 單隱層前饋神經網絡 使用徑向基函數作為隱層神經元激活函數,輸出層是對隱層神經元輸出的線性組合2.ART網絡 競爭學習型,由比較層,識別層,識別閾值和重置模塊組成
  • BP神經網絡模型:Matlab
    本文介紹了運用計量統計軟體Matlab(2017a MAC) 建立BP神經網絡模型的方法。主要運用的方程是feedforwardnet整理數據本例中的數據來自於Matalab提供的內置數據,可以通過代碼load bodyfat_dataset獲得,為方便其他軟體讀取,已經將數據複製粘貼到Excel中本例中,1至13列為輸入變量,第14列為輸出變量,即輸入層包含13個神經元,輸出層又一個神經元。
  • 預訓練圖神經網絡模型
    本文提出了一個在多圖分類任務上的圖神經網絡預訓練模型,希望得到節點級別和圖級別的高質量預訓練參數,可以魯棒的遷移到下遊任務。 模型的預訓練主要分為節點級預訓練和圖級別預訓練兩步。 在節點級上,預訓練時分別考慮圖的結構特徵以及屬性特徵。
  • IJCAI 2019 提前看|神經網絡後門攻擊、對抗攻擊
    本文對 3 篇神經網絡安全相關論文進行了介紹。近年來,深度學習在計算機視覺任務中獲得了巨大成功,但與此同時,神經網絡的安全問題逐漸引起重視,對抗樣本熱度持續不下,神經網絡後門攻擊也悄然興起。本文選取了 IJCAI2019 的 3 篇論文,從目標檢測對抗攻擊、實時對抗攻擊、神經網絡後門攻擊三個方面,為大家梳理最新進展。
  • 什麼時候以及為什麼基於樹的模型可以超過神經網絡模型?
    本質上,基於樹的方法和神經網絡之所以屬於同一類,是因為它們是通過逐條分解來解決問題的,而不是像支持向量機(SVM)或邏輯回歸(Logistic Regression)那樣,通過尋找一個複雜的邊界來分離整個數據集。很明顯,基於樹的方法沿著不同的特徵逐步分割特徵空間以優化信息增益。
  • BP神經網絡模型:R
    本文介紹了運用計量統計軟體RStudio(1.1.414 MAC) 建立BP神經網絡模型的方法。另外設定一個隱含層,包括20個神經元每個神經元包含252個數據點,其中最後一個點不參與訓練,留作測試最終的模型,即利用前251個數據點訓練模型,利用最後一個點檢驗模型 在RStudio中輸入數據 1、打開RStudio,在下拉菜單中點擊R Script,新建一個文檔2、點擊保存鍵,輸入名稱,保存文件3、
  • 神經網絡的基礎是MP模型?南大周志華組提出新型神經元模型FT
    據論文介紹,這項研究為神經網絡提供了一種新的基本構造單元,展示了開發具有神經元可塑性的人工神經網絡的可行性。 近日,來自南京大學張紹群博士和周志華教授提出了一個名為 Flexible Transmitter (FT) 的模型,這是一種具備靈活可塑性的新型生物擬真神經元。 FT 模型利用一對參數來建模神經元之間的傳輸遞質(transmitter),並設置一個神經遞質調節的記憶單元來記錄所關注神經元的長期學習信息。
  • 四個任務就要四個模型?現在單個神經網絡模型就夠了!
    例如,你可以使用一個語言模型(一個經過訓練、用於預測下一個單詞的循環神經網絡),並解釋某個特定神經元的激活以預測句子的情緒。將 zip 文件解壓到與筆記本目錄相同的「Flicker8k_Dataset」文件夾中。您還需要從這裡(http://cs.stanford.edu/people/karpathy/deepimagesent/caption_datasets.zip)下載描述,並提取「caption_datasets」文件夾中的描述。
  • 清華大學圖神經網絡綜述:模型與應用
    這篇文章對圖神經網絡進行了廣泛的總結,並做出了以下貢獻:文章詳細介紹了圖神經網絡的經典模型。主要包括其原始模型,不同的變體和幾個通用框架。文章將圖神經網絡的應用系統地歸類為結構化場景、非結構化場景和其他場景中,並介紹了不同場景中的主要應用。本文為未來的研究提出四個未解決的問題。文章對每個問題進行了詳細分析,並提出未來的研究方向。
  • 全面解讀用於文本特徵提取的神經網絡技術:從神經概率語言模型到...
    總體來說,模型類似於一個雙向依存性網絡(bi-directional dependency network),而且可以使用多種方法進行訓練,其中包括支持向量機和雙向 Viterbi 解碼器。4.2 詞塊(Chunking)詞塊的目標是通過名詞或動詞短語等句法成分來標記句子的分段。
  • AutoML : 更有效地設計神經網絡模型
    AutoML通過智能架構的操作,可以讓大家更方便、更快速的進行深度學習的研究。在本文中,我們將介紹AutoML的以下內容:關於AutoKeras的一個簡短介紹通過AutoKeras這個神經架構搜索算法,我們可以找到最好的神經網絡架構,比如層中神經元的數量,架構的層數,加入哪些層,層的特定參數,比如Dropout中的濾波器大小或掉落神經元的百分比等等。