首個谷歌TensorFlow安全風險被騰訊找到:攻擊成本低、迷惑性強

2021-01-10 量子位

李根 發自 凹非寺 量子位 報導 | 公眾號 QbitAI

首個TensorFlow安全風險被找到！

利用該風險，攻擊者可以生成Tensorflow的惡意模型文件，對AI研究者進行攻擊，對受害者自身的AI應用進行竊取或篡改、破壞。

目前，Google官方已經確認了該漏洞，並表示考慮到TensorFlow在AI的廣泛使用，TensorFlow官網將會像大多數重要軟體一樣在網站創建安全公告頁面，及時披露和修復安全漏洞。

Google官方，還對漏洞報告者給於了郵件致謝。

報告者，是來自中國的騰訊安全平臺部的安全預研團隊。

首個TensorFlow安全風險

騰訊安全預研團隊告訴量子位，此次TensorFlow漏洞發現過程並非偶然。

近期，在與部門AI同事碰撞思路後，確定嘗試研究Tensorflow模型文件。其後在深入挖掘TensorFlow API文檔及源碼過程中，發現確認了漏洞。

騰訊團隊認為，該風險危害面非常大，一方面攻擊成本低，普通攻擊者即可實施攻擊；另一方面迷惑性強，大部分AI研究者可能毫無防備。

同時因為利用了TensorFlow自身的機制，其在PC端和移動端的最新版本均會受到影響。AI模型被竊取，損失的是開發者的心血；而一旦被篡改，造成AI失控，後果更難以想像。

不過，暫時未有風險造成的損害事件發生，不僅因為是零日漏洞，而且還在第一時間向Google進行了報告，漏洞應該會得到及時修補。

謹慎使用外部TensorFlow模型

值得注意的是，雖然尚未造成攻擊事件，但騰訊安全團隊所發現的漏洞，不僅存在於最新TensorFlow版本中，TensorFlow老版本也存在該風險，而且存在時間久已，需要早已使用TensorFlow開發的開發者引起重視。

騰訊安全團隊對量子位確認，所有TensorFlow版本都有這個問題。

由於AI框架被大範圍使用，是近1-2年內的事，截至首個安全風險被報告，業內對此類安全問題關注度還不夠。

但TensorFlow可能是目前使用範圍最廣的AI框架了，除了Google，Ebay、Airbnb、Twitter、Uber都在使用TensorFlow進行AI模型訓練和開發。

在中國，小米、中興、京東等公司也在利用TensorFlow的開源框架。

在TensorFlow中，AI研究者可以復用他人建好的模型來進行AI訓練，或直接提供AI服務，大大提高開發效率。這些公開的模型通常以文件形式提供，也普遍被認為是無害的。

但此次漏洞被報告，算是給AI開發者「上了一課」。

未來，可能需要開發者在使用開源框架時「長點心」，比如謹慎使用外部提供的TensorFlow模型。

不比網際網路和移動網際網路時代，AI時代的風險攻擊，可能還在造成線上線下一體化影響，目前利用AI開源框架，越來越多的IoT設備正在被接入網絡。

騰訊安全預研團隊稱，2015年成立之時，聚焦重點之一就是聚焦AI、移動及IoT前沿領域的安全問題研究。

不過，TensorFlow的安全風險，也是首次發現，希望可以引起業內更廣泛關注。

「漏洞被成功利用後，可導致AI模型被盜或被惡意篡改，將造成AI失控。若惡意模型文件在網絡上被大範圍使用，可能導致大量使用者被攻擊。」騰訊安全團隊強調。

依賴庫也潛藏風險

這次騰訊是直接在TensorFlow框架中找到安全風險。

量子位在此前的報導中也提到 ， TensorFlow、Caffe、Torch三個深度學習框架中包括很多 第三方軟體包，其中同樣存在安全風險。

一項初步研究顯示：三個框架中發現了15個漏洞，類型包括：DoS拒絕服務攻擊、躲避攻擊等。

研究者表示：「深度學習框架是複雜的，重度依賴大量開源軟體包。 」 這些依賴庫，也正是漏洞的根源。

— 完 —

活動報名

加入社群

相關焦點

  • 騰訊:谷歌 AI 開源框架 TensorFlow 存在安全風險
    騰訊科技消息，騰訊安全平臺部預研團隊日前發現谷歌人工智慧學習系統 TensorFlow 存在自身安全風險，可被黑客利用帶來安全威脅，其已向谷歌報告這一風險並獲得致謝。
  • 騰訊:谷歌 AI 開源框架 TensorFlow 存在自身安全風險
    12月15日，雷鋒網(公眾號：雷鋒網)從騰訊了解到，騰訊安全平臺部預研團隊發現谷歌人工智慧學習系統 TensorFlow 存在自身安全風險，可被黑客利用帶來安全威脅，其已向谷歌報告這一風險並獲得致謝。騰訊安全平臺部預研團隊發現，攻擊者可以生成 Tensorflow 的惡意模型文件，對 AI 研究者進行攻擊，對受害者自身的 AI 應用進行竊取或篡改、破壞。騰訊方面認為，該風險危害面非常大，一方面攻擊成本低，普通攻擊者即可實施攻擊；另一方面迷惑性強，大部分 AI 研究者可能毫無防備；同時因為利用了 TensorFlow 自身的機制，其在 PC 端和移動端的最新版本均會受到影響。
  • 騰訊發現者揭秘:怎麼應對這次曝光的谷歌 TensorFlow 的安全風險...
    12 月 15 日，雷鋒網報導，騰訊安全平臺部預研團隊發現谷歌人工智慧學習系統 TensorFlow 存在自身安全風險，可被黑客利用帶來安全威脅。這次威脅還不小，攻擊者可以生成 Tensorflow 的惡意模型文件，對 AI 研究者進行攻擊，對受害者自身的 AI 應用進行竊取或篡改、破壞。
  • 360AI安全研究院披露Tensorflow 24個漏洞
    近日，360 AI安全研究院（AIVUL團隊）對Google tensorflow進行了安全測試，在不到一個月的時間內發現多個安全問題，最終獲得谷歌分配的24個CVE編號，其中危險等級嚴重的漏洞（critical severity）2個，高危（high severity）8個，中危（moderate
  • AI安全堪憂：360AI安全研究院披露谷歌Tensorflow24個漏洞
    近日，360 AI安全研究院向谷歌Tensorflow進行了安全測試，並提交了24個漏洞，目前均已被谷歌確認，影響上千萬開發人員。據悉，谷歌 Tensorflow官網顯示共有35個漏洞，其中360集團挖掘發現24個，是提交漏洞最多的公司，在數量上名列全球首位。360提交漏洞後，谷歌對所有漏洞劃分危險等級，分為嚴重、高危、中危、低危四種類型。
  • 谷歌AI學習系統存在安全漏洞 人工智慧失控會怎樣?
    與此同時，AI的安全問題也應該引起人們重視。日前，騰訊安全平臺部預研團隊發現谷歌人工智慧學習系統TensorFlow存在嚴重安全風險，可被黑客利用帶來安全威脅，團隊已向谷歌報告這一風險並獲得致謝，其官方負責人稱，考慮到TensorFlow在AI的廣泛使用，TensorFlow官網將會像大多數重要軟體一樣在網站創建安全公告頁面，及時披露和修復安全漏洞。
  • 未探索的TensorFlow庫
    這篇問題對此進行了解釋（https://github.com/tensorflow/tensorflow/issues/35380），否則我們需要進一步優化模型。模型優化工具箱可以幫助我們完成這些任務。根據其主頁，它可以用於：減少雲和邊緣設備（如行動裝置、物聯網）的延遲和推理成本。
  • 谷歌TensorFlow成為最受歡迎Python項目
    TensorFlow眾所周知，最初是2015年11月由谷歌開源的人工智慧系統，屬於谷歌大腦第二代機器學習系統。TensorFlow是一個開源軟體庫，用於各種感知和語言理解人物的機器學習，在谷歌的語音識別、Gmail、谷歌相冊和搜索等多款產品中都有應用。
  • tensorflow安裝教程
    tensorflow是谷歌開源的人工智慧庫，有最完善的生態支持。是進行人工智慧領域開發和科研的必備工具。本文在windows10下，藉助anacondaAnaconda安裝和使用，AkShare入門，安裝tensorflow2.0。
  • TensorFlow 攜手 NVIDIA,使用 TensorRT 優化 TensorFlow Serving...
    :/tmp tensorflow/tensorflow:latest-gpu \      /usr/local/bin/saved_model_cli convert \      --dir /tmp/resnet/1538687457 \      --output_dir /tmp/resnet_trt/1538687457 \      --tag_set
  • 什麼是TensorFlow,TensorFlow教程
    DistBelief的原始碼經過修改，被做成了一個更好的基於應用程式的庫，2015年，它被稱為tensorflow。TensorFlow是什麼?TensorFlow是一個強大的面向數據流的機器學習庫，由谷歌的Brain Team創建，於2015年開源。它被設計成易於使用和廣泛應用於數字和神經網絡的問題以及其他領域。
  • tensorflow能做什麼_tensorflow2.0和1.0區別
    tensorflow能做什麼 　　TensorFlow是谷歌基於DistBelief進行研發的第二代人工智慧學習系統，其命名來源於本身的運行原理。
  • 谷歌開源 TF-Ranking:專用於排序學習的可擴展 TensorFlow 庫
    現在，谷歌 AI 宣布開源 TF-Ranking（https://github.com/tensorflow/ranking），它是一個可擴展的排序學習 TensorFlow 庫。此外，TF-Ranking 還可以通過嵌入來處理稀疏特徵（如原始文本）以及擴展到數億個訓練實例。因此，任何對構建 web 搜索或新聞推薦等基於真實世界數據的排序系統感興趣的人，都可以將 TF-Ranking 作為強穩的、可擴展的解決方案。經驗評估是所有機器學習或信息檢索研究的重要組成部分。
  • TensorFlow發布JavaScript開發者的機器學習框架TensorFlow.js
    今年，圍繞 TensorFlow，谷歌同樣做出了幾項重大宣布：1. 發布新的 TensorFlow 官方博客（http://blog.tensorflow.org/）與 TensorFlow YouTube 頻道；2. 面向 JavaScript 開發者的全新機器學習框架 TensorFlow.js;3.
  • 谷歌與蘋果達成合作:TensorFlow Lite將支持Core ML
    11月14日，谷歌正式發布TensorFlow Lite開發者預覽版，這是針對移動和嵌入式設備的輕量級解決方案。在介紹中，谷歌表示，TensorFlow Lite是一種全新的設計，具有三個重要功能——輕量級（Lightweight）、跨平臺（Cross-platform）、快速（Fast）。
  • 玩轉TensorFlow?你需要知道這30功能
    網址：https://github.com/tensorflow/tensor2tensor14）邊緣 TPU為低功耗 IO 設備提供高性能機器學習推理的小型專用集成電路。v=vdG7uKQ2eKk22）TensorFlow 研究雲（TFRC）這是 1000 個谷歌雲 TPU 的集群，為機器學習研究社區提供了總計 180 兆帕的計算能力——而且絕對免費，為機器學習的下一次突破做出自己的貢獻。網址：https://www.tensorflow.org/tfrc/
  • tensorflow和python的關係_tensorflow與pytorch的區別
    打開APP tensorflow和python的關係_tensorflow與pytorch的區別 網絡整理 發表於 2020-12-04 14:54:47
  • 騰訊發布業內首個AI安全攻擊矩陣，可像查字典一樣排查風險
    在考慮模型性能的同時，技術人員與用戶也要對 AI 系統自身的安全有所考慮，確保 AI 模型在業務場景下的安全性，從而避免被攻擊者輕易控制、影響、或欺騙，也避免造成結果誤判或隱私數據洩漏等嚴重後果。9 月 25 日，騰訊發布業內首個 AI 安全攻擊矩陣。
  • 騰訊發布業內首個AI安全攻擊矩陣,可像查字典一樣排查風險
    在考慮模型性能的同時，技術人員與用戶也要對 AI 系統自身的安全有所考慮，確保 AI 模型在業務場景下的安全性，從而避免被攻擊者輕易控制、影響、或欺騙，也避免造成結果誤判或隱私數據洩漏等嚴重後果。9 月 25 日，騰訊發布業內首個 AI 安全攻擊矩陣。
  • 谷歌與蘋果達成合作:TensorFlow Lite 將支持 Core ML
    在介紹中，谷歌表示，TensorFlow Lite 是一種全新的設計，具有三個重要功能——輕量級（Lightweight）、跨平臺（Cross-platform）、快速（Fast）。關於 TensorFlow Lite 的詳細介紹，可以參見雷鋒網 AI科技評論之前報導： Google 正式發布 TensorFlow Lite 預覽版，針對移動/嵌入設備的輕量級解決方案而在今天，谷歌宣布與蘋果達成合作——TensorFlow Lite 將支持 Core ML。