人工智慧有了「殺毒軟體」 可在線測評算法模型安全性

2020-12-24 齊魯壹點

大規模的網絡攻擊曾經倒逼了殺毒軟體的誕生,應用日漸廣泛的人工智慧,又該如何抵禦「病毒」的攻擊?記者從清華人工智慧研究院獲悉,該院RealAI(瑞萊智慧)創業團隊8日推出針對算法模型本身安全的檢測平臺,意味著人工智慧也有了「殺毒軟體」。

人工智慧發展的天然「軟肋」

作為引領新一輪科技革命和產業變革的顛覆性技術,人工智慧目前正在滲透到了社會生活的方方面面。隨著數據洩漏、算法偏見、算法漏洞等一系列問題的暴露,其安全需求和倫理影響也逐漸顯現,給國家經濟和社會安全帶來諸多風險和挑戰。

RealAI團隊CEO田天介紹,現階段,由於人工智慧技術不成熟以及惡意應用所導致的安全風險,本質上屬於人工智慧的「技術短板」,比如模型缺陷、算法不可解釋性、數據強依賴性等,是限制人工智慧發展最明顯的「軟肋」。

算法突破,是人工智慧行業發展的基石和熱點。中國信息通信研究院2018年發布的《人工智慧安全白皮書》指出,「算法安全」是人工智慧六大安全風險之一。同時,白皮書認為「對抗樣本攻擊誘使算法識別出現誤判漏判」這一算法模型缺陷是算法安全的重要風險項。

「病毒」入侵或讓AI「精神錯亂」

「對抗樣本原本是機器學習模型的一個有趣現象。」田天解釋,它是通過在源數據上增加一些細微改變,人類感官很難辨識,但足以讓機器學習模型接受並做出錯誤的分類決定,從而把一座山峰識別為一隻狗,或者把C羅識別為梅西。

也就是說,這些對抗樣本的攻擊,會像病毒一樣入侵人工智慧系統的「意識」中,讓它出現「精神錯亂」而無法工作。

隨著人工智慧的普及,這些例子不斷地在現實中上演:在路面上粘貼對抗樣本貼紙模仿合併條帶,誤導自動駕駛汽車拐進逆行車道;佩戴對抗樣本生成的眼鏡,輕易破解手機面部解鎖;胸前張貼對抗樣本貼紙即可實現隱身……

尤其是在人臉識別、自動駕駛等特定領域,這種「AI病毒」可能造成難以挽回的人員和財產損失。

「殺毒軟體」提升AI系統可靠性

「目前,人工智慧安全還是一個新興領域,存在較高的技術壁壘。」田天告訴記者,隨著攻防相互的發展,對抗樣本等攻擊手段變得愈發複雜,尤其在開源社區、工具包的加持下,高級複雜攻擊方法快速增長,但是相關防禦手段的升級卻難以跟上。

作為清華人學人工智慧研究院的官方團隊,RealAI曾率先提出多項攻防算法,被主流開源軟體FoolBox等收錄為標準,與清華聯合組成的戰隊曾斬獲多項人工智慧國際大賽冠軍。

團隊開發的RealSafe人工智慧安全平臺,能夠提供從測評到防禦的完整解決方案,快速緩解對抗樣本攻擊威脅。相較於目前常見的開源工具需要自行部署、編寫代碼,該平臺支持零編碼在線測評,用戶只需提供相應的數據即可在線完成評估,極大降低了算法評測的技術難度。同時,平臺採用可量化的形式對安全性進行評估,評分越高則模型安全性越高。針對檢測出來的漏洞,平臺還可提供合適的防禦方案,提升模型安全性。

「推出安全檢測平臺是規避風險的路徑之一,未來還需要聯合各界力量共同推動人工智慧安全相關的國家標準、行業標準、聯盟標準的制定,為人工智慧產品安全評估評測提供統一參考。」田天說。

(來源:人民網)

相關焦點

  • RealAI推出可在線測評算法模型的安全平臺
    4月8日,孵化自清華AI研究院的創業團隊RealAI(瑞萊智慧)正式推出國內首個針對算法模型本身安全的檢測平臺——RealSafe人工智慧安全平臺。作為人工智慧時代的「殺毒軟體」,RealSafe提供從測評到防禦完整的解決方案,快速緩解對抗樣本攻擊威脅。
  • 清華團隊推出AI安全平臺,欺騙頂尖人臉算法後又修復漏洞
    RealAI表示,就如網絡安全時代,網絡攻擊的大規模滲透誕生出殺毒軟體,發現計算機潛在病毒威脅,提供一鍵系統優化、清理垃圾跟漏洞修復等功能,RealSafe研發團隊希望通過RealSafe平臺打造出人工智慧時代的「殺毒軟體」,為構建人工智慧系統防火牆提供支持,幫助企業有效應對人工智慧時代下算法漏洞孕育出的「新型病毒」。
  • ...AI發布首個企業級隱私保護機器學習平臺與升級版AI模型殺毒軟體
    得益於底層編譯級的能力,RSC具備三大性能優勢: 一是訓練速度實現30倍以上提升,這源於兩點,在加密算法方面,革命性應用全同態技術,打破半同態技術功能與性能上的桎梏,性能提升2-3個數量級;在AI算法優化方面,收斂速度更快,迭代次數少;二是白盒可驗證的安全性,RealSecure以首創數據流圖形式將所有中間計算過程安全透明的展現給用戶,內部算子執行完全公開,實現安全透明的隱私保護通訊協議;三是易用性
  • 陳左寧院士:人工智慧模型和算法的7大發展趨勢
    中國工程院副院長、中國工程院院士陳左寧進行了題為《人工智慧進展對算力需求分析》的報告。陳左寧提出人工智慧模型和算法的7大發展趨勢,並對AI趨勢對算力的需求進行分析和預測: 向無監督的方向發展 人工智慧需要適應「小數據」、減少標註需求、減少計算開銷。現在用的比較多的是主動學習,即算法主動提出標註請求,將一些經過篩選的數據提交給專家標註。遷移學習即增強訓練好的模型,解決目標領域中僅有少量有標籤樣本數據的問題。強化學習即用agents構成系統來描述行為並給予評價和反饋學習。
  • 諸多的AI企業,困在了「數據和算法」裡
    但是,數據與算法不安全性,就像是深度學習這項技術的阿喀琉斯之踵。 「幾乎所有的AI企業都沒有賺到錢,而根源問題在於人工智慧技術本身的缺陷——數據與算法的不安全性。」 對於目前AI企業的生存困境,清華大學人工智慧研究院院長張鈸院士的這番話很直接。
  • 清華系AI公司發布首款人工智慧殺毒軟體
    騙過人工智慧的「眼睛」已經不再是一件難事。今年美國東北大學和麻省理工大學等大學和研究機構做了一項創新實驗,共同研製出了基於「對抗樣本」的T恤衫,對抗樣本是指一種由攻擊者精心設計的特殊樣本,科研人員就對T恤上的原圖案進行了修改,通過了一定的技術手段將圖案生成了有較強幹擾性的圖案,以此來改變T恤的視覺效果,導致AI人體檢測攝像頭無法準確地檢測出穿著該T恤的行人。
  • 數據風險、算法黑箱怎麼破?這家創企用AI化解安全難題
    這一平臺相當於是針對AI算法的殺毒軟體和防火牆,能對AI安全性進行全面的標準化檢測和增強,已檢測發現了一系列市場上主流AI產品的安全隱患,並提供了多種相應的防禦升級措施。整個檢測過程全界面化操作,用戶無需具備專業的模型安全算法知識和編程開發經驗。
  • 清華系RealAI發布首個企業級隱私保護機器學習平臺與升級版AI模型...
    與傳統處理方式相比,RealSecure可實現訓練速度提升30倍以上,白盒可驗證的安全性以及便捷易用三大優勢,實現數據源「高速公路」級別的節點連結,在支付、消費、稅務、交通、司法、運營商等領域能實現大數據更快更安全的互聯互通,助力反欺詐、小微普惠、AI醫療等智慧決策真正得以落地。
  • 社會科學+人工智慧:進一步確保AI安全性與公平性的必經之路
    雖然人工智慧只存在於數據中,但價值觀是人類進化出社會關係的產物。我們不用神經科學的術語來描述諸如公平或正義的人類價值觀,而是用心理學、倫理學或社會學等社會科學的論據來描述。去年,OpenAI的研究人員發表了一篇論文,介紹了社會科學在人類幹預的條件下提高人工智慧算法的安全性和公平性的重要性。
  • 建立27種人體口感模型,科學算法讓食物美味「看得見」
    由於實驗室需要建立人員庫來進行科學測評,所以果榜的大部分辦公人員都在實驗室,大概有300多個經過篩選和鑑定的評價員,其中不乏一些有專業背景的志願者。圖片來源:企業提供27種人體口感模型 科學算法為產業賦能業務層面,果榜主要有三大板塊。
  • 阿里研發全新AI算法 可通過2D圖片搜出3D模型
    近日,阿里的技術研發團隊在AI算法方面再次取得了突破,通過這項新技術,可以通過2D圖片精準識別出3D模型,識別成功率提升10%。目前,該研究成果已被國際人工智慧頂級會議NeurIPS 2020收錄。
  • Google雲計算AI平臺內置TabNet表格模型,可替代傳統決策樹算法
    Google在雲計算平臺新加入內置深度學習模型TabNet,用戶可以簡單地使用深度學習來處理表格資料,TabNet具有兩項優點,除了可解釋性之外,還提供高效的執行性能,Google提到,這個算法很適合用於零售、金融和保險業,實例像是預測信用評分、欺詐偵測和數值預測等應用。
  • 蘋果手機殺毒軟體有哪些 蘋果手機殺毒軟體推薦
    目前,網上推薦的很多手機殺毒軟體都是安卓版的,因此,不少網友都想知道有沒有可以在蘋果手機上使用的手機殺毒軟體。今天,小編就給大家推薦幾款好用的蘋果手機殺毒軟體,大家一起來看看都有哪一些!  二、百度手機衛士   百度手機衛士  6億人都在用百度,簡單可依賴。
  • 才雲人工智慧雲平臺全新上線,一鍵啟動在線推理
    新版本聚焦 AI 算法解決方案的開箱即用、分布式模型訓練、傳統機器學習在線推理和模型訓練過程的可視化,可滿足企業直接訓練、部署面向自身業務的 AI 模型的需求,解決了「AI+產業」背後的技術難題。傳統 ML 在線推理,加速 AI 業務融合在線推理是機器學習工程中的重要一環。作為一個落地企業真實業務場景的完整項目,數據科學家在將訓練好的模型放到伺服器上後,仍需關注如何通過特定框架將模型發布為在線服務,並根據需要發出推理請求,讓模型能敏捷對市場變化作出響應,真正落實到業務中。
  • 機器學習中算法與模型的區別
    機器學習中的「算法」是什麼?機器學習中的「算法」是在數據上運行以創建機器學習「模型」的過程。機器學習算法執行「模式識別」。算法從數據中「學習」,或者對數據集進行「擬合」。機器學習算法有很多。
  • 大規模主題模型:對Spark LDA算法的改進
    Spark 1.4和1.5引入了一種增量式計算LDA的在線算法,在已訓練的LDA模型上支持更多的查詢方式,以及支持似然率(likelihood)和複雜度(perplexity)的性能評估。我們給出了一個例子,用超過450萬條維基百科詞條的文檔集訓練一個話題模型。話題模型和LDA話題模型分析一個大規模的文檔集,並且自動推測其所討論的話題。
  • 人工智慧還是人工智障?——大型算法翻車現場
    的確,這三個故事只是算法應用的冰山一角,如今,算法可以識別我們的聲音和圖像,算法似乎在變得無所不能。然而,算法真的有那麼美好嗎,在算法給我們帶來便利的同時我們是否真的認真思考過算法帶來的弊端,我們是否真的思考過如何面對算法給可能給我們帶來的災難。
  • 中原消費金融榮膺金鈴獎「模型算法應用獎」
    河南商報記者 華麗娟12月4日,中國數據智能應用峰會暨2020第十屆數據智能應用典範金鈴獎頒獎盛典在上海召開,河南中原消費金融股份有限公司「AI模型平臺和BI指標體系」案例最終榮獲「模型算法應用獎」。本屆峰會上,中原消費金融的「AI模型平臺和BI指標體系」案例榮膺「模型算法應用獎」。此次模型算法應用獎,只是中原消費金融在構建數位化金融生態圈的一部分。事實上,中原消費金融自成立之初就已經在著手數位化建設,最新版企業核心價值觀也將「用數據說話」放在首位。