替換一下同義詞,AI就把句子意思弄反了|華人研究者揭示NLP模型脆弱性

2020-12-16 澎湃新聞

關注前沿科技 量子位

賴可 發自 凹非寺

量子位 報導 | 公眾號 QbitAI

騙過AI如此簡單。

換了一個同義詞，自然語言處理模型就讀不對句子的意思了。

麻省理工和香港大學的研究生們開發了一個算法，讓AI在文本分類和推理問題上的正確率從80%下降到10%。

測試原理

這個模型的名字叫Textfooler，通過生經過微調的句子，來對自然語言文本分類和推理進行攻擊。

比如在著名的分類任務影評判斷中，AI的任務是去判斷一句影評是肯定性的還是否定性的。

像這句：

The characters, cast in impossibly contrived situations, are totally estranged from reality.（劇中的人物，被安排在不可能情境之中，與現實完全脫節。）

Textfooler模型生成的對應句子是：

The characters, cast in impossibly engineered circumstances, are fully estranged from reality.

將contrived situation改為了engineered circumstance，totally 改為fully。

結果AI將第一個句子標記為「負面」，第二個句子標記為「正面「。

在推理任務中，AI需要判斷在一個句子和情境之間的關係，是蘊含，中立，還是矛盾。

比如給定一個前提：

Two small boys in blue soccer uniforms use a wooden set of steps to wash their hands.

兩個穿著藍色足球服的小男孩藉助一套木製的臺階洗手。

需要判斷這句話「The boys are in band uniforms.」（男孩們穿著樂隊制服）和前提的關係。

AI會把這個句子判斷為」矛盾」。

當把uniforms這個單詞改為garments以後：The boys are in band garments。

AI 就會把句子判斷為「蘊含」。

此外，研究團隊還請人類被試閱讀這些句子，以確認它新生成的句子和原句接近。

他們從進行實驗的兩個數據集MR dataset和WordLSTM中各挑100個例子，請被試行進行打分。相似為1，有歧義為0.5，不同為0，最後得到的分數分別為0.91和0.86。

這說明，調整後的句子對人類閱讀影響很小。

各模型測試結果

研究團隊使用了三個模型，七個數據集來進行測試。

三個模型為：BERT，WordCNN，WordLSTM。

數據集：

△5個為分類數據集，2個為蘊含推理數據集

分類任務的測試結果如下：

所有的模型的原來的精確度都在78%以上，像BERT則表現更優秀，在兩個數據集上都能達到97%的精確度。

但是經過Textfooler的攻擊，精確度全部降到了20%以下。

再來蘊含推理任務表現如何：

精確度從原來的80%降到了10%以下。

在實際應用中可能產生影響

處理文本的AI越來越多地被用來判斷應聘者，評估醫療報銷，處理法律文件。因此，研究者認為，AI的這一缺陷要引起重視。

如果用於金融或醫療保健中的自動化系統，即使是文本上微小變化，也可能造成很多麻煩。

加州大學歐文分校的助理教授Sameer Singh說，這個調整文本的方法「確實非常有效地為AI系統生成了良好的對手」 。

但是他又表示，這個方法在實踐中很難實施，因為它涉及反覆探測AI系統，這可能會引起懷疑。

加州大學伯克利分校的教授Dawn Song專門研究AI和安全性。她說，這一研究是不斷發展的工作的一部分，該工作表明如何欺騙語言算法，並且各種商業系統可能容易受到某種形式的攻擊。

看來，想讀懂人話，AI還需繼續努力呀。

研究團隊

這項研究由清華大學、香港大學、新加坡科技研究院的研究員共同完成。通訊作者有兩位：

△Di Jin

Di Jin，本科畢業於清華大學計算機學院。2020年獲得MIT計算機科學博士學位。目前是MIT的計算機科學與人工智慧實驗室的助理研究員。

△金致靜

金致靜，高中畢業於上海華東師大二附，本科畢業於香港大學，目前正在申請博士學位。已經在頂級會議NAACL，EMNLP，AAHPM，AAAI上發表了4篇NLP論文。

GitHub地址：

https://github.com/jind11/TextFooler

論文地址：

https://arxiv.org/pdf/1907.11932.pdf

參考連結：

https://www.wired.com/story/technique-uses-ai-fool-other-ais/

作者系網易新聞·網易號「各有態度」籤約作者

— 完 —

3期圖像處理系列課程開始報名了~

2.27第一期課程，來自NVIDIA開發者社區的何琨老師，將帶領大家學習如何利用NVIDIA遷移式學習工具包實現實時目標檢測。

歡迎大家掃下圖二維碼報名，記得備註「英偉達」哦~

直播報名 | 圖像與視頻處理系列課程

新年福利 | 關注AI發展新動態

內參新升級！拓展優質人脈，獲取最新AI資訊&論文教程，歡迎加入AI內參社群一起學習~

量子位 QbitAI · 頭條號籤約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態

喜歡就點「在看」吧 !

原標題：《替換一下同義詞，AI就把句子意思弄反了|華人研究者揭示NLP模型脆弱性》

閱讀原文

相關焦點

  • 換一下同義詞,AI就把句子意思弄反|華人研究者揭示NLP模型脆弱性
    換了一個同義詞，自然語言處理模型就讀不對句子的意思了。麻省理工和香港大學的研究生們開發了一個算法，讓AI在文本分類和推理問題上的正確率從80%下降到10%。測試原理這個模型的名字叫Textfooler，通過生經過微調的句子，來對自然語言文本分類和推理進行攻擊。比如在著名的分類任務影評判斷中，AI的任務是去判斷一句影評是肯定性的還是否定性的。
  • PTMs|2020最新NLP預訓練模型綜述
    「nlp領域的發展比cv領域相對緩慢的原因是什麼呢」？相比於cv領域，「nlp領域的劣勢在於有監督數據集大小非常小」(除了機器翻譯)，導致深度學習模型容易過擬合，不能很好地泛化。但是相反，nlp領域的優勢在於，存在大量的無監督數據集，如果能夠充分利用這類數據進行訓練，那麼勢必能夠提升模型的能力以及在下遊任務中的表現。nlp中的預訓練模型就是這樣一類能夠在大規模語料上進行無監督訓練，學習得到通用的語言表徵，有助於解決下遊任務的nlp模型。「那麼什麼是好的語言表徵呢」？
  • 英語同義詞串替換理解能力訓練:accelerate
    英語同義詞串替換理解能力訓練：accelerateaccelerate是什麼意思？提示：本訓練只做用同義詞替換另外一個詞「英英理解」，不考慮「這兩個詞有什麼不同？」我們會得到下面的「同義詞串」：go faster, speed up,pick up speed我們會做下面的同義詞串替換口語訓練：1. Okay.I got you.
  • 英語同義詞替換理解能力訓練:absent
    英語同義詞串替換理解能力訓練：absentabsent是什麼意思？提示：本訓練只做用同義詞替換另外一個詞「英英理解」，不考慮「這兩個詞有什麼不同？」我們會得到下面的「同義詞串」：not present in, not attend,not show up,missing我們會做下面的同義詞串替換口語訓練：1. Okay.I got you.
  • 英語同義詞替換理解能力訓練:abandon
    英語同義詞替換理解能力訓練：abandonabandon是什麼意思？提示：本訓練只做同義詞替換理解訓練，不做同義詞辨析1) Her natural mother had abandoned her at an early age.
  • 古代漢語同義詞研究中的幾個問題
    例如某教授曾說過：「不能因為兩個詞在同一個句子中發生相互替換而意義沒有改變，即是說這兩個詞就是同義詞。必須要兩個詞在常見的場合中多次出現相互替代，才是同義詞。」並且古代漢語同義詞並不是全部都可以替換的，因為兩個互為古代漢語同義詞除了具有共同點外，也有其他不同的地方。
  • NLP 模型評測方法 CHECKLIST
    Taxonomy：近義詞和反義詞，把句子中的一個單詞替換成近義詞，語義應該保持一致。Robustness：穩健性，句子中某個單詞拼寫錯誤或者對句子進行一些不重要的改動，模型應該保持預測結果一致。NER：命名實體，模型要正確理解命名實體。
  • 2019 年 NLP 領域都發生了哪些大事件?
    論文《Building Machine Learning Models via Comparisons》中，研究者們還研發出了一種方法，重點研究通過比較的方法構建並訓練機器學習模型。這項技術不需要大量的「特徵-標籤」數據對，而是將圖像與模型之前看到過的圖像進行比較，以確定圖像是否應該被賦予某種標籤。
  • 素炮是什麼意思什麼梗? 素覺的同義詞了解一下
    素炮是什麼意思什麼梗？ 素覺的同義詞了解一下時間：2019-11-22 16:55   來源：小雞詞典   責任編輯：沫朵 川北在線核心提示：原標題：素炮是什麼意思什麼梗？ 素覺的同義詞了解一下 指兩個人雖然開了房，約了炮，但只是單純地擁抱在一起睡了一覺，沒有發生過實質性的關係。和素覺是同義詞。
  • NLP的文本分析與特徵工程
    考慮到這一點，在刪除停用詞之前對原始文本進行一些手動修改是很有用的（例如，將「Will Smith」替換為「Will_Smith」）。既然我們有了所有有用的標識，就可以應用word轉換了。我將舉幾個例子：字數：統計文本中的標識數（用空格分隔）字符數：將每個標識的字符數相加句子計數：計算句子的數量（用句點分隔）平均字長：字長之和除以字數（字數/字數）
  • Facebook 自然語言處理新突破:新模型能力趕超人類 & 超難 NLP 新...
    翻譯準確性的突破對於神經機器翻譯（NMT）模型，有監督式訓練通常需要大量附有參考翻譯的句子。然而，大量高質量的雙語數據並不是普遍可用的，這就要求研究人員使用沒有參考翻譯的單語數據。反向翻譯（Back translation，一種半監督學習技術）允許 Facebook 在一定程度上克服這個問題。
  • 資料| CCF-NLP走進鄭州大學演講PPT
    回放視頻：https://www.yanxishe.com/events/ccf-nlp-zzu資料包括的分享內容：周明   演講主題：預訓練模型在多語言和多模態任務中的一些新進展周國棟   演講主題：自然語言與理解補充說明本站所有資源版權均屬於原作者所有
  • 萬能句子和同義詞的使用
    在雅思寫作過程中，可以使用下面的萬能句子，對於寫作用詞，為了避免重複，可以使用一些同義詞。 　　萬能句子： 　　1. Yet little has been done to solve this problem worldwide. 　　2.
  • NLP之文本分類:「Tf-Idf、Word2Vec和BERT」三種模型比較
    詞袋法詞袋法的模型很簡單：從文檔語料庫構建一個詞彙表，並計算單詞在每個文檔中出現的次數。換句話說，詞彙表中的每個單詞都成為一個特徵，文檔由具有相同詞彙量長度的矢量（一個「詞袋」）表示。例如，我們有3個句子，並用這種方法表示它們：
  • 雅思聽力中常見的同義替換!
    雅思考試同國內英語考試不同，比如國內英語教學最強調的語法細分在雅思中幾乎沒有任何直接考察，而雅思考試更強調單詞量，同義詞運用，閱讀速度和結構理解等等，考查考生運用英語的能力。下面新航道成都學校要和大家分享的就是，雅思聽力中常見的同義替換。
  • 深度學習在NLP中的運用?從分詞、詞性到機器翻譯、對話系統
    事實上，從分詞、詞性、語法解析、信息抽取等基礎模塊，到自然語言生成、機器翻譯、對話管理、知識問答等高層的 NLP 領域，幾乎都可以應用以 CNN、RNN 為代表的深度學習模型，且確實能夠取得不錯的效果。深度學習模型有效降低了語言模型輸入特徵的維度，降低了輸入層的複雜性。另外，深度學習模型具有其他淺層模型不能比擬的靈活性。
  • 科學家開發出新型腸癌模型 或有望揭示癌細胞如何對免疫療法藥物...
    2020年11月25日 訊 /生物谷BIOON/ --近日，來自英國倫敦癌症研究所等機構的科學家們通過研究開發出了一種複雜的模型系統，其或能模擬最常見的腸癌，並能揭示腸癌是如何躲避免疫療法攻擊的；2020年在美國國家癌症研究所虛擬展示會上所展示的一項正在進行的研究的初步研究結果對科學家們闡明腸癌如何對藥物cibisatamab產生耐藥性提供了新的見解，該藥物是由羅氏製藥公司開發的一種新型的免疫療法藥物
  • BERT是否完美,語言模型又是否真正地「理解了語言」呢?
    上述是一個詞/句對應多個意思的情況，即歧義。反過來一個意思可以由不同的句子來表達： 新垣結衣是我老婆 = 我是新垣結衣的老公 語言規則的例外也有很多形式。
  • 性能堪比GPT-3,但參數量僅為0.1%,LMU團隊推出NLP最強文本生成模型
    模型越大，性能越佳？答案可能是不一定。在NLP領域，談到超大模型必然想到預訓練語言模型GPT-3，自今年3月份對外開放以來，其因超大模型和超強性能頻頻刷屏。GPT-3擁有1750億參數量，約有700G大小，一次訓練成本高達上百萬美元。1750億是什麼概念？
  • 幻影粒子如何替換心形粒子模型?
    在使用幻影粒子想要製作一些特效的時候，通常情況下除了使用它做為視頻的背景素材之外，還會用到它粒子庫中的粒子來更換一下它的模型，來製作出自己想要的視頻特效。如何在幻影粒子裡面替換心形粒子中的模型？在幻影粒子的軟體界面中，在它的粒子庫右邊點擊後，在彈出的粒子類型中選擇自己想要替換的一種粒子。這裡就選擇心形粒子。在開始製作之前，可以先設置一下它的項目尺寸，自己想要製作多大的就設置多大的。在心形粒子的列表中，有著不同的粒子效果。這裡就選擇Hear11的心形粒子爆炸散開的效果來進行操作。在這個粒子中，它的效果還是不錯的。我們可以利用它來替換不同的模型來製作出不同的效果。