華人研究團隊推出AI「諷刺」檢測模型,準確率達86%

2021-01-15 雷鋒網

最近網絡上散發著一股濃濃的凡爾賽文學氣息,比如。

好煩,睡過了,錯過馬爾地夫的航班,只能專機去了。

在看似平淡的話語中,流露出一股浮誇的炫耀,這就是凡爾賽文學。

諸如凡爾賽文學等網絡熱詞每年都有,但你真的get到它們的含義了嗎?

先來做個小測試吧!

以下三個句子中,請判斷哪一個是諷刺、吐槽和凡爾賽文學?

在這個社會上,不管承受多少的責難,都別忍。因為現在管虛偽不叫虛偽了,都叫做情商高。

長得醜真是難為你了,早上跑出來嚇人,晚上跑出來嚇鬼。

iphone 11 pro max真的一點也不好用,我的卡死了,還是512g的暗夜綠!其實也就這樣,大家還是買1024g的吧

如果答對了,你可別驕傲,因為這道題可能連AI都會。

最近,中國北京的信息工程研究所和中國科學院聯合推出的一款AI模型,『諷刺』識別準確率高達86%。

而且,這項研究成果還登上了計算機語言協會(ACL)。

聽到這裡你可能會好奇,AI為甚麼要識別『諷刺』???

AI『諷刺』模型

其實,諷刺作為情緒表達的一種方式,是AI情感分析的重點研究方向。

情感分析,又稱傾向性分析,或意見挖掘,它是對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的過程。利用情感分析能力,可以針對帶有主觀描述的自然語言文本,自動判斷該文本的情感正負傾向並給出相應的結果。

它有什麼用處呢?簡單舉個例子。

本次美國大選,除了兩位當事人拜登和川建國外,最頭疼的可能就是Facebook創始人扎克伯克了。

一直以「言論自由」著稱的Facebook,要確保美國大選期間社交網絡中不能出現「虛假的政治言論」。

龐大的社交網絡每天有成千上萬條帖子被發表,其中哪些有政治風險,哪些無政治風險,如果靠人工逐一審核再刪除的話,顯然有點不切實際。

這時候,AI就派上用場了。

早在美國大選之前,Facebook AI Research團隊就開始利用AI語言模型,識別網絡中的虛假信息或仇恨言論,有數據統計,在2020年第一季度,Facebook利用XLM語言模型刪除了960萬條涉及仇恨言論的帖子。

對此,Facebook首席技術官Mike Schroepfer還曾表示,

我沒有天真的以為AI可以解決每天個問題,但我認為它確實能幫助我們完成一些常見任務,以及一些人類無法勝任的、規模達十億的、繁重的任務。

在這個例子中,AI的難點就在於如何提高情感分析能力,精準識別出含虛假政治言論的帖子。

但相比之下,識別『諷刺』可能比識別虛假政治言論對AI而言更有難度。

根據百度百科顯示,『諷刺』是指用比喻、誇張等手法對人或事進行揭露、批評;用譏刺和嘲諷筆法描寫敵對的落後的事物;用譏諷的眼神,嘲笑的語氣對著他人說。

明顯的諷刺意味人類可以一眼看穿,但對於AI來說卻不是一件容易的事兒。

最新的研究成果在2019年,首次引入多模態檢測的AI模型HFM,其準確率能夠達到83%。而近日,該項研究取得突破性進展,其準確率提升了2.74%。

這項成果來自中國北京的信息工程研究所和中國科學院聯合研究團隊,他們研發的新型多模態AI諷刺檢測模型,經過Twitter數據集檢測準確率可達到86%。

研究人員介紹,他們從2016年開始嘗試多模式策略,並將其應用在Tumblr,Instagram和Twitter等多個網絡數據集中進行測試。

目前這項研究成果代表了AI多模式諷刺檢測的最高水準,並且已在計算機語言協會(ACL)、自然語言處理實證方法協會(EMNLP)等多個NLP頂會上發表。

據了解,「多模式檢測(MultiModal Detection)」已成為一種主要的『諷刺』檢測模式,此前密西根大學和新加坡大學的研究人員也曾使用語言模型和計算機視覺來檢測電視節目中的諷刺,相關研究也發表在了ACL上。

相比之下,此次研究成果在技術上有哪些特別之處呢?

技術原理

特別之處在於:他們發現了多模態之間的不一致性!

什麼叫多模態呢?官方定義是每一種信息的來源或形式,都可以成為一種模態。比如,人有觸覺,聽覺,視覺,嗅覺,以上都是一種模態。

那麼,對於Twitter發帖來說,文字、圖片、視頻分別代表了三種模態。研究人員發現,現有的多模態諷刺檢測方法通常是簡單地將多模態特徵連接起來,或者以設計的方式融合多模態信息,而忽略了多模態之間和模態內的不一致性。

受此啟發,他們提出了一種基於BERT架構的模型,該模型可有效解決這一問題。

模型框架

具體來說,研究人員利用自注意機制(Self-Attention Mechanism)的思想,設計了一種模態間注意力機制以捕獲其間的不一致性。圖中,預先訓練的BERT模型對給定的序列和其中的Hashtags進行編碼。ResNet用於獲取圖像形式。我們運用Intra-modality注意來模擬文本內部的不協調,而Inner-modality來模擬文本和圖像之間的不協調。然後將不協調信息進行組合併用於預測。

實驗結果表明,該模型在公共多模式諷刺檢測數據集上達到了最新的性能—86%。

與此同時,研究人員還將該模型與現有模型基準,從預測率(Precision)、召回率(Recall)、精準度(Accuracy)和F1分數等指標進行了比較。

結果顯示,與當前最先進的層次融合模型HFM相比,提高了2.74%。與微調的BERT模型相比,提高了2.7%。如圖:

從該表中可以看出,僅使用圖像特徵的模型並沒有很好的表現(72.6%),這說明對於多模態檢測任務來說,圖像是不能單獨處理的。而且基於文本模態的方法(均在80%以上)比基於圖像模態的方法具有更好的性能。因此,文本信息比圖像信息更能用於諷刺信息的檢測。

此外,經過微調的BERT模型比其他基於文本的非預訓練模型表現得更好,這也再次驗證了研究人員的設想,即像BERT這樣的預訓練模型可以改進檢測任務,它表明視覺+文本模式的模型通常比其他模式能夠獲得更好的結果,同時,它也說明圖像有助於提高檢測性能。

值得注意的是,從文本模態內部的模型來看,SIARN(80.5%)和SMSD(80.9%)都考慮了不一致信息,且性能表現優於TextCNN(80%),因此,不一致信息有助於識別諷刺,再次驗證研究人員提出的模態間的非一致性檢測方法比簡單的模態間連接方法更有效。

更多論文詳情,可參見:https://www.aclweb.org/anthology/2020.findings-emnlp.124.pdf


引用連結:

https://interestingengineering.com/new-ai-model-detects-sarcasm-with-86-percent-accuracy-which-is-totally-fine

https://venturebeat.com/2020/11/18/ai-researchers-made-a-sarcasm-detection-model-and-its-soo-impressive/

https://www.engadget.com/facebook-develops-ai-moderation-tools-that-actually-work-at-facebookscale-180058754.html

雷鋒網(公眾號:雷鋒網)雷鋒網雷鋒網

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。

相關焦點

  • 華人研究團隊推出AI「諷刺」檢測模型,準確率達86%
    最近,中國北京的信息工程研究所和中國科學院聯合推出的一款AI模型,『諷刺』識別準確率高達86%。而且,這項研究成果還登上了計算機語言協會(ACL)。明顯的諷刺意味人類可以一眼看穿,但對於AI來說卻不是一件容易的事兒。最新的研究成果在2019年,首次引入多模態檢測的AI模型HFM,其準確率能夠達到83%。而近日,該項研究取得突破性進展,其準確率提升了2.74%。
  • 新冠檢測新方法:用咳嗽聲診斷無症狀感染者,準確率達100%
    近日,麻省理工學院(MIT)研究團隊聲稱其利用AI開發了一種無症狀感染檢測新方法。有意思的是,該方法利用的是人的生物特徵——咳嗽聲。因此,在疫情爆發之前,MIT研究團隊已經在嘗試利用AI辨「音」來診斷阿爾茨海默症(AD)早期的患者。
  • 新冠檢測新方法:MIT用咳嗽聲診斷無症狀感染者,準確率達100%
    近日,麻省理工學院(MIT)研究團隊聲稱其利用AI開發了一種無症狀感染檢測新方法。有意思的是,該方法利用的是人的生物特徵——咳嗽聲。因此,研究人員利用演員表達不同情緒的大型語音數據集,開發了情緒語音分類器。第三個神經網絡在自建的咳嗽數據集上訓練,用來辨別肺和呼吸功能的變化。最後將三種模型結合起來,形成了一個用於檢測肌肉退化的AI框架。研究人員經過檢測發現,基於聲帶強度、情緒、肺和呼吸功能等生物特徵,該AI能夠準確識別出AD患者。
  • 替換一下同義詞,AI就把句子意思弄反了|華人研究者揭示NLP模型脆弱性
    此外,研究團隊還請人類被試閱讀這些句子,以確認它新生成的句子和原句接近。他們從進行實驗的兩個數據集MR dataset和WordLSTM中各挑100個例子,請被試行進行打分。相似為1,有歧義為0.5,不同為0,最後得到的分數分別為0.91和0.86。這說明,調整後的句子對人類閱讀影響很小。
  • 準確率97%的開源肺炎檢測模型:照搬PyTorch教程、50張圖片就完了
    最近,一位澳大利亞的人工智慧博士候選人在 LinkedIn 上發布了一篇關於 SARS-CoV-2 病毒的研究文章。由於極具話題性且號稱準確率可以達到 97.5%,這篇文章很快得到上萬條評論、點讚與轉發。然而,這樣一個模型卻被扒出背後只用了 50 張圖片訓練。一周搭起準確率達 97% 的模型,事實是?
  • Xilinx、Spline.AI、AWS 推出 X 射線分型深度學習模型和參考設計
    ,加速COVID-19 和肺炎檢測。 賽靈思公司宣布推出全功能醫療 X 射線分型深度學習模型和參考設計套件,這是賽靈思與 Spline.AI 及亞馬遜網絡服務(AWS)強強攜手共同取得的合作成果。
  • AI 或可預測夫妻吵架,準確率 79.6%
    新研究表明,人工智慧或許可以為夫妻們提供幫助,避免爭吵。 由四名工程師和心理學家組成的小組正在嘗試開發一個 AI 系統,該系統使用從可穿戴設備和智慧型手機中獲取的數據,檢測出包括生理、聲學和語言模式的規律,從而預測夫妻之間的衝突。
  • 一周AI大事盤點:AI幫助農民精準除草,AI可分析動物行為
    今天就帶你盤點過去一周(11月4日至11月10日)AI領域發生的熱門事件: 人工智慧幫助農民精準除草11月4日消息,法國國立應用科學學院的研究人員開發了一個AI模型,該模型能夠從無人機拍攝的作物圖像中檢測出雜草。該研究團隊通過遷移學習,使用數萬張作物圖像的數據集來開發其深度學習模型。
  • 吳博:目標檢測集成框架在醫學圖像 AI 輔助分析中的應用 | AI 研習...
    醫學圖像分析中目標檢測任務的普遍性,使得開發目標檢測集成框架顯得必要。近日,在雷鋒網 AI 研習社公開課上,深圳市宜遠智能科技有限公司負責人吳博剖析了目標檢測已有的框架,重點分享如何對目標檢測框架進行改造,以便在醫學圖像分析中產生更好的效果。公開課回放視頻網址:http://www.mooc.ai/open/course/559?
  • 夏日專刊AI產品上新升級集錦,50餘項軟硬能力加速場景落地
    營業執照識別模型升級優化模型,提升關鍵欄位識別準確率,『地址』、『社會信用代碼』、『公司類型』欄位準確率提升至95%以上。優化模型效果,關鍵欄位識別準確率提升至98%+,其中『發票代碼、校驗碼』的準確率高達99.9%以上。 計程車票識別模型升級優化模型效果,『乘車日期、上下車時間、總金額、發票代碼』等關鍵欄位的準確率提升至95%+,整圖識別準確率提升至90%。
  • 騰訊優圖推出卷積神經網絡深度學習算法模型
    騰訊優圖實驗室聯合廣東省肺癌研究所吳一龍教授/鍾文昭教授團隊,與清華大學以及國內多家中心呼吸科/放射科團隊等共同開發了基於卷積神經網絡算法的肺結節診斷模型,近日,該初步研究成果已被全球癌症領域知名醫學期刊《腫瘤學家》(《The Oncologist》)收錄並全文發表。
  • 研究人員:準確率達98.5%
    英國廣播公司(BBC)8日稱,美國麻省理工學院的研究人員正試圖通過人工智慧算法識別新冠患者,「只要聽到咳嗽聲音,就能知道這個人有沒有感染新冠病毒」。報導稱,相關研究結果發布在電氣電子工程學會的《醫療生物工程》期刊上。論文共同作者之一、麻省理工學院科學家蘇比拉納表示,「感染新冠病毒之後,就算是沒有出現任何症狀,你發出的聲音也會變得不一樣。」
  • 新AI聽人說話就能診斷老年痴呆 準確率達95%
    研究人員開發了一種軟體,可以使用人工智慧(AI)檢測阿爾茨海默症,準確率達95%。史蒂文斯理工學院的研究人員開發了一種軟體,可以檢測阿爾茨海默症患者語言的細微變化。不需要現場測試或昂貴的掃描,這種人工智慧算法的準確率達95%。此外,它可以解釋診斷,並允許醫生重新檢查發現。史蒂文斯理工學院首席研究員K.P. Subbalakshmi說:「這是一個真正的突破。」他補充說,我們「開啟了一個令人興奮的研究新領域。」
  • DeepMind新GNN模型,將谷歌地圖預估到達準確率提升50%!
    近日,DeepMind宣布幫「兄弟一把」——與谷歌地圖展開合作,利用了一種圖神經網絡(GNN),成功提升了谷歌地圖在柏林、東京、雪梨等大城市的實時 ETA 準確率,最高提升了50%。DeepMind此次的研究,就是如何解決這個動態預測問題。
  • Nature 子刊重磅:騰訊與鍾南山團隊發布新冠危重症 AI 預測模型 Cox
    相比傳統衡量肺炎嚴重程度的CURB-6模型和未進行深度學習的經典Cox模型,此次聯合研究團隊提出的Cox模型在驗證集上的 C-index (即一致性指數(index of concordance)從0.876(線性模型)提升到了 0.894,AUC從 0.889 提升到了 0.911。
  • 換一下同義詞,AI就把句子意思弄反|華人研究者揭示NLP模型脆弱性
    換了一個同義詞,自然語言處理模型就讀不對句子的意思了。麻省理工和香港大學的研究生們開發了一個算法,讓AI在文本分類和推理問題上的正確率從80%下降到10%。測試原理這個模型的名字叫Textfooler,通過生經過微調的句子,來對自然語言文本分類和推理進行攻擊。
  • 打破開放與隱私壁壘,7國30家機構創建最大醫學AI協作系統
    現在,研究人員又將注意力轉向了腦瘤。由賓夕法尼亞大學醫學院領導、29家國際醫療和研究機構參與的聯合團隊正在創建一個有史以來最大腦瘤數據集訓練的人工智慧模型,基於一種名為聯邦學習(Federated Learning)的技術,可以在分散的伺服器之間訓練算法。
  • 不光人臉識別,AI還能識鳥:歐洲團隊首個模型準確率90%
    澎湃新聞記者 張唯 實習生 厲安恬在研究野生動物及其習性時,識別同一物種的不同個體至關重要。近日,來自法國國家科學研究中心、蒙彼利埃大學和葡萄牙波爾圖大學等研究團隊的科學家開發了首個能夠識別鳥類個體的人工智慧模型。該模型在識別圈養的斑胸草雀(zebra finch)、野生大山雀(great tit)和野生群居織巢鳥( sociable weaver)個體時,準確率約為90%。
  • DeepFake檢測新思路:用心跳做"信號",背後的"造假"模型也無處可逃
    此類檢測技術,大多都是「二分類」檢測方法,雖然也能達到98%的準確率,然而這些檢測方法往往會受到過渡匹配的影響,也就是說在處理不同類型的圖片時,檢測方法的性能會顯著下降。近日,賓漢姆頓大學和英特爾的研究人員開發了一種算法,號稱能用視頻中的生物信號檢測這個視頻是否是偽造的。除此之外,這種方法還能識別出假視頻背後的生成模型。
  • AI識別腦膠質瘤基因突變 準確率超過97%
    近日,德克薩斯大學西南醫學中心(UT Southwestern)的一項新研究表明,人工智慧可以僅通過檢查大腦的3D圖像來識別腦膠質瘤中的特定基因突變,其準確率超過97%。腦膠質瘤是最常見的惡性原發性腦瘤,佔所有惡性腦瘤的3/4。儘管具有IDH酶突變的腫瘤通常預後較好,但高級別腦膠質瘤(HGG)仍是「致命殺手」,五年生存率僅為15%。