經典論文解讀 | 基於Freebase的問答研究

2021-02-15 PaperWeekly
論文動機

在知識問答中，要把一個自然語言的問句映射到知識庫 KB 中是很難的，目前的問答系統通常是將 NLP 問句轉換成一個 SPARQL 查詢語句去檢索 KB。如何完成這一轉換過程面臨著很多問題，比如怎麼在 KB 中找到和問句中匹配的實體與關係。

首先問題中的實體名可能不完全依照資料庫中的名稱，同一個實體有多種叫法。其次資料庫中多個實體對應的名稱可能是一樣的。比如 Freebase 裡叫 apple 的就有 218 種實體。精確匹配的話很難找到答案，模糊匹配又會從大型資料庫中搜索到冗餘的數據。

本文在學習算法基礎上採用了 learning-to-rank 來重點關注被大部分工作忽略掉的實體識別的問題。

模型介紹

本文要完成的任務是根據 KB 知識來回答自然語言問題，給出了一個叫 Aqqu 的系統，首先為問題生成一些備選 query，然後使用學習到的模型來對這些備選 query 進行排名，返回排名最高的 query，整個流程如下： 

比如要回答這個問題：What character does Ellen play in finding Nemo? 

1. Entity Identification 實體識別 

首先在 KB 中找到和問句中名詞匹配置信度較高的實體集合，因為問句中的 Ellen，finding Nemo 表達並不明確，會匹配到 KB 中的多個實體。 

先用 Stanford Tagger 進行詞性標註。然後根據詞性挑出可能是實體的詞與 KB 進行匹配，利用了 CrossWikis 數據集匹配到名稱相似或別名相似的實體，並進行相似度評分和詞語流行度評分。 

2. Template Matching 模板匹配 

這一步對上一步得到的候選實體在資料庫中進行查詢，然後利用三種模板生成多個候選 query。三種模板和示例如圖所示：

3. Relation Matching 關係匹配 

這一步將候選 query 中的 relation 與問句中剩下的不是實體的詞進行匹配，分別從 Literal，Derivation，Synonym 和 Context 四個角度進行匹配。 

Literal 是字面匹配，Derivation 利用 WordNet 進行衍生詞匹配，Synonym 利用 word2vec，匹配同義詞。Context 則是從 wiki 中找出和 relation 匹配的句子，然後利用這些句子計算原問句中的詞語和這些 relation 匹配出現的概率，採用 tf-idf 算法。 

4. Answer Type Matching 答案類型匹配 

這裡採用了較為簡潔的方法，將 relation 連接的對象類型和問句中的疑問詞匹配，比如 when 應該和類型為日期的對象匹配。 

5. Candidate Features 人工設計的特徵

實體匹配的特徵：（1）備選 query 中實體的個數（2）字面大部分匹配的實體個數（3）實體中匹配的token的數量（4-5）實體匹配概率的平均值和總和（6-7）實體匹配流行度的平均值和總和

關係匹配的特徵：（8）匹配模板中的關係個數（9）字面匹配的關係個數（10-13）分別在 literal，derivation，synonym 和 context 四個角度匹配的 token 個數（14）同義詞匹配總分（15）關係上下文匹配總分（16）答案的 relation 在 KB 中出現的次數（17）n-gram 特徵匹配度

綜合特徵：（18）特徵 3 和 10 的總和（19）問句中匹配到實體或關係的詞所佔比重（20-22）二進位結果大小為 0 或 1-20 或大於 20（23）答案類型匹配的二元結果

6. Ranking 

本文採用了基於 learning-to-ranking 的方法根據上述特徵對備選結果進行 ranking。作者使用了 pairwise ranking，針對兩個備選的 query，預測哪一個評分更高，然後取勝出最多的那個。 

分類器採用了 logistic regression 和 random forest。

實驗結果

本文使用 Freebase 作為 KB，但對於 WikiData 同樣有效。 

數據集使用了 Free917 和 WebQuestions。前者手動編寫了覆蓋 81 個 domain 的自然語言問句，語法準確，每個問句都對應一條 SPARQL 語句，用它可以在 KB 中查到標準答案。訓練集和測試集比例為 7:3。

WebQuestions 包含 5810 條從 Google Suggest API 上爬下來的問句，和 Free917 不同的是，它比較口語化，語法不一定準確，並且問題覆蓋的領域多為 Google 上被問到最多的領域。答案是用眾包生成的，噪聲較大，訓練集和測試集比例為 7:3。

和 Sempre，GraphParser 等結果較好的模型比較了 accuracy 和 F1 score，結果如下：

文章還分析了每個特徵對系統可靠性的影響：

對於 80% 的查詢，正確答案都能出現在 Top-5 裡。

文章評價

本文給出了一種 end-to-end 的系統來自動將 NL 問題轉換成 SPARQL 查詢語言。系統綜合了實體識別以及距離監督和 learning-to-rank 技術。設計的特徵非常具體豐富，比以往的模型準確度高了不少。並且據說程序運行效率也很好，一秒就能回答出一個問題。

系統的準確雖然不是特別高，但在 Top-5 內的準確度很高，如果加上交互式問答的形式，結果可能就會改善。本文沒有採用深度學習的方法，採用的是統計學習的方法，並且手動設計了特徵，人工代價比較高，對數據集的要求和質量較高。


本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智慧、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！

#榜 單 公 布 #


2017年度最值得讀的AI論文 | NLP篇 · 評選結果公布

2017年度最值得讀的AI論文 | CV篇 · 評選結果公布

  我是彩蛋 


解鎖新功能：熱門職位推薦！

PaperWeekly小程序升級啦

今日arXiv√猜你喜歡√熱門職位√

找全職找實習都不是問題

 

 解鎖方式 

1. 識別下方二維碼打開小程序

2. 用PaperWeekly社區帳號進行登陸

3. 登陸後即可解鎖所有功能

 職位發布 

請添加小助手微信（pwbot01）進行諮詢

 

長按識別二維碼，使用小程序

*點擊閱讀原文即可註冊

           

相關焦點

  • 論文淺嘗 | 利用 RNN 和 CNN 構建基於 FreeBase 的問答系統
    Question Answering over Freebase via Attentive RNN withSimilarity Matrix based CNN[J]. arXiv preprint arXiv:1804.03317, 2018.概述隨著近年來知識庫的快速發展，基於知識庫的問答系統（KBQA ）吸引了業界的廣泛關注。
  • 結構化數據信息提取:基於Freebase的問答系統
    介紹基於知識庫（KB）的問答系統（QA）在自然語言處理中有著悠久的歷史，可以追溯到1960年代和1970年代，使用的系統包括Baseball和Lunar。由於缺乏知識資源、計算能力和對自然語言的理解能力，這些系統被限制在特定的封閉領域。
  • mmdetection最小復刻版(七):anchor-base和anchor-free差異分析
    ：Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection論文地址：https://arxiv.org/abs/1912.02424ATSS簡單來說就是
  • AAAI 2020 提前看 | 三篇論文解讀問答系統最新研究進展
    今年 AAAI 共接受了 8800 篇提交論文，其中評審了 7737 篇，接收 1591 篇，接收率為 20.6%。為了向讀者們介紹更多 AAAI2020 的優質論文，機器之心組織策劃了 AAAI 2020 論文分享，邀請國內外著名大學、研究機構以及工業界的研究人員詳細介紹他們發布在 AAAI 2020 的文章，歡迎大家持續關注。
  • 國外基於知識庫的問答系統相關研究進展及其啟示
    與之相反，另一種處理自然語言提問的方法是基於信息抽取。這種方法不去理解提問的邏輯或含義，而是抽取提問中重要的核心話題實體和關係，然後在知識庫中搜索核心實體幾跳以內的候選答案實體。最後計算候選答案與提問文本的相似性或相關性，來選取可能的最佳答案。二、基於語義分析的問答系統研究首先來看近三年來基於語義分析技術的問答系統相關研究。
  • 三分熟博士生の閱讀理解與問答數據集 | 論文集精選 #03
    基於 Freebase，有 5166 個問題，涉及 148 個不同領域；2. 從知識圖譜中產生 Minimal Graph Queries，再將 Query 自動轉換成規範化的問題；3. 由於 2，Logical Form 不需要人工標註，也不存在無法用 Logical Form 表示的問題；4.
  • AAAI 2020 提前看|三篇論文解讀問答系統最新研究進展
    今年 AAAI 共接受了 8800 篇提交論文，其中評審了 7737 篇，接收 1591 篇，接收率為 20.6%。為了向讀者們介紹更多 AAAI2020 的優質論文，機器之心組織策劃了 AAAI 2020 論文分享，邀請國內外著名大學、研究機構以及工業界的研究人員詳細介紹他們發布在 AAAI 2020 的文章，歡迎大家持續關注。
  • 揭開知識庫問答KB-QA的面紗1·簡介篇
    以上論文幾乎都使用了 Freebase 作為 knowledge base，並且在 WebQuestion 數據集上進行過測試，這裡給出各種方法的效果對比圖，給大家一個更加直觀的感受。註：該圖片來自中科院劉康老師在知識圖譜與問答系統前沿技術研討會中的報告以上論文幾乎都使用了 Freebase 作為 knowledge base，並且在 WebQuestion 數據集上進行過測試，這裡給出各種方法的效果對比圖
  • 今晚7:30論文解讀直播 | 二樹網絡生成樹算法與DeepWalk經典算法
    今晚（8月19日）19:30-20:30，我們邀請到青海師範大學趙海興老師和冶忠林老師作客集智學園直播間，在線解讀二樹網絡生成樹算法的論文，與DeepWalk
  • 解讀| 9個問答,了解2020屆本科畢業設計(論文)工作安排
    解讀 | 9個問答，了解2020屆本科畢業設計（論文）工作安排 2020-03-03 20:34 來源：澎湃新聞·澎湃號·政務
  • IJCAI 2018 | 騰訊知文團隊3篇入選論文解讀
    在近日揭曉2018年收錄論文名單中，騰訊知文團隊有3篇一作長文被錄取，我們將對文章進行簡要解讀，歡迎交流討論。騰訊知文團隊介紹    騰訊知文是SNG數據中心的NLP團隊，目前專注於問答與對話領域，服務與支持的產品包括騰訊雲小微機器人、騰訊雲金融智能客服、騰訊雲內容理解等。
  • 一作解讀NLPCC最佳學生論文:1200萬中文對話數據和預訓練模型CDial...
    在主會377篇有效投稿中，英文論文315篇，中文論文62篇；接收Oral論文83篇，其中英文論文70篇，中文論文13篇，錄用率為22%；接收Poster 論文30篇。Workshop共計錄取14篇論文。　　在本次會議上評選出最佳論文、最佳學生論文各1篇，並進行了頒獎儀式。
  • 一作解讀NLPCC最佳學生論文:1200萬中文對話數據和預訓練模型CDial-GPT
    在主會377篇有效投稿中，英文論文315篇，中文論文62篇；接收Oral論文83篇，其中英文論文70篇，中文論文13篇，錄用率為22%；接收Poster 論文30篇。Workshop共計錄取14篇論文。在本次會議上評選出最佳論文、最佳學生論文各1篇，並進行了頒獎儀式。
  • 前瞻研究和落地應用兼顧,ACL 2020百度11篇被收錄論文解讀
    前瞻研究和落地應用兼顧，ACL 2020百度11篇被收錄論文解讀 2020-04-21 17:47
  • 加州伯克利博士:基於隱模型的圖神經網絡設計|NeurIPS 2020論文分享
    在多方因素的成功推動下，研究人員借鑑了卷積網絡、循環網絡和深度自動編碼器的思想，定義和設計了用於處理圖數據的神經網絡結構，由此出現了一個新的研究熱點——「圖神經網絡（Graph Neural Networks，GNN）」。圖神經網絡在計算機視覺、基於圖的推薦系統、交通路線規劃、化學分子的圖結構等等領域有著廣泛的應用前景。
  • 基於知識圖譜的智能問答
    問答系統可分為面向任務、面向知識和面向聊天三類，從關鍵技術上分，還可以把其分成基於搜索技術的問答系統、基於協同的問答系統、基於知識庫的問答系統。面向任務的問答系統是一種閉域應用，通常使用基於規則的或基於模板的方法，並採用對話狀態跟蹤技術。在幫助服務中所使用的槽位填充方法，就是一種基於模板的方法。面向知識的問答系統可用於閉域和開放域，通常使用以數據為驅動的信息檢索模型。該類方法基於從問答知識庫中查找與提問問題最匹配的知識。一份最新的研究工作嘗試使用基於神經網絡的方法實現問題間的匹配。
  • NLP: 基於文本語義的智能問答系統
    向AI轉型的程式設計師都關注了這個號👇👇👇人工智慧大數據與深度學習  公眾號：datayx問答系統是自然語言處理領域一個很經典的問題經典應用場景包括：智能語音交互、在線客服、知識獲取、情感類聊天等。常見的分類有：生成型、檢索型問答系統；單輪問答、多輪問答系統；面向開放領域、特定領域的問答系統。本文涉及的主要是在檢索型、面向特定領域的問答系統**——智能客服機器人。
  • ICLR 2020丨微軟亞洲研究院精選論文解讀
    本文為大家介紹的是微軟亞洲研究院入選 ICLR 2020的 4 篇精選論文，研究主題分別為BERT 在機器翻譯中的應用，有理論保障的對抗樣本防禦模型 MACER，一種新的基於自我博弈的文本生成對抗網絡（GAN）訓練算法，以及可廣泛應用於視覺-語言任務的預訓練通用特徵表示 VL-BERT。
  • 今日Paper|可視問答模型;神經風格差異轉移;圖像壓縮系統;K-SVD...
    目錄準確性與複雜性：可視問答模型中的一種權衡神經風格差異轉移及其在字體生成中的應用基於GAN的可調整的圖像壓縮系統基於原始-對偶活動集算法的K-SVDfrom=leiphonecolumn_paperreview0211推薦原因這篇論文考慮的是視覺問答的問題。為了驗證AI的推理能力，視覺問答（Visual Question Answering，VQA）被用作一種視覺圖靈測試。
  • ICML 2020 | 基於類別描述的文本分類模型
    今天，我們給大家介紹近期香儂科技被ICML2020接受的的一篇文章：基於類別描述的文本分類模型。該模型的主要思想是：通過顯式地引入對分類標籤的描述提高文本分類的效果。序列到序列模型使用標籤模板初始化（即將文本作為輸入，將標籤模板作為輸出）。為了驗證該方法的有效性，我們在三類文本分類任務上實驗：單標籤分類、多標籤分類和多方面情感分析。