來源：《中國計算機學會通訊》 2015年第3期《專題》
作者：趙軍
圖靈測試
讓計算機具有人的智能，一直是科學家追求的目標。1950年，阿蘭•圖靈(A. M. Turing)提出「圖靈測試」：讓一個人在不接觸對方的情況下，通過一種特殊的方式和對方進行一系列問答；如果在相當長的時間內，他無法根據這些問題判斷對方是人還是計算機，那麼就可以認為這臺計算機具有相當於人的智力，即這臺計算機是能思維的。自此，問答系統成為判斷計算機是否具有智能（特別是語言智能）的理想模型。美國認知心理學家奧爾森(G. M. Olson)認為，判別計算機是否理解自然語言的四個標準是：問答系統(question answering)、文摘(summarization)、複述(paraphrase)和機器翻譯(machine translation)。計算機只要達到四個標準之一，就認為它理解了自然語言。
問答系統發展歷程
問答系統的研究經歷了幾個階段。
從20世紀50~60年代開始，人工智慧科學家就致力於研究基於知識推理的問答系統，其特點是：專家建立知識庫，答案或者從知識庫中檢索得到，或者在知識庫上經過推理得到。推理主要是基於專家制定的啟發式規則進行。代表性系統是美國麻省理工學院開發的數學符號運算系統MACSYMA[1]。基於知識推理的問答系統具有性能良好、回答準確、具有推理能力等優點。但是這種方法也有明顯的缺點：人工構建知識庫非常困難，知識庫規模和領域有限，如果問題超出了知識庫的範圍，則系統性能會很差。
20世紀90年代，隨著網際網路技術的發展，網絡信息日益豐富，搜尋引擎為信息獲取提供了極大的便利，但卻無法清楚地表達人們的意圖，而且其返回的是網頁，並不是確切的答案，因此不能很好地滿足人們的信息需求。為了彌補搜尋引擎的不足，研究人員提出了問答式檢索系統，如麻省理工學院開發的Start1、Umass開發的QuASM2和微軟公司開發的Encarta3。這類系統的主要特點是：利用信息檢索以及淺層自然語言處理技術從大規模文本庫或者網頁庫中抽取出答案。與基於知識推理的問答系統相比，問答式檢索系統不受知識庫規模和領域的限制，更加接近真實的應用需求；與傳統的搜尋引擎相比，問答式檢索系統接受的是自然語言形式的提問，對用戶意圖的把握更加準確，呈現給用戶的答案也更加準確。但是目前，問答式檢索系統僅能處理有限類型的簡單問題，如事實性的問題、定義性的問題等。而且，由於只用到檢索技術和一些淺層的自然語言處理技術，問答式檢索系統幾乎沒有推理能力。
2011年，IBM研發的問答機器人沃森(Watson)在美國智力競賽節目「危險邊緣」(Jeopardy!)中戰勝人類選手，成為問答系統發展的一個裡程碑。沃森的技術優勢大致可以分為三個方面：(1)強大的硬體平臺：包括90臺IBM伺服器、分布式計算環境；(2)強大的知識資源：存儲了大約2億頁的圖書、新聞、電影劇本、辭海、文選和《世界圖書百科全書》等資料；(3)深層問答技術(DeepQA)：涉及統計機器學習、句法分析、主題分析、信息抽取、知識庫集成和知識推理等深層技術。然而，沃森並沒有突破傳統問答式檢索系統的局限性，使用的技術主要還是檢索和匹配，回答的大多是簡單的實體或詞語類問題，而且推理能力不強。
隨著Web2.0的興起，基於用戶生成內容(User-Generated Content, UGC)的網際網路服務越來越流行，社區問答系統應運而生，例如Yahoo! Answers4、百度知道5等。據統計，2010年，「Yahoo! Answers」已解決的問題達10億個；2011年，「百度知道」已解決的問題達3億個，而且這些社區問答數據覆蓋了用戶知識和信息需求的方方面面。問答社區的出現為網際網路知識分享提供了新的途徑和平臺，也為問答技術的發展帶來了新的機遇。科學家們開始研究如何對海量社區問答數據進行有效的挖掘和利用，從而回答用戶提出的新問題。
無論是問答式檢索系統還是社區問答系統，都是建立在大規模語料庫基礎上的，其主要技術手段是檢索和驗證。知識庫的匱乏一直是影響問答系統智能化的重要因素。在問答系統方面，對知識表示和推理技術並沒有進行深入系統的研究，因此，目前離智能問答系統的目標還有相當大的距離。
開放知識庫成為智能問答突破的關鍵
為了實現智能問答，需要理解文本信息的語義，將自然語言表示的知識轉化為計算機可以理解的形式化表達。事實上，科學家們一直在以專家建造的方式努力描述知識。
問答系統所用到的知識可以粗略地分為語言知識和世界知識。語言知識表示資源最典型的代表是英文知識庫WordNet、FrameNet、北京大學現代漢語語法信息知識庫、HowNet等。世界知識表示資源最典型的代表是Cyc（來源是「encyclopedia」），該項目是在人工智慧鼻祖道格拉斯•莉娜(Douglas Lenat)帶領下實現的目前全世界最大的完全由人工建立的常識知識庫。雖然目前它已包括500萬條專家定義的斷言，涉及50萬個概念、3萬個關係，但還遠遠不能滿足問答系統對知識的需求。
為了突破知識表示資源的瓶頸，學術界一直嘗試利用信息抽取技術從海量網絡資源中自動抽取知識建立知識庫，涉及實體識別、實體消歧和關係抽取等關鍵技術。卡內基梅隆大學在美國國防部高級研究計劃署(DARPA)、美國國家科學基金會(NSF)、谷歌和雅虎的共同資助下正在開展「Read the Web」項目。該項目致力於研發一個不停學習的計算機系統——NELL(Never-Ending Language Learner)[2]，不間斷地從網際網路上抽取和挖掘知識，構建可以支持多種智能信息處理應用需求的海量規模網絡知識庫。有代表性的工作還包括：華盛頓大學圖靈實驗室的TextRunner[3]、ReVerb[4]、R2A2[5]、WOE[6]、OLLIE[7]，德國柏林工業大學DSIM組的Wanderlust[8]、KrakeN[9]，德國馬克斯普朗克研究院(Maxplanck Institute)的PATTY[10]和ClausIE[11]，微軟研究院推出的Probase[12]。
工業界從另一個角度進行了全新的探索——以群體智慧的方式建設知識資源，並取得了豐碩成果。2001年，第一個用戶可編輯的「網際網路百科全書」網站——維基百科正式面向公眾開放，該平臺支持網民自助建設知識資源。截至目前，維基百科已經構建了涵蓋287種語言的3000多萬條知識條目。維基百科的發展給知識庫資源的建設帶來了新的生機。但它仍然是面向人的知識，由於形式化程度不夠，同時缺乏語義描述，計算機使用起來仍然很困難。因此，業界開始基於維基百科生成計算機可利用的知識庫，其中YAGO、DBpedia、Freebase、KOG/kyliy、PORE都是基於維基百科自動生成的知識庫。由於這些資源涵蓋不同領域的知識，內容也隨著人類知識的增長而不斷豐富，因此引起了搜尋引擎巨頭的極大關注。谷歌於2010年收購了Freebase6後，一直致力於構建相互關聯的實體及其屬性的巨大知識圖表Knowledge Graph，並據此建立了谷歌語義搜索。谷歌搜索部門高管艾米特•辛格爾(Amit Singhal)表示：「谷歌在知識圖表的支撐下，能夠將網頁上的單詞轉變為帶有屬性的實體，使機器能夠更加精確地理解語義信息，從而實現從基於關鍵詞的字符串到基於實體的語義匹配。」目前，該知識圖表已經包含了超過兩億個實體。在國內，百度和搜狗也分別推出了雄心勃勃的計劃——「百度知心」和「搜狗知立方」。
智能問答的研究重點
學術界和工業界在知識圖譜建設方面的顯著成果為智能問答系統技術的突破奠定了基礎。在知識圖譜的支撐下進行問答成為近年來的研究熱點。科學家們圍繞實體消歧、關係映射、問句的語義解析以及知識的學習和推理等關鍵技術問題進行了深入探索。
實體消歧
命名實體歧義指的是一個實體名在不同的上下文中可以對應到不同的真實世界實體的語言現象。例如，給定三個包含實體名「華盛頓」的句子：
美國開國元勳華盛頓；
美國首都華盛頓特區；
華盛頓州，位於美國西北部。
這三個句子中的實體名「華盛頓」分別指向實體「美國第一任總統」、「美國首府」和「美國華盛頓州」。在知識圖譜建設和問句語義解析等應用中，都需要確定文本中的實體名所指向的真實世界實體，這就是命名實體消歧。
高性能的命名實體消歧依賴於語義知識的利用，雖然網際網路上存在多種知識源，但是由於知識源的多源異構性以及很多語義知識隱藏在知識源的深層結構中，計算機通常難以獲取和利用這些知識源中的語義知識。因此，研究多源異構知識源中語義知識的挖掘與集成方法，在命名實體消歧以及其他自然語言處理任務中具有重要的意義。結構化知識源中的大部分語義知識都可以以概念關聯的形式表示。文獻[13]提出了統一的結構化語義知識表示模型——語義圖和基於圖的結構化語義知識挖掘算法——結構化語義關聯，來挖掘語義圖中的顯式和隱式知識。實驗結果表明，與傳統的基於詞袋子模型的實體消歧系統和基於社會化網絡的實體消歧系統相比，結構化語義知識可以顯著提升實體消歧的性能。
非結構化知識源中存在著大量概率化語義知識。為了挖掘和集成概率化語義知識，文獻[15]提出了基於語言模型的實體知識表示框架——實體語言模型，並基於此研究了文本語料庫中的實體知識挖掘算法。同時針對實體語言模型參數估計中的訓練樣本不足的問題，提出了兩種基於文本語料庫結構的訓練樣本挖掘策略：基於相似度結構的相關文檔擴展和基於層次分類結構的相關文檔擴展。實驗結果表明，實體語言模型能有效地表示實體知識，基於相關文檔擴展和基於層次分類結構擴展的實體語言模型參數估計方法能顯著提升實體知識挖掘性能。
為了充分利用實體指稱項的上下文信息以及從多個知識源中挖掘出的概率化語義知識和結構化語義知識來構建高性能的實體連結系統，韓(Xianpei Han)等人提出了局部一致性和全局一致性模型[14]。其中局部一致性模型將實體指稱項建模為實體語言模型生成的樣本，全局一致性模型利用結構化語義關聯對指稱項上下文的主題一致性進行建模。基於局部一致性和全局一致性模型，文獻[14]構建了高性能的實體連結系統。實驗結果表明，基於局部一致性和全局一致性模型的實體連結系統可以獲得良好的性能：與基於詞袋子模型的系統相比，該系統的性能顯著提升；與目前最新技術水平(state-of-the-art)的系統相比，該系統的性能也有一定程度提升。
關係語義分類
實體語義關係分類是把非結構化文本變成結構化文本的關鍵技術。例如，給定一個自然語言句子「斧子的把手是用紫杉木做的」(The [haft] of the [axe] is made of yew wood)，我們需要判斷兩個實體「把手」(haft)和「斧子」(axe)具有部分-整體(component-whole)的關係。在知識圖譜建造和問句語義解析等應用中，都需要確定文本中實體對所指向的語義關係。
傳統的關係分類主要採用有監督的方法，研究重點是找出更具區分性的特徵。傳統的特徵提取憑藉經驗，依賴現有的自然語言處理工具（詞性標註、句法分析、實體識別等）。由於這些處理工具不可避免地會產生錯誤的輸出結果，因此，多階段誤差累積會影響最終的關係分類效果。另一方面，現有的自然語言處理工具並不具備處理某些小語種語言的功能，極大地限制了傳統方法的應用。針對這些問題，文獻[16]提出了基於卷積深層神經網絡(convolutional deep neural network)的關係分類方法，利用卷積深層神經網絡，自動學習表徵實體語義關係的詞彙特徵、上下文特徵以及實體所在的句子特徵等；在學習統計特徵基礎上，進一步在卷積網絡中融入專家知識(WordNet7)進行關係分類。對於關係分類這個問題，該研究提出使用位置特徵對句子中需要給定語義關係的實體進行建模。該方法無須利用現有的自然語言處理工具做預處理，顯著改善了特徵抽取過程中多個處理環節所帶來的誤差累積問題。相比於傳統方法，基於卷積深層網絡的方法更容易擴展到其他語言。
實驗結果表明，與已有的最先進的方法相比，基於卷積深層神經網絡的方法在關係分類任務上性能有顯著提升；加入位置特徵後，實驗效果有顯著提升；在關係分類任務中，融入專家知識非常重要，WordNet特徵的加入可以進一步提升實驗效果。
問句語義解析
問句語義解析指的是用知識圖譜中的知識元表示自然語言問句的語義，並以邏輯表達式表示的過程[17]。例如，對於問句「有哪些城市緊挨著紐約」可以表示為：
λx.城市(x) Λ相鄰(x, 紐約市)。
其中，λ用於對一階謂詞邏輯公式進行抽象，其後面接著一個或多個變量，用於表示對這些變量的求解，使得帶入變量值後命題成立。
問句的語義解析是一個艱難的任務，主要體現在以下兩個方面。
1. 問句的詞語表達和知識庫中的資源（實體、關係、類別等）描述不一致。例如，對於問句「演員英格麗•褒曼(Ingrid Bergman)的女兒嫁給了誰」，需要將問句中的「女兒」和知識庫中的「孩子」聯繫起來，將問句中的「嫁給」和知識庫中的「配偶」聯繫起來。
λx.孩子(英格麗•褒曼, y) Λ配偶(y, x)。
2. 不同知識庫的知識組織有異構性。對於問句「俄國有哪些女性太空人」，需要針對兩個知識庫分別把它表示成不同的邏輯表達式：
λx.類型(x, 俄國太空人) Λ類型(x, 女航天員)；
λx.性別(x, 女性) Λ國籍(x, 俄國) Λ職業(x, 太空人) 。
美國德克薩斯大學奧斯汀分校的澤爾(Zelle)最早提出了一種基於確定性移位歸約的分析(deterministic shift-reduce parser)方法CHILL[18]，把句子分析成其對應含義的邏輯表達形式。隨後，雷蒙德•穆尼(Raymond J. Mooney)教授及其團隊在多個限定領域中（包括地理知識庫查詢GEOQUERY、機器人指導語言CLANG等）提出了各種對問句進行語義解析的方法，包括歸納邏輯編程[18]、支持向量機[27]、字符串核[28]和同步語法[29]等，並都取得了不錯的效果。但是，這些方法並沒有一個完善的理論基礎，也很難擴展到開放領域中廣泛應用。2005年，盧克•澤特爾莫耶(Luke S. Zettlemoyer)和麥可•柯林斯(Michael Collins)首次基於組合範疇語法(Combinatory Categorial Grammar, CCG)進行語義分析。這種方法把詞的語法和語義信息組合在一起形成分析的基礎詞典，依據語法規則對自然語言句子進行解析[30]。最近，為了在知識庫中更好地解析自然語言問句，加利福尼亞大學伯克利分校的珀西•梁(Percy Liang)等人提出了一種新的語義表示形式——基於依存的組合語義(dependency-based compositional semantics, DCS)[25]。DCS以樹的方式構建邏輯表達式，該語義表示形式與句法依存樹平行。儘管很多語義解析方法在限定領域內能達到很好的效果，但是在這些工作中，有很多重要組成部分（比如組合範疇語法中的詞彙表和規則集）都是人工編寫的，在面對大規模知識庫時遇到了困難。尤其是詞彙表，面對一個陌生的知識庫，不可能用人工方法得到完備的詞彙表。文獻[19~21]的工作都對該問題進行了探索。
上述方法和系統大多採用包含四個過程的流程式(pipeline)方法：短語識別、短語映射、資源組合和生成合適的邏輯查詢語句（比如SPARQL）進行查詢。前三個步驟都存在歧義，傳統方法在消歧時沒有考慮各步驟之間的影響，錯誤累積問題影響了消歧的準確率。
此外，目前主要的方法都依賴人工配置的語法模板，而自然語言問句中存在大量的歧義現象，利用手寫模板對問句進行抽取和解析的方法缺乏魯棒性。因此，自動學習規則和模板是研究的重點。
針對這兩方面的問題，文獻[22]設計了一種基於學習的新方法。該方法基於馬爾科夫邏輯網絡，對從自然語言句子轉換成結構化查詢的過程構造聯合學習模型，並採用馬爾科夫邏輯網，對短語識別、短語到資源的映射、對應資源之間的關係判別等三個任務進行聯合判別，定義語種無關、領域無關的一階謂詞公式形式的元規則，然後用數據驅動的方式對訓練語料中問句的語言特徵和知識庫限制進行聯合建模，自動學到各個元規則的權重。針對新出現的問句，依照元規則找到各種解析的候選方案，並結合查詢結果與權重計算結果，確定最終的答案。
在知識庫問答系統中的標準評測問題集上的評價效果顯示了該方法的有效性。實驗結果表明，聯合學習模型能夠得到更好的消歧結果，規則學習的策略也能夠學到有效的模板。相比於傳統方法，該方法能夠更好地覆蓋更多的自然語言表達，因此能夠以更高的準確率回答更多的問題[22]。
知識推理
在對問句進行語義解析之後，有些信息需求可以在知識庫中直接定位得到，還有很多需求在知識庫中找不到，其中有些可以根據推理手段得到。因此推理也是需要突破的關鍵問題。華盛頓大學開發了夏洛克-福爾摩斯系統，可以對知識庫中沒有顯式表達的知識進行推理[23]。而卡內基梅隆大學開發的推理系統可以利用已有的知識推理出知識庫中不存在的知識[24]。但總的來說，這方面的研究才剛剛起步。
知識智能的展望
近年來，知識工程取得了突飛猛進的發展，為智能問答系統的研究奠定了資源基礎。儘管如此，基於知識的智能問答系統仍有一些關鍵性問題需要解決。
首先，當前各知識庫基本上是各自獨立管理與維護，造成大量異構數據的存在，形成了許多局部範圍內組織良好，整體上卻是分散獨立的信息孤島。因此，如何將這些異構分散的知識資源整合在一起，挖掘資源間的語義關係，實現統一查詢與訪問，是當前基於知識的智能技術發展中亟待解決的問題。
其次，人類的知識是非常複雜的。目前的語言知識庫、世界知識庫雖然在數量上有了顯著提升，但是還遠遠不能涵蓋人類知識。目前世界知識庫的知識類型主要是事實性的知識，常識性知識欠缺。常識性知識在人類推理過程中起著非常重要的作用，而很多常識性知識難以規範化。
第三，隨著認知的進步，新的知識不斷湧現，網際網路中也隱含著大量未知知識。這類新知識往往是稀疏的，目前基於統計模型的知識挖掘方法對於少量長尾新知識的獲取往往無能為力。這些都給問答系統的推理造成很大的困難。
第四，還需要大規模高效率的自然語言深度語義解析手段。在自然語言理解領域，目前的語義分析方法，例如語義角色標註、句子邏輯語義分析等，還停留在刻畫和描述語言符號之間的關係層面。要做到真正的語言理解，需要建立語言符號和世界知識之間的關聯。同時，在語義解析過程中，不僅需要定義形式化的語義表示，還需要語義構造機制。目前存在的構造機制雖然多種多樣，但它們都需要面對龐大知識庫上的搜索空間問題。如何快速、準確地進行語義構造是語義解析實用化的一個重要問題。
腳註：
1 http://start.csail.mit.edu/。
2 http://nyc.lti.cs.cmu.edu/IRLab/11-743s04/。
3 http://encarta.msn.com/。
4 http://answers.yahoo.com/。
5 http://zhidao.baidu.com/。
6 http://www.freebase.com/。
7 WordNet是由普林斯頓大學的心理學家、語言學家和計算機工程師聯合設計的一種基於認知語言學的英語詞典。
作者簡介：
趙軍
CCF高級會員。中國科學院自動化研究所研究員。主要研究方向為自然語言處理、信息抽取和問答系統等。
參考文獻：
[1] Richard H Rand. 1984. Computer algebra in applied mathematics: An introduction to macsyma. Pitman Boston.
[2] Andrew Carlson, Justin Betteridge, Bryan Kisiel, and et al.. Toward an architecture for never-ending language learning. AAAI, 2010; 5:3.
[3] Alexander Yates, Michael Cafarella, Michele Banko, and et al.. Textrunner: Open information extraction on the web. In Proceedings of Human Language Technologies: The Annual Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, NAACL-Demonstrations』07, Stroudsburg, PA, USA. Association for Computational Linguistics, 2007: 25~26.
[4] Anthony Fader, Stephen Soderland, and Oren Etzioni. Identifying relations for open information extraction. Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP』11, Stroudsburg, PA, USA. Association for Computational Linguistics, 2011:1535~1545.
[5] OrenEtzioni, Anthony Fader, Janara Christensen, and et al.. Open information extraction: The second generation. IJCAI, 2011; 11: 3~10.
[6] Fei Wu and Daniel S. Weld. Open information extraction using wikipedia. Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics, ACL』10, Stroudsburg, PA, USA. Association for Computational Linguistics, 2010:118~127.
[7] Mausam, Michael Schmitz, Robert Bart, and et al.. Open language learning for information extraction. Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, EMNLP-CoNLL』12, Stroudsburg, PA, USA. Association for Computational Linguistics, 2012:523~534.
[8] AlanAkbik and JügenBroß. Wanderlust: Extracting semantic relations from natural language text using dependency grammar patterns. In WWW Workshop, 2009.
[9] AlanAkbik and Alexander Löser. Kraken: Nary facts in open information extraction. Proceedings of the Joint Workshop on Automatic Knowledge Base Construction and Web-scale Knowledge Extraction, AKBC-WEKEX』12, Stroudsburg, PA, USA. Association for Computational Linguistics, 2012:52~56.
[10] NdapandulaNakashole, Gerhard Weikum, and Fabian Suchanek. Patty: A taxonomy of relational patterns with semantic types. Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, EMNLP-CoNLL』12, Stroudsburg, PA, USA. Association for Computational Linguistics, 2012:1135~1145.
[11] Luciano Del Corro and Rainer Gemulla. Clausie: Clause-based open information extraction.Proceedings of the 22Nd International Conference on World Wide Web, WWW』13, Republic and Canton of Geneva, Switzerland. International World Wide Web Conferences Steering Committee, 2013:355~366.
[12] Wentao Wu, Hongsong Li, Haixun Wang, and et al..Probase: A probabilistic taxonomy for text understanding. Proceedings of the 2012 ACM SIGMOD International Conference on Management of Data, SIGMOD 』12, New York, NY, USA. ACM, 2012:481~492.
[13]Xianpei HAN, Jun ZHAO. Named Entity Disambiguation by Leveraging Wikipedia Semantic Knowledge. In: Proceedings of the 18th ACM Conference on Information and Knowledge Management (CIKM 2009), Hong Kong, November 2-6, 2009:215~224.
[14] Xianpei HAN, Le SUN, Jun ZHAO. Collective entity linking in Web text: a graph-based method. The Proceedings of the 34th Annual ACM SIGIR Conference (SIGIR-2011), Beijing, China, July 24-28, 2011:765~774.
[15] HAN Xianpei, ZHAO Jun. Structural semantic relatedness: a knowledge-based method to named entity disambiguation. Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (ACL-2010), Uppsala, Sweden, July 11~16, 2010:50~59.
[16] Daojian Zeng, Kang Liu, Siwei Lai, and et al.. Relation classification via convolutional deep neural network. Proceedings of the 25th International Conference on Computational Linguistics (COLING-2014), Dublin, Ireland, 23-29, August, Best paper award, 2014:2335~2344.
[17] Raymond J. Mooney. Learning for semantic parsing. Proceedings of the Eighth International Conference on Computational Linguistics and Intelligent Text Processing, Mexico City, Mexico. Springer, 2007:311~324.
[18] John M Zelle and Raymond J Mooney. Learning semantic grammars with constructive inductive logic programming. AAAI, 1993:817~822.
[19] QingqingCai, Alexander Yates. Large-scale semantic parsing via schema matching and lexicon extension. Association for Computational Linguistics (ACL), 2013:423~433.
[20] Jonathan Berant, Andrew Chou, Roy Frostig, Percy Liang. Semantic parsing on freebase from question-answer pairs. Proceedings of the Conference on Empirical Methods in Natural Language Processing, (ENMLP), 2013:1533~1544.
[21] Tom Kwiatkowski, Eunsol Choi, YoavArtzi, and et al.. Scaling semantic parsers with on-the-fly ontology matching. Proceedings of the Conference on Empirical Methods in Natural Language Processing, (ENMLP), 2013:1545~1556.
[22] Shizhu He, Kang Liu, Yuanzhe Zhang, and et al.. Question answering over linked data using first-order logic. Proceedings of the Conference on Empirical Methods in Natural Language Processing, ENMLP, 2014:1092~1103.
[23] Stefan Schoenmackers, Oren Etzioni, and Daniel S. Weld. Scaling textual inference to the web. Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP 』08, Stroudsburg, PA, USA. Association for Computational Linguistics, 2008:79~88.
[24] Lao, Tom Mitchell, and William W. Cohen. Random walk inference and learning in a large scale knowledge base. Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP』11, Stroudsburg, PA, USA. Association for Computational Linguistics, 2011:529~539.
[25] Percy Liang, Michael I. Jordan, Dan Klein. Learning dependency-based compositional semantics . Association for Computational Linguistics (ACL), 2011: 590~599.
[26] 劉明榮. 協作式問答系統關鍵技術研究，中國科學院自動化研究所博士學位論文，2010.
[27] Wong, Y. W. and Mooney, R. Semi-supervised learning for semantic parsing using support vector machines. Proceedings of the Human Language Technology Conference of the NAACL. 2006:81~84.
[28] Kate, R. J. and Mooney, R. J. Using string-kernels for learning semantic parsers. Proceedings of the 44th Annual Meeting of the Association for Computational Linguistics. 2006:913~920.
[29] Wong, Y. W. and Mooney, R. Learning synchronous grammars for semantic parsing with lambda calculus. Proceedings of the Association for Computational Linguistics. 2007: 960~967.
[30] Zettlemoyer, L. S. and Collins, M. Learning to map sentences to logical form: Structured classification with probabilistic categorical grammars. Proceedings of the Conference on Uncertainty in Artificial Intelligence.2005.