雷鋒網(公眾號：雷鋒網)AI科技評論按：語義依存是中文語義的深層分析，完善的語義表示體系對語義依存分析有重要作用。本文介紹的工作來自哈工大 SCIR 實驗室錄用於 AAAI 2018 的論文《A Neural Transition-Based Approach for Semantic Dependency Graph Parsing》。
在近期雷鋒網 GAIR 大講堂舉辦的線上公開課上，來自哈爾濱工業大學在讀博士生王宇軒分享了一篇他在 AAAI 2018 投中的論文：基於轉移的語義依存圖分析。
以下是王宇軒同學在線上直播課上的分享內容，雷鋒網編輯做了簡要回顧，完整視頻回放連結請點擊：http://www.mooc.ai/open/course/308
分享內容：
同學們，大家好，今天主要分享的是用一種基於轉移的方法來進行語義依存圖的分析。
首先介紹一下什麼是語義依存分析。語義依存圖是近年來提出的對樹結構句法或語義表示的擴展，它與樹結構的主要區別是允許一些詞擁有多個父節點，從而使其成為有向無環圖（direct edacyclic graph，DAG）。
右上圖是2012年和北京語言大學合作定義和標註的語義依存樹，通過一些依存弧把句子中有語義關係的詞連接起來。它是樹結構，所以成為語義依存樹。右下角是語義依存圖結構，因為在依存樹裡面，有一些詞之間的關係受限於樹結構，不能很好刻畫，所以就引入了依存圖概念。
語義依存圖與傳統樹結構的區別
左上第一個是句法依存樹，中間為語義依存樹，最下面是語義依存圖。圖結構與原來傳統的樹結構表示最大的不同就是存在有多個父節點，比如圖中的「我們」存在兩個父節點。
上圖左邊三個結構是另一種語義依存圖結構。它們是在英文語料上進行標註，並且有三種標註規範，分別是DM、PAS、PSD。由此可以看出在同一個句子中，由於標註規範不同，圖結構也是不同的。這是依存圖的第二個特點，具有多種標註規範。第三個特點事具有非投射性，弧之間有交叉。
語義依存圖實際上就是有向無環圖， 這篇論文的目的就是提出一個能適應多種標註規範的有向無環圖的一個分析器。
我們採用的是基於轉移的語義依存分析方法。該方法主要分為兩部分結構，一是預測，二是執行。預測部分是由一個分類器實現。執行部分需要一個轉移算法 ，包括一些預定義的轉移動作等。
關於轉移系統
首先有個緩存（buffer），用來保存將要處理的詞。接下來是一個棧（stack），保存正在處理的詞。還需要有一個存儲器（memory），用來記錄已經生成的弧。最後是一個deque， 暫時跳過一些詞。轉移狀態包括一個保存正在處理中的詞的棧（Stack），一個保存待處理詞的緩存（Buffer），和一個記錄已經生成的依存弧的存儲器。
用來處理傳統依存樹結構的轉移系統，以Choi等人在2013年提出的轉移系統為例。
生成圖中標紅的弧線，首先要通過一個LEFT-REDUCE轉移動作，LEFT是生成一條由緩存頂的詞指向棧頂詞的一條弧，REDUCE，是指生成弧之後，將棧頂詞消除掉。
如何生成圖中黃色的弧，首先執行一個LEFT-PASS轉移動作，暫時不把「他」消除，經過一系列轉移動作，再執行LEFT-REDUCE交互， 消除「他」。
接下來是用一個具體例子介紹整個轉移系統，包括更多的轉移動作，具體可觀看視頻回放。
基於轉移的語義依存分析方法中的分類器
圖中的分類器存在一些問題，緩存會損失一些信息，因為緩存只能通過單向LSTM學到正在緩存中的詞的表示，另外由於它是一個從右到左的單向LSTM，因此它會損失從左到右這部分信息。
為了解決這個問題，我們提出了Bi-LSTM模塊。
我們提出的Incremental Tree-LSTM和傳統的Dependency-Based Recursive NN效果對比
關於Incremental Tree-LSTM
圖中大寫ABCD代表四個詞，下面的小寫可以認為它的向量化表示。
首相生成一個A指向B的弧，把A和B的子向量同時放到一個LSTM單元裡面，組合起來用a+b表示，放在A下面，以此類推，每次找到新的子節點都會把原來已找到的子節點拿來一起輸入，就不會損失C的信息。
上面提出的兩個模塊兒替換原來轉移系統後的效果圖
實驗結果
簡單介紹一下得到的實驗結果，首先是在一個中文語義依存圖的數據集SemEval 2016 Task9進行實驗，其中最重要的兩個評測指標LF和NLF。圖中BS是增加了第一種模塊後的性能，IT是增加第二個模塊兒後的性能，BS-ST是兩個模塊同時使用後整個模型的性能。
我們的模型和其他模型的性能對比
接下來是在SemEval 2015 Task 18上的英語數據集上的實驗。這個數據的測試集包括兩部分，紫色（in-domain）是指和訓練數據來自同領域的數據，綠色（out-of-domain）是指和訓練數據來自不同領域的數據，所以性能表現也不一樣。
值得一提的是，我們的模型可以通過模型融合的方法，在訓練過程中用不同的隨機化種子，訓練多個模型， 在預測的時候，用多個模型分別進行預測，得到多個當前狀態下要執行的轉移動作的概率分布，把多個概率分布對應的疊加起來，作為接下來判定的標準，這樣的簡單模型融合對模型性能有較大的提升效果。
最後給大家安利一個我們實驗室的中文語言處理工具包，包括最底層的分詞，詞性標註，一直到上層的句法分時，語義分析都能夠提供。可以下載到本地直接使用，也可以通過接口在線接入。
以上就是全部的分享內容。
雷鋒網更多公開課直播預告敬請關注公眾號「AI 研習社」。如果錯過了直播課程，還可到AI慕課學院查找該期的視頻回放。
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。