伊瓢 發自 中關村量子位 報導 | 公眾號 QbitAI
中文分詞的最佳效果又被刷新了。
在今年的ACL 2020上，來自創新工場大灣區人工智慧研究院的兩篇論文中的模型，刷新了這一領域的成績。
WMSeg，在MSR、PKU、AS、CityU、CTB6這5個數據集上的表現，均達了最好的成績。
另外，在詞性標註方面，TwASP模型同樣刷新了成績。
中文分詞的SOTA
中文分詞目的是在中文的字序列中插入分隔符，將其切分為詞。例如，「我喜歡音樂」將被切分為「我/喜歡/音樂」(「/」表示分隔符)。
中文語言因其特殊性，在分詞時面臨著兩個主要難點。一是歧義問題，由於中文存在大量歧義，一般的分詞工具在切分句子時可能會出錯。例如，「部分居民生活水平」，其正確的切分應為「部分/居民/生活/水平」，但存在「分居」、「民生」等歧義詞。「他從小學電腦技術」，正確的分詞是：他/從小/學/電腦技術，但也存在「小學」這種歧義詞。
二是未登錄詞問題。未登錄詞指的是不在詞表，或者是模型在訓練的過程中沒有遇見過的詞。例如經濟、醫療、科技等科學領域的專業術語或者社交媒體上的新詞，或者是人名。這類問題在跨領域分詞任務中尤其明顯。
對此，《Improving Chinese Word Segmentation with Wordhood Memory Networks》這篇論文提出了基於鍵-值記憶神經網絡的中文分詞模型。
該模型利用n元組（即一個由連續n個字組成的序列，比如「居民」是一個2元組，「生活水平」是一個4元組）提供的每個字的構詞能力，通過加（降）權重實現特定語境下的歧義消解。並通過非監督方法構建詞表，實現對特定領域的未標註文本的利用，進而提升對未登錄詞的識別。
例如，在「部分居民生活水平」這句話中，到底有多少可能成為詞的組塊？單字可成詞，如「民」；每兩個字的組合可能成詞，如「居民」；甚至四個字的組合也可能成詞，例如「居民生活」。
「民」 → 單字詞「居民」 → 詞尾「民生」→ 詞首「居民生活」 → 詞中
把這些可能成詞的組合全部找到以後，加入到該分詞模型中。通過神經網絡，學習哪些詞對於最後完整表達句意的幫助更大，進而分配不同的權重。像「部分」、「居民」、「生活」、「水平」這些詞都會被突出出來，但「分居」、「民生」這些詞就會被降權處理，從而預測出正確的結果。
△ 鍵-值記憶神經網絡分詞模型
在「他從小學電腦技術」 這句話中，對於有歧義的部分「從小學」（有「從/小學」和「從小/學」兩種分法），該模型能夠對「從小」和「學」分配更高的權重，而對錯誤的n元組——「小學」分配較低的權重。
為了檢驗該模型的分詞效果，論文進行了嚴格的標準實驗和跨領域實驗。
實驗結果顯示，該模型在5個數據集（MSR、PKU、AS、CityU、CTB6）上的表現，均達了最好的成績。
創新工場大灣區人工智慧研究院執行院長宋彥表示，與前人的模型進行比較發現，該模型在所有數據集上的表現均超過了之前的工作，「把中文分詞領域廣泛使用的標準數據集上的性能全部刷到了新高。」
在跨領域實驗中，論文使用網絡博客數據集（CTB7）測試。實驗結果顯示，在整體F值以及未登陸詞的召回率上都有比較大提升。
△跨領域分詞實驗（網絡博客測試集）的結果
解決「噪音」問題
《Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-way Attentions of Auto-analyzed Knowledge》論文提供了一種基於雙通道注意力機制的分詞及詞性標註模型。
中文分詞和詞性標註是兩個不同的任務。詞性標註是在已經切分好的文本中，給每一個詞標註其所屬的詞類，例如動詞、名詞、代詞、形容詞。詞性標註對後續的句子理解有重要的作用。
在詞性標註中，歧義仍然是個老大難的問題。例如，對於「他要向全班同學報告書上的內容」中，「報告書」的正確的切分和標註應為「報告_VV/書_N」。但由於「報告書」本身也是一個常見詞，一般的工具可能會將其標註為「報告書_NN」。
△ 利用句法知識進行正確的詞性標註
句法標註本身需要大量的時間和人力成本。在以往的標註工作中，使用外部自動工具獲取句法知識是主流方法。在這種情況下，如果模型不能識別並正確處理帶有雜音的句法知識，很可能會被不準確的句法知識誤導，做出錯誤的預測。
例如，在句子「他馬上功夫很好」中，「馬」和「上」應該分開（正確的標註應為「馬_NN/上_NN」）。但按照一般的句法知識，卻可能得到不準確的切分及句法關係，如「馬上」。
針對這一問題，該論文提出了一個基於雙通道注意力機制的分詞及詞性標註模型。該模型將中文分詞和詞性標註視作聯合任務，可一體化完成。模型分別對自動獲取的上下文特徵和句法知識加權，預測每個字的分詞和詞性標籤，不同的上下文特徵和句法知識在各自所屬的注意力通道內進行比較、加權，從而識別特定語境下不同上下文特徵和句法知識的貢獻。
這樣一來，那些不準確的，對模型預測貢獻小的上下文特徵和句法知識就能被識別出來，並被分配小的權重，從而避免模型被這些有噪音的信息誤導。
△ 基於「雙通道注意力機制」的分詞及詞性標註
即便在自動獲取的句法知識不準確的時候，該模型仍能有效識別並利用這種知識。例如，將前文有歧義、句法知識不準確的句子（「他馬上功夫很好」），輸入該雙通道注意力模型後，便得到了正確的分詞和詞性標註結果。
△ 分詞及詞性標註實例
為了測試該模型的性能，論文在一般領域和跨領域分別進行了實驗。
一般領域實驗結果顯示，該模型在5個數據集（CTB5，CTB6，CTB7，CTB9，Universal Dependencies）的表現（F值）均超過前人的工作，也大幅度超過了史丹福大學的 CoreNLP 工具，和伯克利大學的句法分析器。
即使是在與CTB詞性標註規範不同的UD數據集中，該模型依然能吸收不同標註帶來的知識，並使用這種知識，得到更好的效果。
△ CTB5（CTB5是使用最多的中文分詞和詞性標註的數據集）結果
而在跨領域的實驗中，和史丹福大學的 CoreNLP 工具相比，該模型也有近10個百分點的提升。
△ 跨領域分詞實驗（對話測試集）的結果
創新工場出品
兩篇論文的第一作者，是華盛頓大學博士研究生、創新工場實習生田元賀。
他的老師創新工場大灣區人工智慧研究院執行院長、華盛頓大學客座教授宋彥，此前也是騰訊AI Lab專家（首席）研究員。