準確率創新高,北大開源中文分詞工具包 pkuseg

北京大學近日開源了一個全新的中文分詞工具包 pkuseg ，相比於現有的同類開源工具，pkuseg 大幅提高了分詞的準確率。

pkuseg 由北大語言計算與機器學習研究組研製推出，具備如下特性：

1. 高分詞準確率。相比於其他的分詞工具包，pkuseg 在不同領域的數據上都大幅提高了分詞的準確度。根據項目文檔給出的測試結果，pkuseg 分別在示例數據集（ MSRA 和 CTB8 ）上降低了 79.33% 和 63.67% 的分詞錯誤率。

2. 多領域分詞。研究組訓練了多種不同領域的分詞模型。根據待分詞的領域特點，用戶可以自由地選擇不同的模型。

3. 支持用戶自訓練模型。支持用戶使用全新的標註數據進行訓練。

性能對比

在 Linux 環境下，各工具在新聞數據 (MSRA) 和混合型文本 (CTB8) 數據上的準確率測試情況如下：

預訓練模型

分詞模式下，用戶需要加載預訓練好的模型。我們提供了三種在不同類型數據上訓練得到的模型，根據具體需要，用戶可以選擇不同的預訓練模型。以下是對預訓練模型的說明：

MSRA : 在 MSRA（新聞語料）上訓練的模型。新版本代碼採用的是此模型。下載地址

CTB8 : 在 CTB8（新聞文本及網絡文本的混合型語料）上訓練的模型。下載地址

WEIBO : 在微博（網絡文本語料）上訓練的模型。下載地址

更多詳情可查閱項目倉庫。