作者：jclian，喜歡算法，熱愛分享，希望能結交更多志同道合的朋友，一起在學習Python的道路上走得更遠！
本文將對三種中文分詞工具進行使用嘗試，這三種工具分別為哈工大的LTP，結巴分詞以及北大的pkuseg。
首先我們先準備好環境，即需要安裝三個模塊：pyltp, jieba, pkuseg以及LTP的分詞模型文件cws.model。在用戶字典中添加以下5個詞語：
經
少安
賀鳳英
F-35戰鬥機
埃達爾·阿勒坎
測試的Python代碼如下：
import os
import jieba
import pkuseg
from pyltp import Segmentor
lexicon = ['經', '少安', '賀鳳英', 'F-35戰鬥機', '埃達爾·阿勒坎']
def ltp_segment(sent):
cws_model_path = os.path.join('data/cws.model')
lexicon_path = os.path.join('data/lexicon.txt')
segmentor = Segmentor()
segmentor.load_with_lexicon(cws_model_path, lexicon_path)
words = list(segmentor.segment(sent))
segmentor.release()
return words
def jieba_cut(sent):
for word in lexicon:
jieba.add_word(word)
return list(jieba.cut(sent))
def pkuseg_cut(sent):
seg = pkuseg.pkuseg(user_dict=lexicon)
words = seg.cut(sent)
return words
sent = '儘管玉亭成家以後，他老婆賀鳳英那些年把少安媽欺負上一回又一回，怕老婆的玉亭連一聲也不敢吭，但少安他媽不計較他。'
print('ltp:', ltp_segment(sent))
print('jieba:', jieba_cut(sent))
print('pkuseg:', pkuseg_cut(sent))
對於第一句話，輸出結果如下：
原文: 儘管玉亭成家以後，他老婆賀鳳英那些年把少安媽欺負上一回又一回，怕老婆的玉亭連一聲也不敢吭，但少安他媽不計較他。
ltp: ['儘管', '玉亭', '成家', '以後', '，', '他', '老婆', '賀鳳英', '那些', '年', '把', '少安', '媽', '欺負', '上', '一', '回', '又', '一', '回', '，', '怕', '老婆', '的', '玉亭', '連', '一', '聲', '也', '不', '敢', '吭', '，', '但', '少安', '他媽', '不', '計較', '他', '。']
jieba: ['儘管', '玉亭', '成家', '以後', '，', '他', '老婆', '賀鳳英', '那些', '年', '把', '少安', '媽', '欺負', '上', '一回', '又', '一回', '，', '怕老婆', '的', '玉亭', '連', '一聲', '也', '不敢', '吭', '，', '但少安', '他媽', '不', '計較', '他', '。']
pkuseg: ['儘管', '玉亭', '成家', '以後', '，', '他', '老婆', '賀鳳英', '那些', '年', '把', '少安', '媽', '欺負', '上', '一', '回', '又', '一', '回', '，', '怕', '老婆', '的', '玉亭', '連', '一', '聲', '也', '不', '敢', '吭', '，', '但', '少安', '他媽', '不', '計較', '他', '。']
對於第二句話，輸出結果如下：
原文: 據此前報導，以色列於去年5月成為世界上第一個在實戰中使用F-35戰鬥機的國家。
ltp: ['據', '此前', '報導', '，', '以色列', '於', '去年', '5月', '成為', '世界', '上', '第一', '個', '在', '實戰', '中', '使用', 'F-35', '戰鬥機', '的', '國家', '。']
jieba: ['據此', '前', '報導', '，', '以色列', '於', '去年', '5', '月', '成為', '世界', '上', '第一個', '在', '實戰', '中', '使用', 'F', '-', '35', '戰鬥機', '的', '國家', '。']
pkuseg: ['據', '此前', '報導', '，', '以色列', '於', '去年', '5月', '成為', '世界', '上', '第一', '個', '在', '實戰', '中', '使用', 'F-35戰鬥機', '的', '國家', '。']
對於第三句話，輸出結果如下：
原文: 小船4月8日經長江前往小鳥島。
ltp: ['小船', '4月', '8日', '經長江', '前往', '小鳥島', '。']
jieba: ['小船', '4', '月', '8', '日經', '長江', '前往', '小', '鳥島', '。']
pkuseg: ['小船', '4月', '8日', '經', '長江', '前往', '小鳥', '島', '。']
對於第四句話，輸出結果如下：
原文: 1958年，埃達爾·阿勒坎出生在土耳其首都安卡拉，但他的求學生涯多在美國度過。
ltp: ['1958年', '，', '埃達爾·阿勒坎', '出生', '在', '土耳其', '首都', '安卡拉', '，', '但', '他', '的', '求學', '生涯', '多', '在', '美國', '度過', '。']
jieba: ['1958', '年', '，', '埃', '達爾', '·', '阿勒', '坎', '出生', '在', '土耳其', '首都', '安卡拉', '，', '但', '他', '的', '求學', '生涯', '多', '在', '美國', '度過', '。']
pkuseg: ['1958年', '，', '埃達爾·阿勒坎', '出生', '在', '土耳其', '首都', '安卡拉', '，', '但', '他', '的', '求學', '生涯', '多', '在', '美國', '度過', '。']
接著，對以上的測試情況做一個簡單的總結：
用戶詞典方面：LTP和pkuseg的效果都很好，jieba的表現不盡如人意，這主要是因為自定義的字典的詞語裡面含有標點符號，關於該問題的解決辦法，可以參考網址：https://blog.csdn.net/weixin_42471956/article/details/80795534
從第二句話的效果來看，pkuseg的分詞效果應該是最好的，『經』應該作為單個的詞語切分出來，而LTP和jieba即使加了自定義詞典，也沒有效果，同理，『F-35戰鬥機』也是類似的情形。
總的來說，三者的分詞效果都很優秀，差距不是很大，但在自定義詞典這塊，無疑pkuseg的效果更加穩定些。筆者也會在以後的分詞使用中多多考慮pkuseg～
有關pkuseg的介紹與使用，可以參考網址：https://github.com/lancopku/PKUSeg-python