R | 教程 jiebaR中文分詞

導言jiebaR是"結巴"中文分詞的R語言版本，支持最大概率法（Maximum Probability），隱式馬爾科夫模型（Hidden Markov Model），索引模型（QuerySegment），混合模型（MixSegment），共四種分詞模式。本次推送將介紹R中jiebaR程序包關於中文分詞的具體方法。安裝軟體包

install.packages("jiebaR")

默認引擎分詞jiebaR默認使用混合模型（MixSegment）進行分詞，可對語句（變量）和文檔（路徑）分詞。對語句進行分詞

library(jiebaR) 

engine1 = worker()
words="我希望未來會很好"

engine1[words]            #方法1
engine1<=words               #方法2
segment(words",engine1)   #方法3

[1] "我"   "希望" "未來" "會"   "很"   "好"

對文本文件進行分詞like.txt新的一學年開始了，結束了大一的驕傲和浮躁之後，橋川、鍾白、任逸帆等人順利進入了大二。肖海洋也通過了大一的考試，如願以償沒有留級。大一的同窗情誼依舊繼續。過了一個假期，大二伊始，舊同學的離開和新同學的加入，讓他們之間的關係也發生了微妙變化。顧一心隨家人去了美國上學， 畢十三把這份牽掛變成了學習上奮進的動力。轉學生許連翹新轉入電攝班並貌似帶著神秘的任務。原班主任的離開，讓原本散漫的電攝班開始團結。
人物的新舊交替，和大二課業的豐富與繁重，2015級電攝班大二的同窗故事更加精彩。這時的他們褪去了大一的青澀，迎來大學中成長速度最快的一年。九個人開啟了各自的夢想，並在跌跌撞撞中實現自己的夢想。又是一年大學時光的流逝，九位同窗好友之間的情誼越來越濃。

library(jiebaR) 

engine1 = worker()
segment['like.txt',engine1]

[1] "C:/Users/Li/Documents/RData/like.segment.2020-08-12_22_09_29.txt"

新 的 一 學年 開始 了 結束 了 大 一 的 驕傲 和 浮躁 之後 橋川 鍾 白 任 逸 帆 等 人 順利 進入 了 大二 肖 海洋 也 通過 了 大 一 的 考試 如願以償 沒有 留級 大一 的 同窗 情誼 依舊 繼續 過 了 一個 假期 大二 伊始 舊 同學 的 離開 和 新 同學 的 加入 讓 他們 之間 的 關係 也 發生 了 微妙 變化 顧 一心 隨 家人 去 了 美國 上學 畢 十三 把 這份 牽掛 變成 了 學習 上 奮進 的 動力 轉 學生 許 連翹 新 轉入 電攝 班 並 貌似 帶 著 神秘 的 任務 原 班主任 的 離開 讓 原本 散漫 的 電 攝班 開始 團結 人物 的 新舊交替 和 大二 課業 的 豐富 與 繁重 2015 級 電 攝班 大二 的 同窗 故事 更加 精彩 這時 的 他們 褪去 了 大 一 的 青澀 迎來 大學 中 成長 速度 最快 的 一年 九個 人 開啟 了 各自 的 夢想 並 在 跌跌撞撞 中 實現 自己 的 夢想 又 是 一年 大學 時光 的 流逝 九位 同窗好友 之間 的 情誼 越來越 濃更多分詞引擎在調用worker()函數時，我們實際是在加載jiebaR庫的分詞引擎。jiebaR庫中提供了8種分詞引擎。混合模型(MixSegment)：默認引擎。四個分詞引擎裡面分詞效果較好，結合使用最大概率法和隱式馬爾科夫模型。最大概率法(MPSegment) ：負責根據Trie樹構建有向無環圖和進行動態規划算法，是分詞算法的核心。全分詞模型(FullSegment)：將枚舉字典中所有可能的單詞隱式馬爾科夫模型(HMMSegment)：是根據基於人民日報等語料庫構建的HMM模型來進行分詞，主要算法思路是根據(B,E,M,S)四個狀態來代表每個字的隱藏狀態。HMM模型由dict/hmm_model.utf8提供。分詞算法即viterbi算法。索引模型(QuerySegment)：先使用混合模型進行切詞，再對於切出來的較長的詞，枚舉句子中所有可能成詞的情況，找出詞庫裡存在。標記模型(tag)：先使用混合模型進行切詞，並在切分後使用與ictclas兼容的標籤對詞進行詞性標註。Simhash模型(simhash)：使用關鍵字提取worker查找關鍵字，並使用Simhash算法計算Simhash值。參數解釋

worker(type = "mix", dict = DICTPATH, hmm = HMMPATH, user = USERPATH,
    idf = IDFPATH, stop_word = STOPPATH, write = T, qmax = 20, topn = 5,
    encoding = "UTF-8", detect = T, symbol = F, lines = 1e+05,
    output = NULL, bylines = F, user_weight = "max")

type, 引擎類型，包括 mix, mp,hmm,full, query,tag, simhash, 和keywords.write, 是將輸出寫入文件，還是在對象中返回結果。僅在輸入為文件路徑使用。默認TRUE。encoding, 輸入文件的編碼，默認UTF-8lines, 每次讀取文件的最大行數，用於控制讀取文件的長度。大文件則會分次讀取。更改分詞引擎配置項可以在調用worker()創建分詞引擎時改變分詞引擎的配置項，也可以通過WorkerName$symbol = T的形式來進行設置
以下為幫助手冊中的例子：

engine2 = worker("hmm")                    #創建時更改配置項
segment("./temp.txt", engine2)        

engine2$write = T                        #通過$更改配置項
segment("./temp.txt", engine2)

engine3 = worker(type = "mix", dict = "dict_path",symbol = T)        #指定系統詞典，並保留符號
segment("./temp.txt", engine3)

#關鍵詞模式，篩選1個關鍵詞
engine = worker("keywords", topn = 1)        #關鍵詞模式，篩選1個關鍵詞
keywords(words, engine)

#標記模式，對分好後的每個詞標記詞性
tagger = worker("tag")
tagging("我愛廈門", tagger)
#     r      v     ns 
#  "我"   "愛" "廈門" 
#    r：代詞 v：動詞  ns：地名

### Simhash模型，篩選一個關鍵詞
simhasher = worker("simhash", topn = 1)
simhash(words, simhasher)                   #計算關鍵詞和原文的simhash值
distance("hello world" , "hello world!" , simhasher)        #該函數使用Simhash引擎進行關鍵字提取，從兩個輸入中找到關鍵字，然後計算它們之間的Hamming距離。

自定義用戶詞典自定義用戶詞典mydict.utf8包括：一學年 大一 鍾白 任逸帆 肖海洋

engine=worker(user="mydict.utf8") 
segment['like.txt',engine]

輸出結果：在同目錄下生成分詞結果的文本文件，第一行內容如下：新 的 一學年 開始 了 結束 了 大一 的 驕傲 和 浮躁 之後 橋川 鍾 白 任逸帆 等 人 順利 進入 了 大二 肖海洋 也 通過 了 大 一 的 考試停止詞處理「的」，「哦」，「哎呦」，「而且」，「了」，「是」等一般被視為停用詞。在jiebaR 中，可以通過詞性標註去除停用詞，也可通過指定停用詞詞典去除停用詞。詞性標註法：

stop=c('r','p')
sentence=worker(type = "tag") 
sentence_words<-sentence<="脫貧攻堅是我們黨對全國各族人民的莊嚴承諾，事關全面小康、家國夢想" 
sentence_words[!(names(sentence_words) %in% stop)]#去除停止詞是代詞，介詞

        v         vn          v          n          n          l         uj          a          v 
    "脫貧"     "攻堅"       "是"       "黨"     "全國" "各族人民"       "的"     "莊嚴"     "承諾" 
         n          n         nr          q          n          n 
    "事關"     "全面"     "小康"       "家"       "國"     "夢想" 

指定停止詞詞典假設停止詞詞典文本文件(可以用記事本打開，並另存為UFT-8編碼格式)，如下:
是     我們  對   的

註：停止詞詞典txt文件一定要放在R語言的工作目錄下才行，而且txt文件的第一行需為空行否則無法導入停用詞典，當前工作目錄路徑採用getwd()得知。

sentence=worker(stop_word='stop.txt') 
sentence_words<-sentence<="脫貧攻堅是我們黨對全國各族人民的莊嚴承諾，事關全面小康、家國夢想"
sentence_words

[1] "脫貧"     "攻堅"     "黨"      "全國"     "各族人民"    "莊嚴"     "承諾"     "事關"     "全面"     
[10] "小康"     "家"       "國"       "夢想" 

註：操作平臺為R Studio (R 4.0.2)文章來源：https://www.cnblogs.com/Hyacinth-Yuan/p/8243476.html，更多請點擊「閱讀原文」