從網頁上獲取文本數據之後，依據任務的不同，就需求進行根本的文本處理了，譬如關於英文來說，需求根本的tokenize，關於中文，則需求常見的中文分詞。那麼，Python文本處理東西都有哪些呢?今天就跟隨小編一起來了解下吧!1、 NLTK — Natural Language Toolkit
搞自然語言處理的同學應該沒有人不知道NLTK吧，這兒也就不多說了。不過引薦兩本書籍給剛剛觸摸NLTK或許需求具體了解NLTK的同學: 一個是官方的《Natural Language Processing with Python》，以介紹NLTK裡的功用用法為主，一起附帶一些Python常識，一起國內陳濤同學友情翻譯了一個中文版，這兒可以看到：引薦《用Python進行自然語言處理》中文翻譯-NLTK配套書;另外一本是《Python Text Processing with NLTK 2.0 Cookbook》，這本書要深入一些，會涉及到NLTK的代碼結構，一起會介紹怎麼定製自己的語料和模型等，相當不錯。
2、 Pattern
Pattern由比利時安特衛普大學CLiPS實驗室出品，客觀的說，Pattern不僅僅是一套文本處理東西，它更是一套web數據挖掘東西，囊括了數據抓取模塊(包含Google, Twitter, 維基百科的API，以及爬蟲和HTML剖析器)，文本處理模塊(詞性標示，情感剖析等)，機器學習模塊(VSM, 聚類，SVM)以及可視化模塊等，可以說，Pattern的這一整套邏輯也是這篇文章的組織邏輯，不過這兒我們暫時把Pattern放到文本處理部分。我個人首要使用的是它的英文處理模塊Pattern.en, 有許多很不錯的文本處理功用，包含基礎的tokenize, 詞性標示，語句切分，語法檢查，拼寫糾錯，情感剖析，句法剖析等，相當不錯。
3、 TextBlob: Simplified Text Processing
TextBlob是一個很有意思的Python文本處理東西包，它其實是根據上面兩個Python東西包NLKT和Pattern做了封裝(TextBlob stands on the giant shoulders of NLTK and pattern, and plays nicely with both)，一起供給了許多文本處理功用的接口，包含詞性標示，名詞短語提取，情感剖析，文本分類，拼寫檢查等，甚至包含翻譯和語言檢測，不過這個是根據Google的API的，有調用次數約束。
4、 MBSP for Python
MBSP與Pattern同源，同出自比利時安特衛普大學CLiPS實驗室，供給了Word Tokenization, 語句切分，詞性標示，Chunking, Lemmatization，句法剖析等根本的文本處理功用，感興趣的同學可以重視。
關於 Python文本處理工具都有哪些，環球青藤小編就和大家分享到這裡了，學習是永無止境的，學習一項技能更是受益終身，所以，只要肯努力學，什麼時候開始都不晚。如果您還想繼續了解關於python編程的學習方法及素材等內容，可以點擊本站其他文章學習。