總結!實用Python文本預處理代碼

　　本文將討論文本預處理的基本步驟，旨在將文本信息從人類語言轉換為機器可讀格式以便用於後續處理。此外，本文還將進一步討論文本預處理過程所需要的工具。

　　當拿到一個文本後，首先從文本正則化 （text normalization） 處理開始。常見的文本正則化步驟包括：

　　

刪除文本中出現的標點符號、重音符號以及其他變音符號文本規範化 （text canonicalization）

　　下面將詳細描述上述文本正則化步驟。

　　將文本中出現的字母轉化為小寫

　　示例1：將字母轉化為小寫

　　Python 實現代碼：

　　input_str = 」The 5biggest countries bypopulation in2017are China, India, United States, Indonesia, andBrazil.」

　　input_str = input_str.lower

　　print(input_str)

　　輸出：

　　the 5biggest countries bypopulation in2017are china, india, united states, indonesia, andbrazil.

　　刪除文本中出現的數字

　　如果文本中的數字與文本分析無關的話，那就刪除這些數字。通常，正則化表達式可以幫助你實現這一過程。

　　示例2：刪除數字

　　Python 實現代碼：

　　importre

　　input_str = 』Box A contains 3red and5white balls, whileBox B contains 4red and2blue balls.』

　　result = re.sub(r』d+』, 『』, input_str)

　　print(result)

　　輸出：

　　Box A contains red andwhite balls, whileBox B contains red andblue balls.

　　刪除文本中出現的標點

　　以下示例代碼演示如何刪除文本中的標點符號，如 [!」#$%&』*+,-./:;<=>?@[]^_`{|}~] 等符號。

　　示例3：刪除標點

　　Python 實現代碼：

　　importstring

　　input_str = 「This &is [an] example? {of} string. with.? punctuation!!!!」 # Sample string

　　result = input_str.translate( string.maketrans(「」,」」), string.punctuation)

　　print(result)

　　輸出：

　　This isan example ofstringwithpunctuation

　　刪除文本中出現的空格

　　可以通過 strip函數移除文本前後出現的空格。

　　示例4：刪除空格

　　Python 實現代碼：

　　input_str = 「 t a string examplet 「

　　input_str = input_str.strip

　　input_str

　　輸出：

　　『a stringexample』

　　符號化（ Tokenization）

　　符號化是將給定的文本拆分成每個帶標記的小模塊的過程，其中單詞、數字、標點及其他符號等都可視為是一種標記。在下表中 （Tokenization sheet），羅列出用於實現符號化過程的一些常用工具。

　　

　　刪除文本中出現的終止詞

　　終止詞 （Stop words） 指的是「 a」，「 a」，「 on」，「 is」，「 all」等語言中最常見的詞。這些詞語沒什麼特別或重要意義，通常可以從文本中刪除。一般使用 Natural Language Toolkit（NLTK） 來刪除這些終止詞，這是一套專門用於符號和自然語言處理統計的開源庫。

　　示例7：刪除終止詞

　　實現代碼：

　　input_str = 「NLTK isa leading platform forbuilding Python programs to work withhuman language data.」

　　stop_words = set(stopwords.words(『english』))

　　fromnltk.tokenize importword_tokenize

　　tokens = word_tokenize(input_str)

　　result = [i fori intokens ifnoti instop_words]

　　print(result)

　　輸出：

　　[『NLTK』, 『leading』, 『platform』, 『building』, 『Python』, 『programs』, 『work』, 『human』, 『language』, 『data』, 『.』]

　　此外， scikit-learn 也提供了一個用於處理終止詞的工具：

　　fromsklearn.feature_extraction.stop_words importENGLISH_STOP_WORDS

　　同樣， spaCy 也有一個類似的處理工具：

　　fromspacy.lang.en.stop_wordsimportSTOP_WORDS

　　刪除文本中出現的稀疏詞和特定詞

　　在某些情況下，有必要刪除文本中出現的一些稀疏術語或特定詞。考慮到任何單詞都可以被認為是一組終止詞，因此可以通過終止詞刪除工具來實現這一目標。

　　詞幹提取（Stemming）

　　詞幹提取是一個將詞語簡化為詞幹、詞根或詞形的過程 （如 books-book， looked-look）。當前主流的兩種算法是 Porter stemming 算法 （刪除單詞中刪除常見的形態和拐點結尾 ） 和 Lancaster stemming 算法。

　　

　　示例 8：使用 NLYK 實現詞幹提取

　　實現代碼：

　　fromnltk.stem importPorterStemmer

　　fromnltk.tokenize importword_tokenize

　　stemmer= PorterStemmer

　　input_str=」There are several types ofstemming algorithms.」

　　input_str=word_tokenize(input_str)

　　forword ininput_str:

　　print(stemmer.stem(word))

　　輸出：

　　There are sever typeofstem algorithm.

　　詞形還原（Lemmatization）

　　詞形還原的目的，如詞幹過程，是將單詞的不同形式還原到一個常見的基礎形式。與詞幹提取過程相反，詞形還原並不是簡單地對單詞進行切斷或變形，而是通過使用詞彙知識庫來獲得正確的單詞形式。

　　當前常用的詞形還原工具庫包括： NLTK（WordNet Lemmatizer）， spaCy， TextBlob， Pattern， gensim， Stanford CoreNLP，基於內存的淺層解析器 （MBSP）， Apache OpenNLP， Apache Lucene，文本工程通用架構 （GATE）， Illinois Lemmatizer 和 DKPro Core。

　　示例 9：使用 NLYK 實現詞形還原

　　實現代碼：

　　fromnltk.stem importWordNetLemmatizer

　　fromnltk.tokenize importword_tokenize

　　lemmatizer=WordNetLemmatizer

　　input_str=」been had done languages cities mice」

　　input_str=word_tokenize(input_str)

　　forword ininput_str:

　　print(lemmatizer.lemmatize(word))

　　輸出：

　　be have dolanguagecity mouse

　　詞性標註（POS）

　　詞性標註旨在基於詞語的定義和上下文意義，為給定文本中的每個單詞 （如名詞、動詞、形容詞和其他單詞 ） 分配詞性。當前有許多包含 POS 標記器的工具，包括 NLTK， spaCy， TextBlob， Pattern， Stanford CoreNLP，基於內存的淺層分析器 （MBSP）， Apache OpenNLP， Apache Lucene，文本工程通用架構 （GATE）， FreeLing， Illinois Part of Speech Tagger 和 DKPro Core。

　　示例 10：使用 TextBlob 實現詞性標註

　　實現代碼：

　　input_str=」Parts ofspeech examples: an article, to write, interesting, easily, and, of」

　　fromtextblob importTextBlob

　　result = TextBlob(input_str)

　　print(result.tags)

　　輸出：

　　[(『Parts』, u』NNS』), (『of』, u』IN』), (『speech』, u』NN』), (『examples』, u』NNS』), (『an』, u』DT』), (『article』, u』NN』), (『to』, u』TO』), (『write』, u』VB』), (『interesting』, u』VBG』), (『easily』, u』RB』), (『and』, u』CC』), (『of』, u』IN』)]

　　詞語分塊（淺解析）

　　示例 11：使用 NLYK 實現詞語分塊

　　第一步需要確定每個單詞的詞性。

　　實現代碼：

　　input_str=」A black television anda white stove were bought forthe newapartment ofJohn.」

　　fromtextblob importTextBlob

　　result = TextBlob(input_str)

　　print(result.tags)

　　輸出：

　　[(『A』, u』DT』), (『black』, u』JJ』), (『television』, u』NN』), (『and』, u』CC』), (『a』, u』DT』), (『white』, u』JJ』), (『stove』, u』NN』), (『were』, u』VBD』), (『bought』, u』VBN』), (『for』, u』IN』), (『the』, u』DT』), (『new』, u』JJ』), (『apartment』, u』NN』), (『of』, u』IN』), (『John』, u』NNP』)]

　　第二部就是進行詞語分塊

　　實現代碼：

　　reg_exp = 「NP: {

　　?*}」

　　rp = nltk.RegexpParser(reg_exp)

　　result = rp.parse(result.tags)

　　print(result)

　　輸出：

　　(S (NP A/DT black/JJ television/NN) and/CC (NP a/DT white/JJ stove/NN) were/VBD bought/VBN for/ IN(NP the/DT new/JJ apartment/NN)

　　of/ INJohn/NNP)

　　也可以通過 result.draw(） 函數繪製句子樹結構圖，如下圖所示。

　　

　　

　　示例 12：使用 TextBlob 實現詞性標註

　　實現代碼：

　　fromnltk importword_tokenize, pos_tag, ne_chunk

　　input_str = 「Bill works forApple so he went to Boston fora conference.」

　　printne_chunk(pos_tag(word_tokenize(input_str)))

　　輸出：

　　(S (PERSON Bill/NNP) works/VBZ for/ INApple/NNP so/ INhe/PRP went/VBD to/ TO(GPE Boston/NNP) for/ INa/DT conference/NN ./.)

　　共指解析 Coreference resolution（回指解析度 anaphora resolution）

　　代詞和其他引用表達應該與正確的個體聯繫起來。 Coreference resolution 在文本中指的是引用真實世界中的同一個實體。如在句子 「安德魯說他會買車」中，代詞「他」指的是同一個人，即「安德魯」。常用的 Coreference resolution 工具如下表所示，包括 Stanford CoreNLP， spaCy， Open Calais， Apache OpenNLP 等。

　　

　　搭配提取（Collocation extraction）

　　搭配提取過程並不是單獨、偶然發生的，它是與單詞組合一同發生的過程。該過程的示例包括「打破規則 break the rules」，「空閒時間 free time」，「得出結論 draw a conclusion」，「記住 keep in mind」，「準備好 get ready」等。

　　

　　示例 13：使用 ICE 實現搭配提取

　　實現代碼：

　　input=[「he andChazz duel withall keys on the line.」]

　　fromICE importCollocationExtractor

　　extractor = CollocationExtractor.with_collocation_pipeline(「T1」 , bing_key = 「Temp」,pos_check = False)

　　print(extractor.get_collocations_of_length(input, length = 3))

　　輸出：

　　[「on the line」]

　　關係提取（Relationship extraction）

　　關係提取過程是指從非結構化的數據源 （如原始文本 ）獲取結構化的文本信息。嚴格來說，它確定了命名實體 （如人、組織、地點的實體 ） 之間的關係 （如配偶、就業等關係 ）。例如，從「昨天與 Mark 和 Emily 結婚」這句話中，我們可以提取到的信息是 Mark 是 Emily 的丈夫。

　　總結