Python文本預處理:步驟、使用工具及示例

本文約3100字，建議閱讀6分鐘

本文將討論文本預處理的基本步驟、文本預處理過程所需要的工具。

標籤：機器學習 Python 算法 模型

本文將討論文本預處理的基本步驟，旨在將文本信息從人類語言轉換為機器可讀格式以便用於後續處理。此外，本文還將進一步討論文本預處理過程所需要的工具。當拿到一個文本後，首先從文本正則化（text normalization） 處理開始。常見的文本正則化步驟包括：

將文本中出現的所有字母轉換為小寫或大寫

將文本中的數字轉換為單詞或刪除這些數字

刪除文本中出現的標點符號、重音符號以及其他變音符號

刪除文本中的空白區域

擴展文本中出現的縮寫

刪除文本中出現的終止詞、稀疏詞和特定詞

文本規範化（text canonicalization）

下面將詳細描述上述文本正則化步驟。

將文本中出現的字母轉化為小寫

示例：將字母轉化為小寫

Python 實現代碼：

輸出：

刪除文本中出現的數字

如果文本中的數字與文本分析無關的話，那就刪除這些數字。通常，正則化表達式可以幫助你實現這一過程。

示例：刪除數字

Python 實現代碼：

輸出：

刪除文本中出現的標點

以下示例代碼演示如何刪除文本中的標點符號，如 [!」#$%&』()*+,-./:;?@[\]^_`{|}~] 等符號。

示例：刪除標點

Python 實現代碼：

輸出：

刪除文本中出現的空格

可以通過 strip()函數移除文本前後出現的空格。

示例：刪除空格

Python 實現代碼：

輸出：

符號化（Tokenization）

符號化是將給定的文本拆分成每個帶標記的小模塊的過程，其中單詞、數字、標點及其他符號等都可視為是一種標記。在下表中（Tokenization sheet），羅列出用於實現符號化過程的一些常用工具。

刪除文本中出現的終止詞

終止詞（Stop words）指的是「a」，「a」，「on」，「is」，「all」等語言中最常見的詞。這些詞語沒什麼特別或重要意義，通常可以從文本中刪除。一般使用 Natural Language Toolkit（NLTK） 來刪除這些終止詞，這是一套專門用於符號和自然語言處理統計的開源庫。

示例：刪除終止詞

實現代碼：

輸出：

此外，scikit-learn 也提供了一個用於處理終止詞的工具：

同樣，spaCy 也有一個類似的處理工具：

刪除文本中出現的稀疏詞和特定詞

在某些情況下，有必要刪除文本中出現的一些稀疏術語或特定詞。考慮到任何單詞都可以被認為是一組終止詞，因此可以通過終止詞刪除工具來實現這一目標。

詞幹提取（Stemming）

詞幹提取是一個將詞語簡化為詞幹、詞根或詞形的過程（如 books-book，looked-look）。當前主流的兩種算法是 Porter stemming 算法（刪除單詞中刪除常見的形態和拐點結尾） 和 Lancaster stemming 算法。

示例：使用 NLYK 實現詞幹提取

實現代碼：

輸出：

詞形還原（Lemmatization）

詞形還原的目的，如詞幹過程，是將單詞的不同形式還原到一個常見的基礎形式。與詞幹提取過程相反，詞形還原並不是簡單地對單詞進行切斷或變形，而是通過使用詞彙知識庫來獲得正確的單詞形式。

當前常用的詞形還原工具庫包括：NLTK（WordNet Lemmatizer），spaCy，TextBlob，Pattern，gensim，Stanford CoreNLP，基於內存的淺層解析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構（GATE），Illinois Lemmatizer 和 DKPro Core。

示例：使用 NLYK 實現詞形還原

實現代碼：

輸出：

詞性標註（POS）

詞性標註旨在基於詞語的定義和上下文意義，為給定文本中的每個單詞（如名詞、動詞、形容詞和其他單詞） 分配詞性。當前有許多包含 POS 標記器的工具，包括 NLTK，spaCy，TextBlob，Pattern，Stanford CoreNLP，基於內存的淺層分析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構（GATE），FreeLing，Illinois Part of Speech Tagger 和 DKPro Core。

示例：使用 TextBlob 實現詞性標註

實現代碼：

輸出：

詞語分塊（淺解析）

詞語分塊是一種識別句子中的組成部分（如名詞、動詞、形容詞等），並將它們連結到具有不連續語法意義的高階單元（如名詞組或短語、動詞組等） 的自然語言過程。常用的詞語分塊工具包括：NLTK，TreeTagger chunker，Apache OpenNLP，文本工程通用架構（GATE），FreeLing。

示例：使用 NLYK 實現詞語分塊

第一步需要確定每個單詞的詞性。

實現代碼：

輸出：

第二部就是進行詞語分塊

實現代碼：

輸出：

也可以通過 result.draw(） 函數繪製句子樹結構圖，如下圖所示。

命名實體識別（Named Entity Recognition）

命名實體識別（NER） 旨在從文本中找到命名實體，並將它們劃分到事先預定義的類別（人員、地點、組織、時間等）。

常見的命名實體識別工具如下表所示，包括：NLTK，spaCy，文本工程通用架構（GATE） -- ANNIE，Apache OpenNLP，Stanford CoreNLP，DKPro核心，MITIE，Watson NLP，TextRazor，FreeLing 等。

示例：使用 TextBlob 實現詞性標註

實現代碼：

輸出：

共指解析 Coreference resolution（回指解析度 anaphora resolution）

代詞和其他引用表達應該與正確的個體聯繫起來。Coreference resolution 在文本中指的是引用真實世界中的同一個實體。如在句子 「安德魯說他會買車」中，代詞「他」指的是同一個人，即「安德魯」。常用的 Coreference resolution 工具如下表所示，包括 Stanford CoreNLP，spaCy，Open Calais，Apache OpenNLP 等。

搭配提取（Collocation extraction）

搭配提取過程並不是單獨、偶然發生的，它是與單詞組合一同發生的過程。該過程的示例包括「打破規則 break the rules」，「空閒時間 free time」，「得出結論 draw a conclusion」，「記住 keep in mind」，「準備好 get ready」等。

示例：使用 ICE 實現搭配提取

實現代碼：

輸出：

關係提取（Relationship extraction）

關係提取過程是指從非結構化的數據源 （如原始文本）獲取結構化的文本信息。嚴格來說，它確定了命名實體（如人、組織、地點的實體） 之間的關係（如配偶、就業等關係）。例如，從「昨天與 Mark 和 Emily 結婚」這句話中，我們可以提取到的信息是 Mark 是 Emily 的丈夫。

總結

本文討論文本預處理及其主要步驟，包括正則化、符號化、詞幹化、詞形還原、詞語分塊、詞性標註、命名實體識別、共指解析、搭配提取和關係提取。還通過一些表格羅列出常見的文本預處理工具及所對應的示例。在完成這些預處理工作後，得到的結果可以用於更複雜的 NLP 任務，如機器翻譯、自然語言生成等任務。

https://medium.com/@datamonsters/text-preprocessing-in-python-steps-tools-and-examples-bf025f872908

編輯：於騰凱