Python文字預處理：步驟、使用工具及示例

作者 | Data Monster

譯者 | Linstancy

編輯 | 一一

出品 | AI科技大本營（ID:rgznai100）

本文將討論文字預處理的基本步驟，旨在將文字資訊從人類語言轉換為機器可讀格式以便用於後續處理。此外，本文還將進一步討論文字預處理過程所需要的工具。

當拿到一個文字後，首先從文字正則化（text normalization） 處理開始。常見的文字正則化步驟包括：

• 將文字中出現的所有字母轉換為小寫或大寫

• 將文字中的數字轉換為單詞或刪除這些數字

• 刪除文字中出現的標點符號、重音符號以及其他變音符號

• 刪除文字中的空白區域

• 擴充套件文字中出現的縮寫

• 刪除文字中出現的終止詞、稀疏詞和特定詞

• 文字規範化（text canonicalization）

下面將詳細描述上述文字正則化步驟。

將文字中出現的字母轉化為小寫

示例1：將字母轉化為小寫

Python 實現程式碼：

input_str = ”The 5 biggest countries by population in 2017 are China, India, United States, Indonesia, and Brazil.”
input_str = input_str.lower()
print(input_str)

輸出：

the 5 biggest countries by population in 2017 are china, india, united states, indonesia, and brazil.

刪除文字中出現的數字

如果文字中的數字與文字分析無關的話，那就刪除這些數字。通常，正則化表示式可以幫助你實現這一過程。

示例2：刪除數字

Python 實現程式碼：     

import re
input_str = ’Box A contains 3 red and 5 white balls, while Box B contains 4 red and 2 blue balls.’
result = re.sub(r’\d+’, ‘’, input_str)
print(result)

輸出：

Box A contains red and white balls, while Box B contains red and blue balls.

刪除文字中出現的標點

以下示例程式碼演示如何刪除文字中的標點符號，如 [!”#$%&’()*+,-./:;<=>?@[\]^_`{|}~] 等符號。

示例3：刪除標點

Python 實現程式碼：

import string
input_str = “This &is [an] example? {of} string. with.? punctuation!!!!” # Sample string
result = input_str.translate(string.maketrans(“”,””), string.punctuation)
print(result)

輸出：

This is an example of string with punctuation

刪除文字中出現的空格

可以通過 strip()函式移除文字前後出現的空格。

示例4：刪除空格

Python 實現程式碼：

input_str = “ \t a string example\t “
input_str = input_str.strip()
input_str

輸出：

‘a string example’

符號化（Tokenization）

符號化是將給定的文字拆分成每個帶標記的小模組的過程，其中單詞、數字、標點及其他符號等都可視為是一種標記。在下表中（Tokenization sheet），羅列出用於實現符號化過程的一些常用工具。

刪除文字中出現的終止詞

終止詞（Stop words） 指的是“a”，“a”，“on”，“is”，“all”等語言中最常見的詞。這些詞語沒什麼特別或重要意義，通常可以從文字中刪除。一般使用 Natural Language Toolkit（NLTK） 來刪除這些終止詞，這是一套專門用於符號和自然語言處理統計的開源庫。

示例7：刪除終止詞

實現程式碼：

input_str = “NLTK is a leading platform for building Python programs to work with human language data.”
stop_words = set(stopwords.words(‘english’))
from nltk.tokenize import word_tokenize
tokens = word_tokenize(input_str)
result = [i for i in tokens if not i in stop_words]
print (result)

輸出：

[‘NLTK’, ‘leading’, ‘platform’, ‘building’, ‘Python’, ‘programs’, ‘work’, ‘human’, ‘language’, ‘data’, ‘.’]

此外，scikit-learn 也提供了一個用於處理終止詞的工具： 

    

from sklearn.feature_extraction.stop_words import ENGLISH_STOP_WORDS

同樣，spaCy 也有一個類似的處理工具：

from spacy.lang.en.stop_words import STOP_WORDS

刪除文字中出現的稀疏詞和特定詞

在某些情況下，有必要刪除文字中出現的一些稀疏術語或特定詞。考慮到任何單詞都可以被認為是一組終止詞，因此可以通過終止詞刪除工具來實現這一目標。

詞幹提取（Stemming）

詞幹提取是一個將詞語簡化為詞幹、詞根或詞形的過程（如 books-book，looked-look）。當前主流的兩種演算法是 Porter stemming 演算法（刪除單詞中刪除常見的形態和拐點結尾） 和 Lancaster stemming 演算法。

示例 8：使用 NLYK 實現詞幹提取

實現程式碼：

from nltk.stem import PorterStemmer
from nltk.tokenize import word_tokenize
stemmer= PorterStemmer()
input_str=”There are several types of stemming algorithms.”
input_str=word_tokenize(input_str)
for word in input_str:
    print(stemmer.stem(word))

輸出：

There are sever type of stem algorithm.

詞形還原（Lemmatization）

詞形還原的目的，如詞幹過程，是將單詞的不同形式還原到一個常見的基礎形式。與詞幹提取過程相反，詞形還原並不是簡單地對單詞進行切斷或變形，而是通過使用詞彙知識庫來獲得正確的單詞形式。

當前常用的詞形還原工具庫包括： NLTK（WordNet Lemmatizer），spaCy，TextBlob，Pattern，gensim，Stanford CoreNLP，基於記憶體的淺層解析器（MBSP），Apache OpenNLP，Apache Lucene，文字工程通用架構（GATE），Illinois Lemmatizer 和 DKPro Core。

示例 9：使用 NLYK 實現詞形還原

實現程式碼：   

from nltk.stem import WordNetLemmatizer
from nltk.tokenize import word_tokenize
lemmatizer=WordNetLemmatizer()
input_str=”been had done languages cities mice”
input_str=word_tokenize(input_str)
for word in input_str:
    print(lemmatizer.lemmatize(word))

輸出：

be have do language city mouse

詞性標註（POS）

詞性標註旨在基於詞語的定義和上下文意義，為給定文字中的每個單詞（如名詞、動詞、形容詞和其他單詞） 分配詞性。當前有許多包含 POS 標記器的工具，包括 NLTK，spaCy，TextBlob，Pattern，Stanford CoreNLP，基於記憶體的淺層分析器（MBSP），Apache OpenNLP，Apache Lucene，文字工程通用架構（GATE），FreeLing，Illinois Part of Speech Tagger 和 DKPro Core。

示例 10：使用 TextBlob 實現詞性標註

實現程式碼：

input_str=”Parts of speech examples: an article, to write, interesting, easily, and, of”
from textblob import TextBlob
result = TextBlob(input_str)
print(result.tags)

輸出：

[(‘Parts’, u’NNS’), (‘of’, u’IN’), (‘speech’, u’NN’), (‘examples’, u’NNS’), (‘an’, u’DT’), (‘article’, u’NN’), (‘to’, u’TO’), (‘write’, u’VB’), (‘interesting’, u’VBG’), (‘easily’, u’RB’), (‘and’, u’CC’), (‘of’, u’IN’)]

詞語分塊（淺解析）

詞語分塊是一種識別句子中的組成部分（如名詞、動詞、形容詞等），並將它們連結到具有不連續語法意義的高階單元（如名片語或短語、動片語等） 的自然語言過程。常用的詞語分塊工具包括：NLTK，TreeTagger chunker，Apache OpenNLP，文字工程通用架構（GATE），FreeLing。

示例 11：使用 NLYK 實現詞語分塊

第一步需要確定每個單詞的詞性。

實現程式碼：

input_str=”A black television and a white stove were bought for the new apartment of John.”
from textblob import TextBlob
result = TextBlob(input_str)
print(result.tags)

輸出：

[(‘A’, u’DT’), (‘black’, u’JJ’), (‘television’, u’NN’), (‘and’, u’CC’), (‘a’, u’DT’), (‘white’, u’JJ’), (‘stove’, u’NN’), (‘were’, u’VBD’), (‘bought’, u’VBN’), (‘for’, u’IN’), (‘the’, u’DT’), (‘new’, u’JJ’), (‘apartment’, u’NN’), (‘of’, u’IN’), (‘John’, u’NNP’)]

第二部就是進行詞語分塊

實現程式碼：

reg_exp = “NP: {<DT>?<JJ>*<NN>}”
rp = nltk.RegexpParser(reg_exp)
result = rp.parse(result.tags)
print(result)

輸出：

(S (NP A/DT black/JJ television/NN) and/CC (NP a/DT white/JJ stove/NN) were/VBD bought/VBN for/IN (NP the/DT new/JJ apartment/NN)
of/IN John/NNP)

也可以通過 result.draw(） 函式繪製句子樹結構圖，如下圖所示。

     

命名實體識別（Named Entity Recognition）

命名實體識別（NER） 旨在從文字中找到命名實體，並將它們劃分到事先預定義的類別（人員、地點、組織、時間等）。

常見的命名實體識別工具如下表所示，包括：NLTK，spaCy，文字工程通用架構（GATE） -- ANNIE，Apache OpenNLP，Stanford CoreNLP，DKPro核心，MITIE，Watson NLP，TextRazor，FreeLing 等。

示例 12：使用 TextBlob 實現詞性標註

實現程式碼：

from nltk import word_tokenize, pos_tag, ne_chunk
input_str = “Bill works for Apple so he went to Boston for a conference.”
print ne_chunk(pos_tag(word_tokenize(input_str)))

輸出：

(S (PERSON Bill/NNP) works/VBZ for/IN Apple/NNP so/IN he/PRP went/VBD to/TO (GPE Boston/NNP) for/IN a/DT conference/NN ./.)

共指解析 Coreference resolution（回指解析度 anaphora resolution）

代詞和其他引用表達應該與正確的個體聯絡起來。Coreference resolution 在文字中指的是引用真實世界中的同一個實體。如在句子 “安德魯說他會買車”中，代詞“他”指的是同一個人，即“安德魯”。常用的 Coreference resolution 工具如下表所示，包括 Stanford CoreNLP，spaCy，Open Calais，Apache OpenNLP 等。

搭配提取（Collocation extraction）

搭配提取過程並不是單獨、偶然發生的，它是與單片語合一同發生的過程。該過程的示例包括“打破規則 break the rules”，“空閒時間 free time”，“得出結論 draw a conclusion”，“記住 keep in mind”，“準備好 get ready”等。

示例 13：使用 ICE 實現搭配提取

實現程式碼：

input=[“he and Chazz duel with all keys on the line.”]
from ICE import CollocationExtractor
extractor = CollocationExtractor.with_collocation_pipeline(“T1” , bing_key = “Temp”,pos_check = False)
print(extractor.get_collocations_of_length(input, length = 3))

輸出：

[“on the line”]

關係提取（Relationship extraction）

關係提取過程是指從非結構化的資料來源 （如原始文字）獲取結構化的文字資訊。嚴格來說，它確定了命名實體（如人、組織、地點的實體） 之間的關係（如配偶、就業等關係）。例如，從“昨天與 Mark 和 Emily 結婚”這句話中，我們可以提取到的資訊是 Mark 是 Emily 的丈夫。

     

總結

本文討論文字預處理及其主要步驟，包括正則化、符號化、詞幹化、詞形還原、詞語分塊、詞性標註、命名實體識別、共指解析、搭配提取和關係提取。還通過一些表格羅列出常見的文字預處理工具及所對應的示例。在完成這些預處理工作後，得到的結果可以用於更復雜的 NLP 任務，如機器翻譯、自然語言生成等任務。

原文連結：https://medium.com/@datamonsters/text-preprocessing-in-python-steps-tools-and-examples-bf025f872908

（本文為 AI科技大本營翻譯文章，轉載請聯絡原作者）

徵稿

推薦閱讀

• PDF翻譯神器，再也不擔心讀不懂英文Paper了

• Facebook增強版LASER開源：零樣本遷移學習，支援93種語言

• 啥是佩奇排名演算法

• 網路爬蟲的法律邊界

• Caicloud 開源 Nirvana：讓 API 從對框架的依賴中涅槃重生

• 程式設計師有話說 | 那個拒絕加班的程式設計師後來怎麼樣了

• 告別摩拜

• 6大改進：盤點以太坊的2018冒險之旅

• 不難！月薪 50K大牛，悉心整理程式設計師必備技能！