如何用Python做中文分詞?

王樹義發表於2018-06-28

打算繪製中文詞雲圖?那你得先學會如何做中文文字分詞。跟著我們的教程,一步步用Python來動手實踐吧。

如何用Python做中文分詞?

需求

在《如何用Python做詞雲》一文中,我們介紹了英文文字的詞雲製作方法。大家玩兒得可還高興?

文中提過,選擇英文文字作為示例,是因為處理起來最簡單。但是很快就有讀者嘗試用中文文字做詞雲了。按照前文的方法,你成功了嗎?

估計是不成功的。因為這裡面缺了一個重要的步驟。

觀察你的英文文字。你會發現英文單詞之間採用空格作為強制分隔符。

例如:

Yes Minister is a satirical British sitcom written by Sir Antony Jay and Jonathan Lynn that was first transmitted by BBC Television between 1980 and 1984, split over three seven-episode series.

但是,中文的文字就沒有這種空格區隔了。為了做詞雲,我們首先需要知道中文文字里面都有哪些“詞”。

你可能覺得這根本不是問題——我一眼就能看出詞和詞之間的邊界!

對,你當然可以。你可以人工處理1句、100句,甚至是10000句話。但是如果給你100萬句話呢?

這就是人工處理和電腦自動化處理的最顯著區別——規模。

別那麼急著放棄啊,你可以用電腦來幫忙。

你的問題應該是:如何用電腦把中文文字正確拆分為一個個的單詞呢?

這種工作,專業術語叫做分詞。

在介紹分詞工具及其安裝之前,請確認你已經閱讀過《如何用Python做詞雲》一文,並且按照其中的步驟做了相關的準備工作,然後再繼續依照本文的介紹一步步實踐。

分詞

中文分詞的工具有很多種。有的免費,有的收費。有的在你的膝上型電腦裡就能安裝使用,有的卻需要聯網做雲端計算。

今天給大家介紹的,是如何利用Python,在你的膝上型電腦上,免費做中文分詞。

我們採用的工具,名稱很有特點,叫做“ 結巴分詞 ”。

為什麼叫這麼奇怪的名字?

讀完本文,你自己應該就能想明白了。

我們先來安裝這款分詞工具。回到你的“終端”或者“命令提示符”下。

如何用Python做中文分詞?

進入你之前建立好的demo資料夾。

輸入以下命令:

pip install jieba
複製程式碼

好了,現在你電腦裡的Python已經知道該如何給中文分詞了。

資料

在《如何用Python做詞雲》一文中,我們使用了英劇”Yes, minister“的維基百科介紹文字。這次我們又從維基百科上找到了這部英劇對應的中文頁面。翻譯名稱叫做《是,大臣》。

如何用Python做中文分詞?

將網頁正文拷貝下來之後,存入文字檔案yes-minister-cn.txt,並且將這個檔案移動到我們的工作目錄demo下面。

好了,我們有了用於分析的中文文字資料了。

先別忙著程式設計序。正式輸入程式碼之前,我們還需要做一件事情,就是下載一份中文字型檔案。

請到 這個網址 下載simsun.ttf。

下載後,將這個ttf字型檔案也移動到demo目錄下,跟文字檔案放在一起。

程式碼

在命令列下,執行:

jupyter notebook
複製程式碼

瀏覽器會自動開啟,並且顯示如下介面。

如何用Python做中文分詞?

這裡還有上一次詞雲製作時我們們的勞動成果。此時目錄下多了一個文字檔案,是"Yes, Minister"的中文介紹資訊。

開啟這個檔案,瀏覽一下內容。

如何用Python做中文分詞?

我們確認中文文字內容已經正確儲存。

回到Jupyter筆記本的主頁面。點選New按鈕,新建一個筆記本(Notebook)。在Notebooks裡面,請選擇Python 2選項。

如何用Python做中文分詞?

系統會提示我們輸入Notebook的名稱。為了和上次的英文詞雲製作筆記本區別,就叫它wordcloud-cn好了。

如何用Python做中文分詞?

我們在網頁裡唯一的程式碼文字框裡,輸入以下3條語句。輸入後,按Shift+Enter鍵執行。

filename = "yes-minister-cn.txt"
with open(filename) as f:
 mytext = f.read()
複製程式碼

然後我們嘗試顯示mytext的內容。輸入以下語句之後,還是得按Shift+Enter鍵執行。

print(mytext)
複製程式碼

顯示的結果如下圖所示。

如何用Python做中文分詞?

既然中文文字內容讀取沒有問題,我們就開始分詞吧。輸入以下兩行語句:

import jieba
mytext = " ".join(jieba.cut(mytext))
複製程式碼

系統會提示一些資訊,那是結巴分詞第一次啟用的時候需要做的準備工作。忽略就可以了。

如何用Python做中文分詞?

分詞的結果如何?我們來看看。輸入:

print(mytext)
複製程式碼

你就可以看到下圖所示的分詞結果了。

如何用Python做中文分詞?

單詞之間已經不再緊緊相連,而是用空格做了區隔,就如同英文單詞間的自然劃分一樣。

你是不是迫不及待要用分詞後的中文文字作詞雲了?

可以,輸入以下語句:

from wordcloud import WordCloud
wordcloud = WordCloud().generate(mytext)
%pylab inline
import matplotlib.pyplot as plt
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off"
複製程式碼

激動地期待著中文詞雲的出現?

可惜,你看到的詞雲是這個樣子的。

如何用Python做中文分詞?

你是不是非常憤怒,覺得這次又掉坑裡了?

彆著急,出現這樣的結果,並不是分詞或者詞雲繪製工具有問題,更不是因為我們們的教程步驟有誤,只是因為字型缺失。詞雲繪製工具wordcloud預設使用的字型是英文的,不包含中文編碼,所以才會方框一片。解決的辦法,就是把你之前下載的simsun.ttf,作為指定輸出字型。

輸入以下語句:

from wordcloud import WordCloud
wordcloud = WordCloud(font_path="simsun.ttf").generate(mytext)
%pylab inline
import matplotlib.pyplot as plt
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
複製程式碼

這次你看到的輸出圖形就變成了這個樣子:

如何用Python做中文分詞?

這樣一來,我們就通過中文詞雲的製作過程,體會到了中文分詞的必要性了。

這裡給你留個思考題,對比一下此次生成的中文詞雲,和上次做出的英文詞雲:

如何用Python做中文分詞?

這兩個詞雲對應的文字都來自維基百科,描述的是同樣一部劇,它們有什麼異同?從這種對比中,你可以發現維基百科中英文介紹內容之間,有哪些有趣的規律?

討論

掌握了本方法後,你自己做出了一張什麼樣的中文詞雲圖?除了做詞雲以外,你還知道中文分詞的哪些其他應用場景?歡迎留言,分享給大家。我們共同交流討論。

喜歡請點贊。還可以微信關注和置頂我的公眾號“玉樹芝蘭”(nkwangshuyi)

如果你對資料科學感興趣,不妨閱讀我的系列教程索引貼《如何高效入門資料科學?》,裡面還有更多的有趣問題及解法。

相關文章