關於詞雲wordcloud
什麼是詞雲呢？詞雲又叫文字雲，是對文字資料中出現頻率較高的“關鍵詞”在視覺上的突出呈現，形成關鍵詞的渲染形成類似雲一樣的彩色圖片，從而一眼就可以領略文字資料的主要表達意思。
現在，可以從網路上找到各種各樣的詞雲，下面一圖來自沈浩老師的微博：
從百度圖片中可以看到更多製作好的詞雲，例如
詞雲製作有很多工具…..
從技術上來看，詞雲是一種有趣的資料視覺化方法，網際網路上有很多的現成的工具：
- Wordle是一個用於從文字生成詞雲圖而提供的遊戲工具
- Tagxedo 可以線上製作個性化詞雲
- Tagul 是一個 Web 服務，同樣可以建立華麗的詞雲
- Tagcrowd 還可以輸入web的url，直接生成某個網頁的詞雲
- ……
十行程式碼
但是作為一個老碼農，還是喜歡自己用程式碼生成自己的詞雲，複雜麼？需要很長時間麼？ 很多文字都介紹過各種的方法，但實際上只需要10行python程式碼即可。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
import matplotlib.pyplot as plt from wordcloud import WordCloud import jieba text_from_file_with_apath = open('/Users/hecom/23tips.txt').read() wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True) wl_space_split = " ".join(wordlist_after_jieba) my_wordcloud = WordCloud().generate(wl_space_split) plt.imshow(my_wordcloud) plt.axis("off") plt.show() |
如此而已，生成的一個詞雲是這樣的：
看一下這10行程式碼：
1～3 行分別匯入了畫圖的庫，詞雲生成庫和jieba的分詞庫；
4 行是讀取本地的檔案,程式碼中使用的文字是本公眾號中的《老曹眼中研發管理二三事》。
5～6 行使用jieba進行分詞，並對分詞的結果以空格隔開；
7行對分詞後的文字生成詞雲；
8～10行用pyplot展示詞雲圖。
這是我喜歡python的一個原因吧，簡潔明快。
執行環境
如果這十行程式碼沒有執行起來，需要檢查自己的執行環境了。對於完整的開發學習環境，可以參考本公眾號老曹眼中的開發學習環境。
對於面向python 的資料分析而言，個人喜歡Anaconda，可以去https://www.continuum.io/downloads/ 下載安裝，安裝成功後的執行介面如下：
anaconda 是python 資料愛好者的福音。
安裝wordcloud 和 jieba 兩個庫同樣非常簡單：
|
1 2 3 |
pip install wordcloud pip install jieba |
遇到的一個小坑，剛開始執行這十行程式碼的時候，只顯式了若干彩色的小矩形框，中文詞語顯式不出來，以為是萬惡的UTF8問題，debug一下，發現print 結巴分詞的結果是可以顯示中文的，那就是wordcloud 生成詞語的字型庫問題了。開源的好處來了，直接進入wordcloud.py 的原始碼，找字型庫相關的程式碼
|
1 2 |
FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf")) |
wordcloud 預設使用了DroidSansMono.ttf 字型庫，改一下換成一個支援中文的ttf 字型檔， 重新執行一下這十行程式碼，就可以了。
看一下原始碼
既然進入了原始碼，就會忍不住好奇心，瀏覽一下wordcloud 的實現過程和方式吧。
wordcloud.py總共不過600行，其間有著大量的註釋，讀起來很方便。其中用到了較多的庫，常見的random，os，sys，re（正則）和可愛的numpy，還採用了PIL繪圖，估計一些人又會遇到安裝PIL的那些坑.
生產詞雲的原理其實並不複雜，大體分成5步：
- 對文字資料進行分詞，也是眾多NLP文字處理的第一步，對於wordcloud中的process_text（）方法，主要是停詞的處理
- 計算每個詞在文字中出現的頻率，生成一個雜湊表。詞頻計算相當於各種分散式計算平臺的第一案例wordcount， 和各種語言的hello world 程式具有相同的地位了，呵呵。
- 根據詞頻的數值按比例生成一個圖片的佈局，類IntegralOccupancyMap 是該詞雲的演算法所在，是詞雲的資料視覺化方式的核心。
- 將詞按對應的詞頻在詞雲佈局圖上生成圖片，核心方法是generate_from_frequencies,不論是generate（）還是generate_from_text（）都最終到generate_from_frequencies
- 完成詞雲上各詞的著色,預設是隨機著色
詞語的各種增強功能大都可以通過wordcloud的建構函式實現，裡面提供了22個引數，還可以自行擴充套件。
更多的小例子
看看一個準文言文的詞雲，本字來自本公眾號去年的舊文——妻
其中在建構函式中傳入了關於大小的幾個引數
|
1 2 |
width=800,height=400,max_font_size=84,min_font_size=16 |
自慚形穢，根本看不出文言文的色彩和對妻子的感情流露，不是好文字呀！
矩形的詞雲太簡陋了，直接在圖片上用詞雲來填充就有意思多了，wordcloud中採用的mask方式來實現的。換上一張自己的照片，用在談《全棧架構師》中的文字，詞雲出來的效果是這樣的
較難看出肖像的特點了，還好，可以遮醜。其中增加了3行程式碼
|
1 2 3 4 |
from PIL import Image import numpy as np abel_mask = np.array(Image.open("/Users/hecom/chw.png")) |
在建構函式的時候，將mask傳遞進去即可：
|
1 2 |
background_color="black", mask=abel_mask |
自己做的這些詞雲圖片還是太陋，這就是原型簡單，好的產品困難呀！做好一個漂亮詞雲的圖片，還是要在諸多細節上下功夫的。
例如：
分詞的處理，“就是”這樣沒有意義的詞不應該出現在詞雲裡呀？
所展示關鍵詞的目的性選擇？
如何選擇一個合適的字型檔？
如何更好地自主著色？
圖片的預處理，如何讓圖片和詞雲表達原圖片的主要特徵？
……
詞雲的背後
詞雲的背後實際上是資料整合處理的典型過程，我們所熟知的6C,如下圖：
- Connect: 目標是從各種各樣資料來源選擇資料，資料來源會提供APIs,輸入格式,資料採集的速率,和提供者的限制.
- Correct: 聚焦於資料轉移以便於進一步處理，同時保證維護資料的質量和一致性
- Collect: 資料儲存在哪，用什麼格式，方便後面階段的組裝和消費
- Compose: 集中關注如何對已採集的各種資料集的混搭, 豐富這些資訊能夠構建一個引入入勝的資料驅動產品。
- Consume: 關注資料的使用、渲染以及如何使正確的資料在正確的時間達到正確的效果。
- Control: 這是隨著資料、組織、參與者的增長，需要的第六個附加步驟，它保證了資料的管控。
這十行程式碼構建的詞雲，沒有通過API從公眾號(wireless_com)直接獲取,簡化和抽象是工程化的典型方式，這裡至今複製貼上，甚至省略了correct的過程，直接將資料儲存在純文字檔案中，通過jieba分詞進行處理即compose，使用詞雲生成視覺化圖片用於消費consume，把一個個自己生成的詞雲組織到不同的檔案目錄便於檢索算是初步的管控control吧。