寫篇適合Python入門練習的文章，比較簡單。
如何用python統計一個純文字檔案中的詞頻？這是我每次面試的時候都會問的一個問題。對於有些經驗的程式設計師來說，這是一個很簡單的問題。但實際情況是，很多面試者都不能很好甚至不能解決這個問題。
對文字做詞頻統計在爬蟲抓取了資料後對資料做分類、去重等都有應用，算是一個資料處理的基本功能。
這裡我們以英文內容為例來解決這個問題，而中文還涉及到文字的編碼和分詞。
讀取文字檔案
python讀取文字很簡單：
#讀取整個檔案的內容：
text = open('file.txt').read()
#按行讀取文字，並返回一個list，每一行是list的一個item
lines = open('file.txt').readlines()
切分單詞
英文行文以空格和標點符合來分隔單詞，我們切分單詞也以空格和標點符號來且分。但大多之考慮到空格而忽略了標點符號。英文中標點符合是直接挨著單詞的，只以空格分割，會把表達符號也分到單詞裡面去。如下文字：
Google introduced its TPU at Google I/O 2016. Distinguished hardware engineer – and top MIPS CPU architect – Norm Jouppi in a blog post said Google had been running TPUs in its data centers since 2015 and that the specialized silicon delivered “an order of magnitude better-optimized performance per watt for machine learning.”
# 僅僅以空格切分：
words = text.split(' ')
#切分更準確的話就要使用正規表示式模組re
import re
# 下面的正規表示式的含義是，
# 切分符包括空白符號(空格、換行符\n, Tab符\t等看不見的符號）、
# 英文逗號、英文句號.、英文問號？、感嘆號！、英文冒號:
# 中括號[]擴起來表示任意匹配這些符號其一即可
# 最後的加號+表示如果這些符號是連續挨著的則當成一個分割符切分
pattern = r'[\s,\.?!:"]+'
words = re.split(pattern, text)
統計詞頻
上面切分得到的words是一個list，裡面有重複和不重複的單詞。
使用dict這個key-value資料結構來進行統計和儲存統計結果。
key就是單詞，value就是單詞的個數。
result = {}
for w in words:
if w in result:
result[w] += 1
else:
result[2] = 1
#或者用defaultdict
from collections import defaultdict
result = defaultdict(int)
for w in words:
result[w] += 1
defaultdict比dict少了一個if w in result的判斷，這正是defaultdict的特點：當key不存在時預設其value為零。
把以上程式片段寫出一個.py檔案就是一個比較完整的統計詞頻的程式。可以當作是Python入門小練習。
完啦！
我的公眾號：猿人學 Python 上會分享更多心得體會，敬請關注。
***版權申明:若沒有特殊說明，文章皆是猿人學 yuanrenxue.com 原創，沒有猿人學授權，請勿以任何形式轉載。***