提起中國武俠小說，金庸先生是繞不開的名字，十餘年間以汪洋恣肆的想象力，寫下15部作品。可用"飛雪連天射白鹿，笑書神俠倚碧鴛"來形容。
這些作品分別是《飛狐外傳》（1960年）、《雪山飛狐》（1959年）、《連城訣》（1963年）、《天龍八部》（1963年）、《射鵰英雄傳》（1957年）、《白馬嘯西風》（1961年）、《鹿鼎記》（1969年）、《笑傲江湖》（1967年）、《書劍恩仇錄》（1955年）、《神鵰俠侶》（1959年）、《俠客行》（1965年）、《倚天屠龍記》（1961年）、《碧血劍》（1956年）《鴛鴦刀》（1961年）、《越女劍》（短篇小說）（1970年）。
本文使用Python對其15部小說展開分析，通過文字挖掘，為大家展示別樣的江湖恩怨情仇。
資料獲取
編寫簡單的爬蟲程式獲取金庸15本小說，並寫入本地txt檔案中。爬蟲函式不在此展示。
文字處理
分別將小說的人物(names)、功夫(kungfu)、派別(bangs)寫入txt檔案中,並與小說放在同一個資料夾中。
file='D:/CuteHand/jr_novels/names.txt'
#本地資料夾，根據需要修改
#可以使用os模組的新增路徑
with open(file) as f:
# 去掉結尾的換行符
data = [line.strip() for line in
f.readlines()]
novels = data[::2]
names = data[1::2]
novel_names = {k: v.split() for k, v
in zip(novels, names)}
金庸小說充滿恩怨情仇，其中，《倚天屠龍記》中張無忌一生遇到很多女人，如趙敏、周芷若、小昭、蛛兒、朱九真、楊不悔等，到底誰是女主角呢？我們來看下這幾位美女在小說中分別出現的次數。
file='D:/CuteHand/jr_novels/倚天屠龍記.txt'
with open(file) as f:
data = f.read()
Actress=['趙敏','周芷若','小昭','蛛兒',
'朱九真','楊不悔']
for name in Actress:
print("%s"% name,data.count(name))
趙敏 1240
周芷若 819
小昭 352
蛛兒 231
朱九真 141
楊不悔 190
將這幾位美女在小說中出現的次數進行視覺化，可以更直觀地看出哪位才是張無忌的歸屬：
#視覺化，重點在於學習使用matplotlib庫畫圖
#匯入需要的包
import numpy as np
import scipy as sp
import matplotlib.pyplot as plt
%matplotlib inline
#畫圖正常顯示中文
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei']
# 用來正常顯示中文標籤
mpl.rcParams['axes.unicode_minus']=False
# 用來正常顯示負號
actress_data = {'趙敏':1240,'周芷若': 819,
'小昭': 352,'蛛兒': 231,
'朱九真': 141,'楊不悔': 190}
for a, b in actress_data.items():
plt.text(a, b + 0.05, '%.0f' % b,
ha='center', va='bottom', fontsize=12)
#ha 文字指定在柱體中間，
#va指定文字位置
#fontsize指定文字型大小
# 設定X軸Y軸資料，兩者都可以是list或者tuple
x_axis = tuple(actress_data.keys())
y_axis = tuple(actress_data.values())
plt.bar(x_axis, y_axis, color='rgbyck')
# 如果不指定color，所有的柱體都會是一個顏色
#b: blue g: green r: red c: cyan
#m: magenta y: yellow k: black w: white
plt.xlabel("女角名") # 指定x軸描述資訊
plt.ylabel("小說中出現次數") # 指定y軸描述資訊
plt.title("誰是女主角？") # 指定圖表描述資訊
plt.ylim(0, 1400) # 指定Y軸的高度
plt.show()
眾所周知，張無忌最終和趙敏在一起了，而與周芷若之間很是坎坷…；小昭挺喜歡的角色，可惜被不可抗拒的外力給分開了；蛛兒，暫且說是女方單戀吧；朱九真只是過客，不過也算是張無忌情竇初開喜歡的一個；楊不悔只能說是玩伴。
文字挖掘
接下來，通過分析小說人物的出場次數來判斷小說的主要人物。
#繼續挖掘下倚天屠龍記裡面人物出現次數排名
namelist=[name.strip() for name in
novel_names['倚天屠龍記']]
namelist=''.join(namelist)
namelist=namelist.split('、')
count = []
num=10 #統計前10名
for name in namelist:
count.append([name, data.count(name)])
count.sort(key=lambda x: x[1])
_, ax = plt.subplots()
numbers = [x[1] for x in count[-num:]]
names = [x[0] for x in count[-num:]]
ax.barh(range(num), numbers, align='center')
ax.set_title('倚天屠龍記', fontsize=14)
ax.set_yticks(range(num))
ax.set_yticklabels(names, fontsize=10)
plt.show()
網上收集了下金庸小說的功夫和門派種類，分別寫入kungfu.txt和bangs.txt中，其中武功246種，門派120個。
#加入功夫和門派資料 file='D:/CuteHand/jr_novels/' with open(file+"kungfu.txt") as f: kungfu_names = [line.strip() for line in f.readlines()] with open(file+"bangs.txt") as f: bang_names = [line.strip() for line in f.readlines()]
#編寫文字挖掘視覺化函式
#尋找小說出現最多的十大人物
def find_main_characters(novel):
file='D:/CuteHand/jr_novels/'
with open(file+'names.txt') as f:
df = [line.strip() for
line in f.readlines()]
novels = df[::2]
names = df[1::2]
novel_names = {k: v.split() for
k, v in zip(novels, names)}
with open(file+'{}.txt'.format(novel)) as f:
data = f.read()
count = []
namelist=[name.strip() for name
in novel_names[novel]]
namelist=''.join(namelist)
namelist=namelist.split('、')
for name in namelist:
count.append([name, data.count(name)])
count.sort(key=lambda x: x[1])
_, ax = plt.subplots()
num=10
numbers = [x[1] for x in count[-num:]]
names = [x[0] for x in count[-num:]]
ax.barh(range(num), numbers, align='center')
ax.set_title(novel+"出現最多的十大人物",
fontsize=16)
ax.set_yticks(range(num))
ax.set_yticklabels(names, fontsize=14)
#尋找小說出現最多的十大武功
def kungfu(novel):
file='D:/CuteHand/jr_novels/'
with open(file+'{}.txt'.format(novel)) as f:
df = f.read()
namelist=kungfu_names
count = []
num=10 #統計前10名
for name in namelist:
count.append([name, df.count(name)])
count.sort(key=lambda x: x[1])
_, ax = plt.subplots()
numbers = [x[1] for x in count[-num:]]
names = [x[0] for x in count[-num:]]
ax.barh(range(num), numbers, align='center')
ax.set_title(novel+"出現最多的十大武功",
fontsize=16)
ax.set_yticks(range(num))
ax.set_yticklabels(names, fontsize=14)
#尋找小說出現最多的十大門派
def bang(novel):
file='D:/CuteHand/jr_novels/'
with open(file+'{}.txt'.format(novel)) as f:
df = f.read()
namelist=bang_names
count = []
num=10 #統計前10名
for name in namelist:
count.append([name, df.count(name)])
count.sort(key=lambda x: x[1])
_, ax = plt.subplots()
numbers = [x[1] for x in count[-num:]]
names = [x[0] for x in count[-num:]]
ax.barh(range(num), numbers, align='center')
ax.set_title(novel+"出現最多的十大門派",
fontsize=16)
ax.set_yticks(range(num))
ax.set_yticklabels(names, fontsize=14)
#將三個函式合成一個主函式
def main(novel):
find_main_characters(novel)
bang(novel)
kungfu(novel)
main('倚天屠龍記')
main('天龍八部')
main('神鵰俠侶')
main('笑傲江湖')
尋找人物關係
使用gensim和jieba包對文字做進一步挖掘，尋找人物之間的關係。一般要先安裝相應的包，只要在Anaconda Prompt上輸入pip install gensim和pip install jieba進行安裝即可。
import gensim
import warnings
warnings.filterwarnings(action='ignore',
category=UserWarning,module='gensim')
warnings.filterwarnings(action='ignore',
category=FutureWarning,module='gensim')
import jieba
for _, names in novel_names.items():
for name in names:
jieba.add_word(name)
file='D:/CuteHand/jr_novels/'
with open(file+"kungfu.txt") as f:
kungfu_names = [line.strip()
for line in f.readlines()]
with open(file+"bangs.txt") as f:
bang_names = [line.strip()
for line in f.readlines()]
for name in kungfu_names:
jieba.add_word(name)
for name in bang_names:
jieba.add_word(name)
books = ['天龍八部','鹿鼎記','神鵰俠侶','笑傲江湖',
'碧血劍','倚天屠龍記','飛狐外傳','書劍恩仇錄',
'俠客行','鴛鴦刀','白馬嘯西風','雪山飛狐']
sentences = []
for novel in books:
print ("處理：{}".format(novel))
with open(file+'{}.txt'.format(novel)) as f:
data = [line.strip()
for line in f.readlines()
if line.strip()]
for line in data:
words = list(jieba.cut(line))
sentences.append(words)
model = gensim.models.Word2Vec(sentences,
size=100,window=5, min_count=5, workers=4)
首先，來看下《倚天屠龍記》裡張無忌與哪位女角的關係最緊密。
Actress=['趙敏','周芷若','小昭','蛛兒',
'朱九真','楊不悔']
for a in Actress:
print("張無忌與%s的相關度" % a,model.
wv.similarity('張無忌',a))
結果如下：
張無忌與趙敏的相關度 0.7922112 張無忌與周芷若的相關度 0.7983359 張無忌與小昭的相關度 0.60103273 張無忌與蛛兒的相關度 0.7526051 張無忌與朱九真的相關度 0.5569755 張無忌與楊不悔的相關度 0.5574214
從文字挖掘上看，張無忌似乎與周芷若“關係”更加緊密。不過，周芷若與趙敏的相關度非常接近。
其次，運用12部小說（其中，射鵰英雄傳、越女劍和連城訣可能存在非法字元，讀不出來）交叉判斷人物之間的關係。
def find_relationship(a, b, c): """ 返回 d a與b的關係，跟c與d的關係一樣 """ d, _ = model.wv.most_similar([c, b], [a])[0] print ("給定“{}”與“{}”，“{}”和“{}”有類似的關係". format(a, b, c, d)) find_relationship('小龍女','楊過' ,'黃蓉')
輸出結果（Interesting!）：
給定“小龍女”與“楊過”，“黃蓉”和“郭襄”有類似的關係
詞雲
通過對小說文字中出現頻率較高的“關鍵詞”予以視覺上的突出，形成“關鍵詞雲層”或“關鍵詞渲染”，過濾掉大量的文字資訊，可以試著通過關鍵詞來自行串起故事的梗概和判斷人物的關係。
#引入需要的包 import jieba import jieba.analyse import numpy as np import codecs import pandas as pd from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
#讀入《倚天屠龍記》文字內容 text=codecs.open('D:/CuteHand/jr_novels/倚天屠龍記.txt', 'rb','gbk').read()
tags=jieba.analyse.extract_tags(text,topK=100, withWeight=True) tf=dict((a[0],a[1]) for a in tags) #識別中文文字 wc=WordCloud(font_path='C:WindowsFontsSTZHONGS.TTF') wc=wc.generate_from_frequencies(tf) plt.figure(num=None,figsize=(12,10),facecolor='w',edgecolor='k') plt.imshow(wc) plt.axis('off') plt.show()
生成特定形狀的詞雲
backgroud_Image = plt.imread('D:/CuteHand/jr_novels/地圖.jpg') #可以自己找適合的圖片做背景，最後是背景白色 wc = WordCloud( background_color='white', # 設定背景顏色 mask=backgroud_Image, # 設定背景圖片 font_path='C:WindowsFontsSTZHONGS.TTF', # 若是有中文的話，這句程式碼必須新增 max_words=2000, # 設定最大現實的字數 stopwords=STOPWORDS,# 設定停用詞 max_font_size=150,# 設定字型最大值 random_state=30 # 設定有多少種隨機生成狀態，即有多少種配色方案 ) wc.generate_from_frequencies(tf) #img_colors = ImageColorGenerator(backgroud_Image) #字型顏色為背景圖片的顏色 #wc.recolor(color_func=img_colors) plt.figure(num=None,figsize(12,10), facecolor='w',edgecolor='k') plt.imshow(wc) # 是否顯示x軸、y軸下標 plt.axis('off') plt.show()
將上述過程包裝成函式,方便批量處理
def jr_cloud(novel,file): import jieba import jieba.analyse import numpy as np import codecs import pandas as pd from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator text=codecs.open(file+'{}.txt'.format(novel), 'rb','gbk').read() tags=jieba.analyse.extract_tags(text,topK=50,withWeight=True) tf=dict((a[0],a[1]) for a in tags) wc=WordCloud(font_path='c:windowsontssimsun.ttc', background_color='white') wc=wc.generate_from_frequencies(tf) plt.figure(num=None,figsize=(12,10), facecolor='w',edgecolor='k') plt.title(novel,fontsize=18) plt.imshow(wc) plt.axis('off') plt.show()
file='D:/CuteHand/jr_novels/' novels = ['天龍八部','鹿鼎記','神鵰俠侶','笑傲江湖', '碧血劍','倚天屠龍記','飛狐外傳','書劍恩仇錄', '俠客行','鴛鴦刀','白馬嘯西風','雪山飛狐'] jr_cloud(novels[0],file)
#鹿鼎記詞雲 jr_cloud(novels[1],file)
#笑傲江湖詞雲 jr_cloud(novels[3],file)
人物關係網路分析
最後運用網路分析法，將小說中的人物關係用圖形展示出來。
import networkx as nx import matplotlib.pyplot as plt import jieba import codecs import jieba.posseg as pseg names = {} # 姓名字典 relationships = {} # 關係字典 lineNames = [] # 每段內人物關係 # count names jieba.load_userdict(novel_names['倚天屠龍記']) with codecs.open("D:/CuteHand/jr_novels/ 倚天屠龍記.txt", "r") as f: for line in f.readlines(): poss = pseg.cut(line) # 分詞並返回該詞詞性 lineNames.append([]) # 為新讀入的一段新增人物名稱列表 for w in poss: if w.flag != "nr" or len(w.word) < 2: continue # 當分詞長度小於2或該詞詞性不為nr時認為該詞不為人名 lineNames[-1].append(w.word) # 為當前段的環境增加一個人物 if names.get(w.word) is None: names[w.word] = 0 relationships[w.word] = {} names[w.word] += 1 # 該人物出現次數加 1 # explore relationships for line in lineNames: # 對於每一段 for name1 in line: for name2 in line: # 每段中的任意兩個人 if name1 == name2: continue if relationships[name1].get(name2) is None: # 若兩人尚未同時出現則新建項 relationships[name1][name2]= 1 else: relationships[name1][name2] = relationships[name1][name2]+ 1 # 兩人共同出現次數加 1 with codecs.open("D:/CuteHand/jr_novels/person_edge.txt", "a+", "utf-8") as f: for name, edges in relationships.items(): for v, w in edges.items(): if w >500: f.write(name + " " + v + " " + str(w) + " ") a = [] f = open('D:/CuteHand/jr_novels/person_edge.txt', 'r',encoding='utf-8') line = f.readline() while line: a.append(line.split()) #儲存檔案是以空格分離的 line = f.readline() f.close()
#畫圖 G = nx.Graph() G.add_weighted_edges_from(a) nx.draw(G,with_labels=True,font_size=9, node_size=800,node_color='r') plt.show()
最終呈現：
關於作者：CuteHand，專注於分享Python金融量化分析原始碼、經濟分析框架和金融思維，手把手教你使用Python做金融資料分析。公眾號：Python 金融量化