專案簡介
本文將介紹一個筆者自己的專案：自制簡單的詩歌搜尋系統。該系統主要的實現功能如下：指定一個關鍵詞，檢索出包含這個關鍵詞的詩歌，比如關鍵詞為“白雲”，則檢索出的詩歌可以為王維的《送別》，內容為“下馬飲君酒，問君何所之？君言不得意，歸臥南山陲。但去莫復問，白雲無盡時。”
該專案使用的Python模組為：
- requests
- BeautifulSoup
- pymongo
- tornado
其中，requests模組和BeautifulSoup模組用來製作爬蟲，爬取網上的詩歌。pymongo模組用來將爬取的詩歌寫入到MongoDB資料庫。tornado模組用於網頁端展示。
該專案主要分以下三步實現：
- 收集資料：使用爬蟲，爬取網上的詩歌作為專案的資料集；
- 存入資料庫：將爬取到的詩歌寫入到MongoDB資料庫；
- 網頁展示：利用tornado框架實現詩歌搜尋功能。
該專案的結構如下：
資料收集
首先，我們利用Python爬蟲來爬取詩歌，存為CSV檔案poem.csv。爬取的網址為：https://www.gushiwen.org 。由於僅是展示該專案的思路，因此，只爬取了該頁面中的唐詩三百首、古詩三百、宋詞三百、宋詞精選，一共大約1100多首詩歌。
實現該爬蟲的程式碼檔案為poem_scrape.py，程式碼如下：
# -*- coding: utf-8 -*-
import re
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 爬取的詩歌網址
urls = ['https://www.gushiwen.org/gushi/tangshi.aspx',
'https://www.gushiwen.org/gushi/sanbai.aspx',
'https://www.gushiwen.org/gushi/songsan.aspx',
'https://www.gushiwen.org/gushi/songci.aspx'
]
poem_links = []
# 詩歌的網址
for url in urls:
# 請求頭部
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}
req = requests.get(url, headers=headers)
soup = BeautifulSoup(req.text, "lxml")
content = soup.find_all('div', class_="sons")[0]
links = content.find_all('a')
for link in links:
poem_links.append(link['href'])
# print(poem_links)
# print(len(poem_links))
content_list = []
title_list = []
dynasty_list = []
poet_list = []
# 爬取詩歌頁面
def get_poem(url):
#url = 'https://so.gushiwen.org/shiwenv_45c396367f59.aspx'
# 請求頭部
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}
req = requests.get(url, headers=headers)
soup = BeautifulSoup(req.text, "lxml")
# 詩歌內容
poem = soup.find('div', class_='contson').text.strip()
poem = poem.replace(' ', '')
poem = re.sub(re.compile(r"\([\s\S]*?\)"), '', poem)
poem = re.sub(re.compile(r"（[\s\S]*?）"), '', poem)
poem = re.sub(re.compile(r"。\([\s\S]*?）"), '', poem)
poem = poem.replace('!', '！').replace('?', '？').replace('\n', '')
content = poem
if content:
content_list.append(content)
else:
content_list.append('')
# 詩歌朝代，詩人
dynasty_poet = soup.find('p', class_='source').text
if '：' in dynasty_poet:
dynasty, poet = dynasty_poet.split('：')
else:
dynasty, poet = '', ''
dynasty_list.append(dynasty)
poet_list.append(poet)
# 詩歌標題
title = soup.find('h1').text
if title:
title_list.append(title)
else:
title_list.append('')
# 爬取詩歌
for url in poem_links:
get_poem(url)
# 寫入至csv檔案
df = pd.DataFrame({'title': title_list,
'dynasty': dynasty_list,
'poet': poet_list,
'content': content_list
})
print(df.head())
df.to_csv('./poem.csv', index=False)
儲存的poem.csv的前幾行如下：
資料庫
資料收集完畢後，我們需要將這些資料出訪到資料庫中，便於後續的呼叫，在這裡選擇MongoDB。利用檔案write2mongodb.py檔案可以將剛才爬取到的詩歌存放至MongoDB資料庫中，完整的程式碼如下：
import pandas as pd
from pymongo import MongoClient
# 連線MongoDB
conn = MongoClient('mongodb://localhost:27017/')
db = conn["test"]
# 插入詩歌
df = pd.read_csv('poem.csv')
columns = ['title', 'dynasty', 'poet', 'content']
for i in range(df.shape[0]):
print(i)
row = df.iloc[i, :]
db.poem.insert(dict(zip(columns, row[columns])))不到一分鐘，我們可以看到MongoDB中的內容如下：
前端展示
準備好資料集後，我們需要視覺化地展示詩歌檢索功能，我們選擇tornado這個框架來實現。詩歌檢索功能為：指定一個關鍵詞，檢索出包含這個關鍵詞的詩歌。關鍵詞由使用者輸入，提交HTTP請求，在後臺實現詩歌檢索功能，然後在前端頁面展示出來。
實現的server.py的程式碼如下：
# -*- coding: utf-8 -*-
import random
import os.path
import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
from tornado.options import define, options
from pymongo import MongoClient
# 連線MongoDB
conn = MongoClient('mongodb://localhost:27017/')
coll = conn["test"].poem
#定義埠為8000
define("port", default=8000, help="run on the given port", type=int)
# GET請求
class QueryHandler(tornado.web.RequestHandler):
# get函式
def get(self):
self.render('query.html')
# POST請求
# POST請求引數：query_string
class ResultHandler(tornado.web.RequestHandler):
# post函式
def post(self):
query = self.get_argument('query_string')
res = list(coll.find({'content': {'$regex': query}}))
if len(res) > 0:
result = random.sample(res, 1)[0]
del result["_id"]
title = result['title']
dynasty = result['dynasty']
poet = result['poet']
content = result['content']
else:
title = ''
dynasty = ''
poet = ''
content = ''
self.render('result.html', query=query, title=title, dynasty=dynasty, poet=poet, content=content)
# 主函式
def main():
tornado.options.parse_command_line()
# 定義app
app = tornado.web.Application(
handlers=[(r'/query', QueryHandler), (r'/result', ResultHandler)], #網頁路徑控制
template_path=os.path.join(os.path.dirname(__file__), "templates") # 模板路徑
)
http_server = tornado.httpserver.HTTPServer(app)
http_server.listen(options.port)
tornado.ioloop.IOLoop.instance().start()
main()其中，query路徑對應的網頁query.html的程式碼如下：
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>Poem Query</title>
</head>
<body>
<h2>請輸入查詢</h2>
<form method="post" action="/result">
<p>包含文字: <input type="text" name="query_string"></p>
<input type="submit">
</form>
</body>
</html>result路徑對應的網頁result.html如下：
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>Result</title>
<script>
//highlight query word in the page
function Func(){
var query = document.getElementById("query").innerHTML;
query = query.split('：')[1];
if(query == ''){alert('查詢詞為空!')}
else{
document.getElementById("result").innerHTML = document.getElementById("result").innerHTML.replace(new RegExp(query,'g'),'<mark>'+query+'</mark>');
}
}
</script>
</head>
<body>
<font color="red"><p id="query">查詢詞：{{query}}</p></font>
<p>標題：{{title}}</p>
<p>朝代：{{dynasty}}</p>
<p>詩人：{{poet}}</p>
<p id="result">內容：{{content}}</p>
<a href="/query"><button type="button">返回</button></a>
<button type="button" onclick="Func()">查詢詞高亮</button>
</body>使用示例
執行server.py, 在瀏覽器中輸入網址：http://localhost:8000/query ，介面如下：
在其中輸入搜尋關鍵詞，比如“白雲”，則會顯示一條隨機的結果，如下：
點選“查詢詞高亮”，則查詢詞部分會高亮顯示。
總結
本專案僅為展示詩歌檢索的一種實現思路，仍有許多功能還待完善，後續將進一步補充實現。本專案的github地址為：https://github.com/percent4/P... 。
注意：本人現已開通微信公眾號： Python爬蟲與演算法（微訊號為：easy_web_scrape）， 歡迎大家關注哦~~