之前的文章我們介紹了一下 Python 中的正規表示式和與爬蟲正則相關的 re 模組，本章我們就利用正規表示式和 re 模組來做一個案例，爬取《糗事百科》的糗事並儲存到本地。
我們要爬取的網站連結是 https://www.qiushibaike.com/text/page/1/ 。
我們要爬取的是裡面的糗事，在之前的文章中我們已經可以爬取整個 url 連結裡的 html 內容，那麼我們就可以根據爬取到的 html 程式碼，再通過 re 模組匹配我們想要的內容即可。
我們通過呼叫開發者工具檢查 HTML 元素髮現我們想要的內容在 <div class="content"> ...... </div> 內，根據這個我們可以寫出程式碼如下：
1 import urllib.request 2 import re 3 import ssl 4 5 # 取消代理驗證 6 ssl._create_default_https_context = ssl._create_unverified_context 7 8 url = "https://www.qiushibaike.com/text/page/1/" 9 # User-Agent頭 10 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36' 11 headers = {'User-Agent': user_agent} 12 req = urllib.request.Request(url, headers=headers) 13 response = urllib.request.urlopen(req) 14 # 獲取每頁的HTML原始碼字串 15 html = response.read().decode('utf-8') 16 # 建立正規表示式規則物件，匹配每頁裡的糗事內容，re.S 表示匹配全部字串內容 17 # re.S 如果沒有re.S 則是隻匹配一行有沒有符合規則的字串，如果沒有則下一行重新匹配 18 # 如果加上re.S 則是將所有的字串將一個整體進行匹配 19 pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S) 20 # 將正則匹配物件應用到html原始碼字串裡，返回這個頁面裡的所有糗事的列表 21 content_list = pattern.findall(html) 22 # 呼叫dealPage() 處理糗事裡的雜七雜八 23 print(content_list)
最終我們列印結果如下：
從上面的列印結果可以看出我們已經拿到了我們想要的資料，並且儲存在了一個列表裡，那麼接下來我們只需要再處理一下列表，叫列表內雜七雜八的內容，如上圖中的 \n <span>標籤等去掉，就是我們想要的內容了。
1 for item in item_list: 2 item = item.replace('<span>', "").replace('<span class="contentForAll">檢視全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "") 3 print(item) 4 self.writePage(item)
上面的程式碼中 item_list 即為我們上面所獲取到的 content_list 列表，通過對列表的內容分析，我們發現有 <span> ，<span class="contentForAll">檢視全文，</span>，<br/>，\n 等多餘內容，我們通過 replace 方法將其轉為空，剩下的就是我們想要的內容了，接下來就是儲存到本地即可了。
上面就可以實現一個獲取 糗事百科 的糗事的簡單爬蟲，但是隻能爬取單個頁面的內容，通過分析 url 我們發現 https://www.qiushibaike.com/text/page/1/ 中最後的 1 即為頁碼，我們就可以根據這個頁碼逐一爬取更多頁面的內容，最終的程式碼如下：
1 import urllib.request 2 import re 3 import ssl 4 5 # 取消代理驗證 6 ssl._create_default_https_context = ssl._create_unverified_context 7 8 9 class Spider: 10 def __init__(self): 11 # 初始化起始頁位置 12 self.page = 1 13 # 爬取開關，如果為True繼續爬取 14 self.switch = True 15 16 def loadPage(self): 17 """ 18 作用：開啟頁面 19 """ 20 url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/" 21 # User-Agent頭 22 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36' 23 headers = {'User-Agent': user_agent} 24 req = urllib.request.Request(url, headers=headers) 25 response = urllib.request.urlopen(req) 26 # 獲取每頁的HTML原始碼字串 27 html = response.read().decode('utf-8') 28 # 建立正規表示式規則物件，匹配每頁裡的糗事內容，re.S 表示匹配全部字串內容 29 # re.S 如果沒有re.S 則是隻匹配一行有沒有符合規則的字串，如果沒有則下一行重新匹配 30 # 如果加上re.S 則是將所有的字串將一個整體進行匹配 31 pattern = re.compile(r'<div.*?class="content">(.*?)</div>', re.S) 32 # 將正則匹配物件應用到html原始碼字串裡，返回這個頁面裡的所有糗事的列表 33 content_list = pattern.findall(html) 34 # 呼叫dealPage() 處理糗事裡的雜七雜八 35 self.dealPage(content_list) 36 37 def dealPage(self, item_list): 38 """ 39 @brief 處理得到的糗事列表 40 @param item_list 得到的糗事列表 41 @param page 處理第幾頁 42 """ 43 for item in item_list: 44 item = item.replace('<span>', "").replace('<span class="contentForAll">檢視全文', "").replace("</span>","").replace("<br/>", "").replace("\n", "") 45 self.writePage(item) 46 47 def writePage(self, text): 48 """ 49 @brief 將資料追加寫進檔案中 50 @param text 檔案內容 51 """ 52 myFile = open("./duanzi.txt", 'a') # 追加形式開啟檔案 53 myFile.write(text + "\n\n") 54 myFile.close() 55 56 def startWork(self): 57 """ 58 控制爬蟲執行 59 """ 60 # 迴圈執行，直到 self.switch == False 61 while self.switch: 62 # 使用者確定爬取的次數 63 self.loadPage() 64 command = input("如果繼續爬取，請按回車（退出輸入quit)") 65 if command == "quit": 66 # 如果停止爬取，則輸入 quit 67 self.switch = False 68 # 每次迴圈，page頁碼自增1 69 self.page += 1 70 print("爬取結束！") 71 72 73 if __name__ == '__main__': 74 # 定義一個Spider物件 75 qiushiSpider = Spider() 76 qiushiSpider.startWork()
最終會在本地新增一個 qiushi.txt 的檔案，結果如下：
