Python 爬蟲從入門到進階之路（十一）

豐寸發表於2019-07-04
Python爬蟲

之前的文章我們介紹了一下 Xpath 模組，接下來我們就利用 Xpath 模組爬取《糗事百科》的糗事。

之前我們已經利用 re 模組爬取過一次糗百，我們只需要在其基礎上做一些修改就可以了，為了保證專案的完整性，我們重新再來一遍。

我們要爬取的網站連結是 https://www.qiushibaike.com/text/page/1/ 。

我們通過 Xpath Helper 的谷歌外掛經過分析獲取到我們想要的內容為： //div[@class="content"]/span[1] 

然後我們就可以通過 text() 來獲取裡面的內容了， //div[@class="content"]/span[1]/text() 

 1 import urllib.request
 2 from lxml import etree
 3 import ssl
 4 
 5 # 取消代理驗證
 6 ssl._create_default_https_context = ssl._create_unverified_context
 7 
 8 url = "https://www.qiushibaike.com/text/page/1/"
 9 # User-Agent頭
10 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
11 headers = {'User-Agent': user_agent}
12 req = urllib.request.Request(url, headers=headers)
13 response = urllib.request.urlopen(req)
14 # 獲取每頁的HTML原始碼字串
15 html = response.read().decode('utf-8')
16 # 解析html 為 HTML 文件
17 selector = etree.HTML(html)
18 content_list = selector.xpath('//div[@class="content"]/span[1]/text()')
19 print(content_list)

輸出結果為：

從上面的輸出結果可以看出我們已經拿到了我們想要的資料，並且是一個列表型別，我們對列表進行操作扥別拿到糗事再儲存到本地即可。

1 for item in item_list:
2     item = item.replace("\n", "")
3     self.writePage(item)

上面的程式碼中 item_list 即為我們上面所獲取到的 content_list 列表，在之前通過 re 模組獲取資料時通過對列表的內容分析，我們發現有 <span> ，<span class="contentForAll">檢視全文，</span>，<br/>，\n 等多餘內容，而通過 Xpath 只有 \n 為多餘，我們通過 replace 方法將其轉為空，剩下的就是我們想要的內容了，接下來就是儲存到本地即可了。

上面就可以實現一個獲取 糗事百科 的糗事的簡單爬蟲，但是隻能爬取單個頁面的內容，通過分析 url 我們發現 https://www.qiushibaike.com/text/page/1/ 中最後的 1 即為頁碼，我們就可以根據這個頁碼逐一爬取更多頁面的內容，最終的程式碼如下：

 1 import urllib.request
 2 from lxml import etree
 3 import ssl
 4 
 5 # 取消代理驗證
 6 ssl._create_default_https_context = ssl._create_unverified_context
 7 
 8 
 9 class Spider:
10     def __init__(self):
11         # 初始化起始頁位置
12         self.page = 1
13         # 爬取開關，如果為True繼續爬取
14         self.switch = True
15 
16     def loadPage(self):
17         """
18            作用：開啟頁面
19         """
20         url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"
21         # User-Agent頭
22         user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
23         headers = {'User-Agent': user_agent}
24         req = urllib.request.Request(url, headers=headers)
25         response = urllib.request.urlopen(req)
26         # 獲取每頁的HTML原始碼字串
27         html = response.read().decode('utf-8')
28         # 解析html 為 HTML 文件
29         selector = etree.HTML(html)
30         content_list = selector.xpath('//div[@class="content"]/span[1]/text()')
31         # 呼叫dealPage() 處理糗事裡的雜七雜八
32         self.dealPage(content_list)
33 
34     def dealPage(self, item_list):
35         """
36             @brief 處理得到的糗事列表
37             @param item_list 得到的糗事列表
38             @param page 處理第幾頁
39         """
40         for item in item_list:
41             item = item.replace("\n", "")
42             self.writePage(item)
43 
44     def writePage(self, text):
45         """
46             @brief 將資料追加寫進檔案中
47             @param text 檔案內容
48         """
49         myFile = open("./qiushi.txt", 'a')  # 追加形式開啟檔案
50         myFile.write(text + "\n\n")
51         myFile.close()
52 
53     def startWork(self):
54         """
55             控制爬蟲執行
56         """
57         # 迴圈執行，直到 self.switch == False
58         while self.switch:
59             # 使用者確定爬取的次數
60             self.loadPage()
61             command = input("如果繼續爬取，請按回車（退出輸入quit)")
62             if command == "quit":
63                 # 如果停止爬取，則輸入 quit
64                 self.switch = False
65             # 每次迴圈，page頁碼自增1
66             self.page += 1
67         print("爬取結束！")
68 
69 
70 if __name__ == '__main__':
71     # 定義一個Spider物件
72     qiushiSpider = Spider()
73     qiushiSpider.startWork()

最終會在本地新增一個 qiushi.txt 的檔案，結果如下：

 

相關文章