本節中，我們以今日頭條為例來嘗試通過分析Ajax請求來抓取網頁資料的方法。這次要抓取的目標是今日頭條的街拍美圖，抓取完成之後，將每組圖片分資料夾下載到本地並儲存下來。
1. 準備工作
在本節開始之前，請確保已經安裝好requests庫。如果沒有安裝，可以參考第1章。
2. 抓取分析
在抓取之前，首先要分析抓取的邏輯。開啟今日頭條的首頁www.toutiao.com/，如圖6-15所示。
圖6-15 首頁內容
右上角有一個搜尋入口，這裡嘗試抓取街拍美圖，所以輸入“街拍”二字搜尋一下，結果如圖6-16所示。
圖6-16 搜尋結果
這時開啟開發者工具，檢視所有的網路請求。首先，開啟第一個網路請求，這個請求的URL就是當前的連結www.toutiao.com/search/?key…，開啟Preview選項卡檢視Response Body。如果頁面中的內容是根據第一個請求得到的結果渲染出來的，那麼第一個請求的原始碼中必然會包含頁面結果中的文字。為了驗證，我們可以嘗試搜尋一下搜尋結果的標題，比如“路人”二字，如圖6-17所示。
圖6-17 搜尋結果
我們發現，網頁原始碼中並沒有包含這兩個字，搜尋匹配結果數目為0。因此，可以初步判斷這些內容是由Ajax載入，然後用JavaScript渲染出來的。接下來，我們可以切換到XHR過濾選項卡，檢視一下有沒有Ajax請求。
不出所料，此處出現了一個比較常規的Ajax請求，看看它的結果是否包含了頁面中的相關資料。
點選data欄位展開，發現這裡有許多條資料。點選第一條展開，可以發現有一個title欄位，它的值正好就是頁面中第一條資料的標題。再檢查一下其他資料，也正好是一一對應的，如圖6-18所示。
圖6-18 對比結果
這就確定了這些資料確實是由Ajax載入的。
我們的目的是要抓取其中的美圖，這裡一組圖就對應前面data欄位中的一條資料。每條資料還有一個image_detail欄位，它是列表形式，這其中就包含了組圖的所有圖片列表，如圖6-19所示。
圖6-19 圖片列表資訊
因此，我們只需要將列表中的url欄位提取出來並下載下來就好了。每一組圖都建立一個資料夾，資料夾的名稱就為組圖的標題。
接下來，就可以直接用Python來模擬這個Ajax請求，然後提取出相關美圖連結並下載。但是在這之前，我們還需要分析一下URL的規律。
切換回Headers選項卡，觀察一下它的請求URL和Headers資訊，如圖6-20所示。
圖6-20 請求資訊
可以看到，這是一個GET請求，請求URL的引數有offset、format、keyword、autoload、count和cur_tab。我們需要找出這些引數的規律，因為這樣才可以方便地用程式構造出來。
接下來，可以滑動頁面，多載入一些新結果。在載入的同時可以發現，Network中又出現了許多Ajax請求，如圖6-21所示。
圖6-21 Ajax請求
這裡觀察一下後續連結的引數，發現變化的引數只有offset，其他引數都沒有變化，而且第二次請求的offset值為20，第三次為40，第四次為60，所以可以發現規律，這個offset值就是偏移量，進而可以推斷出count引數就是一次性獲取的資料條數。因此，我們可以用offset引數來控制資料分頁。這樣一來，我們就可以通過介面批量獲取資料了，然後將資料解析，將圖片下載下來即可。
3. 實戰演練
我們剛才已經分析了一下Ajax請求的邏輯，下面就用程式來實現美圖下載吧。
首先，實現方法get_page()來載入單個Ajax請求的結果。其中唯一變化的引數就是offset，所以我們將它當作引數傳遞，實現如下：
12345678910111213141516171819import requestsfrom urllib.parse import urlencode def get_page(offset): params = { `offset`: offset, `format`: `json`, `keyword`: `街拍`, `autoload`: `true`, `count`: `20`, `cur_tab`: `1`, } url = `http://www.toutiao.com/search_content/?` + urlencode(params) try: response = requests.get(url) if response.status_code == 200: return response.json() except requests.ConnectionError: return None複製程式碼這裡我們用urlencode()方法構造請求的GET引數，然後用requests請求這個連結，如果返回狀態碼為200，則呼叫response的json()方法將結果轉為JSON格式，然後返回。
接下來，再實現一個解析方法：提取每條資料的image_detail欄位中的每一張圖片連結，將圖片連結和圖片所屬的標題一併返回，此時可以構造一個生成器。實現程式碼如下：
def get_images(json): if json.get(`data`): for item in json.get(`data`): title = item.get(`title`) images = item.get(`image_detail`) for image in images: yield { `image`: image.get(`url`), `title`: title }複製程式碼接下來，實現一個儲存圖片的方法save_image()，其中item就是前面get_images()方法返回的一個字典。在該方法中，首先根據item的title來建立資料夾，然後請求這個圖片連結，獲取圖片的二進位制資料，以二進位制的形式寫入檔案。圖片的名稱可以使用其內容的MD5值，這樣可以去除重複。相關程式碼如下：
import osfrom hashlib import md5 def save_image(item): if not os.path.exists(item.get(`title`)): os.mkdir(item.get(`title`)) try: response = requests.get(item.get(`image`)) if response.status_code == 200: file_path = `{0}/{1}.{2}`.format(item.get(`title`), md5(response.content).hexdigest(), `jpg`) if not os.path.exists(file_path): with open(file_path, `wb`) as f: f.write(response.content) else: print(`Already Downloaded`, file_path) except requests.ConnectionError: print(`Failed to Save Image`)
複製程式碼最後，只需要構造一個offset陣列，遍歷offset，提取圖片連結，並將其下載即可：
from multiprocessing.pool import Pool
def main(offset):
json = get_page(offset)
for item in get_images(json):
print(item)
save_image(item)
GROUP_START = 1
GROUP_END = 20
if __name__ == `__main__`:
pool = Pool()
groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
pool.map(main, groups)
pool.close()
pool.join()
複製程式碼這裡定義了分頁的起始頁數和終止頁數，分別為GROUP_START和GROUP_END，還利用了多執行緒的執行緒池，呼叫其map()方法實現多執行緒下載。
這樣整個程式就完成了，執行之後可以發現街拍美圖都分資料夾儲存下來了，如圖6-22所示。
圖6-22 儲存結果
最後，我們給出本節的程式碼地址：github.com/Python3WebS…。
通過本節，我們瞭解了Ajax分析的流程、Ajax分頁的模擬以及圖片的下載過程。
本節的內容需要熟練掌握，在後面的實戰中我們還會用到很多次這樣的分析和抓取。
本資源首發於崔慶才的個人部落格靜覓： Python3網路爬蟲開發實戰教程 | 靜覓
如想了解更多爬蟲資訊，請關注我的個人微信公眾號：進擊的Coder
weixin.qq.com/r/5zsjOyvEZ… (二維碼自動識別)