Python開發技巧：scrapy-redis爬蟲如何傳送POST請求

同學們在使用scrapy-redis分散式爬蟲框架開發的時候會發現，其預設只能傳送GET請求，不能直接傳送POST請求，這就導致我們在開發一些爬蟲工具的時候出現問題，那麼如何才能讓scrapy-redis傳送POST請求呢？

scrapy-redis爬蟲

這裡我們以美團網站為例， 先來說一說需求，也就是說美團 POST請求形式。我們以獲取某個地理座標下，所有店鋪類別列表請求為例。獲取所有店鋪類別列表時，我們需要構造一個包含位置座標經緯度等資訊的表單資料，以及為了向下一層parse方法傳遞的一些必要資料，即meta，然後發起一個POST請求。

url，請求地址，即url是固定的，如下所示：

url='

url最後面的13位數字是時間戳，實際應用時用time模組生成一下就好了。

表單資料：

meta資料：

meta資料不是必須的，但是，如果你在傳送請求時，有一些資料需要向下一層parse方法（解析爬蟲返回的response的方法）中傳遞的話，就可以構造這一資料，然後作為引數傳遞進request中。

原始碼分析

採集店鋪類別列表時需要傳送怎樣一個POST請求在上面已經說明了，那麼，在scrapy-redis框架中，這個POST該如何來傳送呢？我相信，開啟我這篇博文的讀者都是用過scrapy的，用scrapy傳送POST肯定沒問題（重寫start_requests方法即可），但scrapy-redis不同，scrapy-redis框架只會從配置好的redis資料庫中讀取起始url，所以，在scrapy-redis中，就算重寫start_requests方法也沒用。怎麼辦呢？我們看看原始碼。

我們知道，scrapy-redis與scrapy的一個很大區別就是，scrapy-redis不再繼承Spider類，而是繼承RedisSpider類的，所以，RedisSpider類原始碼將是我們分析的重點，我們開啟RedisSpider類，看看有沒有類似於scrapy框架中的start_requests、make_requests_from_url這樣的方法。RedisSpider原始碼如下：

很遺憾，在RedisSpider類中沒有找到類似start_requests、make_requests_from_url這樣的方法，而且，RedisSpider的原始碼也太少了吧，不過，從第一行我們可以發現RedisSpider繼承了RedisMinxin這個類，所以我猜RedisSpider的很多功能是從父類繼承而來的（拼爹的RedisSpider）。繼續檢視RedisMinxin類原始碼。RedisMinxin類原始碼太多，這裡就不將所有原始碼貼出來了，不過，驚喜的是，在RedisMinxin中，真找到了類似於start_requests、make_requests_from_url這樣的方法，如：start_requests、next_requests、make_request_from_data等。有過scrapy使用經驗的童鞋應該都知道，start_requests方法可以說是構造一切請求的起源，沒分析scrapy-redis原始碼之前，誰也不知道scrapy-redis是不是和scrapy一樣（後面打斷點的方式驗證過，確實一樣，話說這個驗證有點多餘，因為原始碼註釋就是這麼說的），不過，還是從start_requests開始分析吧。start_requests原始碼如下：

直接把所有任務丟給next_requests方法，繼續：

上面next_requests方法中，關鍵的就是那個while迴圈，每一次迴圈都呼叫了一個make_request_from_data方法，從函式名可以函式，這個方法就是根據從redis中讀取從來的資料，例項化一個request，那不就是我們要找的方法嗎？進入make_request_from_data方法一探究竟：

因為scrapy-redis預設值傳送GET請求，所以，在這個make_request_from_data方法中認為data只包含一個url，但如果我們要傳送POST請求，這個data包含的東西可就多了，我們上面美團POST請求說明中就說到，至少要包含url、form_data。所以，如果我們要傳送POST請求，這裡必須改，make_request_from_data方法最後呼叫的make_requests_from_url是scrapy中的Spider中的方法，不過，我們也不需要繼續往下看下去了，我想諸位都也清楚了，要傳送POST請求，重寫這個make_request_from_data方法，根據傳入的data，例項化一個request返回就好了。

程式碼例項

明白上面這些東西后，就可以開始寫程式碼了。修改原始碼嗎？不，不存在的，改原始碼可不是好習慣。我們直接在我們自己的Spider類中重寫make_request_from_data方法就好了：

搞清楚原理之後，就是這麼簡單。萬事俱備，只欠東風——將url，form_data，meta儲存到redis中。另外新建一個模組實現這一部分功能：

在啟動scrapy-redis之前，執行一下這一模組即可。如果有很多POI（地理位置興趣點），迴圈遍歷每一個POI，生成request_data，push到redis中。