python分散式爬蟲如何設計架構？

不知道大家有沒有發現，我們一直賴以自豪，靈活使用的框架scrapy，在某些平臺上已經不能使用了，這樣我們如果在碰到要做分散式的時候，要怎麼處理呢？想了想求人不如做自己，我們要自己去涉及一個機構出來，想法怎麼樣？畢竟軟體都是自己創造出來的，大家可以考慮怎麼去設計，行啦，都一起來試試吧~

以下是架構設計。需要考慮內容有：

l 系統環境的選擇

l 程式碼環境的編寫

l 需要的安裝包

l 還有伺服器

理清楚思路以後，我們就正式開始吧~

系統環境：ubuntu20系統

程式碼環境：Python3.6

需要安裝的Python包：

grequest 、pyquery 、pymysql、 pymon、goredis  

需要安裝的軟體有：redis、mongodb

這樣以後，我們在整理出流程圖，就可以啦~

好啦，正在學習的理工男們，都搞懂了嘛？需要注意的是，可能會會存在兩個不同引數的模糊查詢返回的結果會有相同的值，先給大家打個預防針，注意避免哦~更多學習內容，盡在。