網路爬蟲常見問題（個人總結）

rodertW發表於2019-01-24
爬蟲

總結網路爬蟲遇到的問題和需要涉及到的重點

引用知乎一篇文章：https://zhuanlan.zhihu.com/p/22556271

這篇文章中涉及的內容，在很多開源的爬蟲框架中都有使用，我的個人分類中有很多相關demo和不錯的文章

除此之外：

1，分散式爬蟲

2，整站爬取（爬取深度）

3，redis作為url佇列

4，zookeeper監控爬蟲執行狀況

 

相關文章