scrapy和scrapy-redis有什麼區別?Python基礎教程

　　Scrapy和Scrapy-redis有什麼區別?簡單的來講，Scrapy是一個通用的爬蟲框架，但不支援分散式;而Scrapy-redis就是為了方便實現Scrapy框架的分散式抓取。具體內容跟著小編往下看。

　　scrapy和scrapy-redis有什麼區別?

　　Scrapy是一個Python的爬蟲框架，爬取效率很高，具有高度定製性，但是不支援分散式;

　　Scrapy-redis是一個基於redis資料庫、執行在Scrapy框架之上的元件，可以讓Scrapy支援分散式策略，Slaver端共享Master端redis資料庫裡的item佇列、請求佇列和請求指紋集合。

　　為什麼會選擇redis資料庫呢?

　　因為redis支援主從同步，資料庫都是快取在記憶體中的，所以基於redis的分散式爬蟲，對請求和資料的高頻讀取效率非常高。

　　Scrapy框架怎麼樣?

　　Scrapy是適用於Python的一個快速、高層次的螢幕抓取和web抓取框架，用於抓取web站點並從頁面中提取結構化的資料。Scrapy用途廣泛，可以用於資料探勘、監測和自動化測試。

　　Scrapy吸引人的地方在於它是一個框架，任何人都可以根據需求方便的修改。它也提供了多種型別爬蟲的基類，如BaseSpider、sitemap爬蟲等，最新版本又提供了web2.0爬蟲的支援。

　　儘管Scrapy原本是設計用來螢幕抓取(更精確的說，是網路抓取)，但它也可以用來訪問API來提取資料。