為什麼使用Scrapy框架來寫爬蟲？

如題：為什麼使用Scrapy框架來寫爬蟲？

在Python爬蟲中：Requests + Selenium可以解決目前90%的爬蟲需求，難道Scrapy是解決剩下的10%的嗎？

顯然不是這樣的。

Scrapy框架是為了讓我們的爬蟲更強大、更高效。接下來我們一起學習一下它吧。

（文末有總結的Scrapy框架福利，繼續往下滑，不要停）

下面的是Scrapy的架構，包括元件以及在系統中發生的資料流的概覽(紅色箭頭所示)。

Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用框架。可以應用在包括資料探勘，資訊處理或儲存歷史資料等一系列的程式中，Scrapy使用Twisted這個非同步網路庫來處理網路通訊，機構清晰，並且包含了各種中介軟體介面，可以靈活的完成各種需求。

那麼你在學習Scrapy框架的時候都遇到哪些坑？我總結了我遇到的“問題”給你們做個對比

1、scrapy安裝失敗？

2、No module named scrapy ？

3、XPaths谷歌外掛使用？

4、scrapy 生成json檔案中文是Unicode字元？

5、解決爬取資料頻繁時，被禁止？

你們知道這些問題我都是怎麼解決的麼？

我是看了廖雪峰老師的Scrapy框架教程解決的，並且已經總結好了一整套關於Scrapy的學習教程乾貨，分享給正被這些問題困擾著的夥伴。

廖雪峰老師  -  加盟開課吧

此套Scrapy視訊是2018年6月份最新錄製，價值1599元最全的Scrapy框架視訊限時免費供大家學習，內容系統翔實，具體看下圖??

新增下面的微信即可領取視訊。由於通過之後會逐個傳送資源，精力有限，【Python之禪】公眾號專屬福利，限額500個名額，先到先得！

（掃描兩次，根據操作提示，即可新增） 

即可領取Scrapy視訊

PS：希望你領到之後認真學習，不要做收！藏！黨！

這套Scrapy視訊由"開課吧"友情提供，大家熟知的IT技術大牛廖雪峰已加盟開課吧，並耗時半年研發了精品付費課程——《Python商業爬蟲資料分析班》，所謂商業級別，短平快地解釋就是：隨心所欲，想爬誰就爬誰！對課程感興趣也可以加微信瞭解。