Python爬蟲之scrapy框架簡介及環境安裝

　　Python是網路爬蟲的首選語言，而Scrapy是寫爬蟲必須懂的框架，它是一個為了爬取網站資料，提取結構性資料而編寫的應用框架，出名且強悍，接下來我們透過這篇文章詳細的瞭解一下Scrapy框架。

　　什麼是框架?

　　所謂的框架簡單通用解釋，就是一個具有很強通用性並且整合了很多功能的專案模板，該模板可被應用在不同的專案需求中，也可被視為是一個專案的半成品。

　　如何學習框架?

　　學習是框架中整合好的各種功能的特性是作用。

　　對於剛接觸程式設計或者初級程式設計師來講，對於一個新的框架，只需要掌握該框架的作用及各個功能的使用和應用即可，對於框架的底層實現和原理，在逐步進階的過程中在慢慢深入即可。

　　什麼是Scrapy框架?

　　Scrapy是一個為了抓取網站資料，提取結構性資料而編寫的應用框架，非常出名，非常強悍。其內部已經被整合了各種功能，比如：高效能非同步下載、佇列、分散式、解析、持久化等。對於框架的學習，重點是學習其框架的特性、各個功能的用法即可。

　　Scrapy框架環境如何安裝?

　　Mac、Linux安裝：

　　pip install scrapy

　　Windows安裝：

　　1. Pip3 install wheel

　　2. 下載twisted 地址為：~gohlke/pythonlibs/#twisted

　　3. 進入下載目錄，執行pip install Twisted17.1.0cp36cp36mwin_amd64.whl，Twisted就是一個非同步的的架構，被作用在scrapy中

　　4. pip3 install pywin32

　　5. pip3 install scrapy

　　6. 測試：在終端裡錄入scrapy指令，沒有報錯即表示安裝成功。