scrapy的簡介與安裝

b10l07發表於2018-08-29

scrapy 框架簡介：他是由c++語言編寫的底層程式碼的框架、在開始爬蟲時我們可以建立我們的爬蟲專案。在scrapy框架裡面，我們可以使用selenium,requests,js網頁分析，進行資料爬取，爬取完成後，我們可以直接調取管道模組，對我們的資料進行儲存。

一：windows下安裝

首先檢測系統是否已安裝,編輯程式碼：scrapy，顯示如圖一所示，證明已安裝

8778189-7df444b2d978c090.png
圖一

開始安裝scrapy

    1.pip install scrapy

    2.pip install pypiwin32   

二：linux 下安裝scrapy

pip install scrapy

三建立scrapy專案

1. scrapy startproject <project name>

2.scrapy genspider xx  xx.com


相關文章