Scrapy建立爬蟲專案

納爾遜皮卡丘發表於2017-10-10
原文網址 : https://blog.csdn.net/zhaobig/article/details/78197049
爬蟲

1.開啟cmd命令列工具，輸入scrapy startproject 專案名稱


2.使用pycharm開啟專案，檢視專案目錄


3.建立爬蟲，開啟CMD，cd命令進入到爬蟲專案資料夾，輸入scrapy genspider 爬蟲檔名 爬蟲基礎域名


4.開啟pycharm，發現spider目錄下多出一個bole.py檔案


5.執行爬蟲


6.將爬蟲拿到的資料儲存為json格式資料

Scrapy crawl bole -o XXX.json

相關文章