Scrapy建立爬蟲專案

納爾遜皮卡丘發表於2017-10-10

1.開啟cmd命令列工具,輸入scrapy startproject 專案名稱


2.使用pycharm開啟專案,檢視專案目錄


3.建立爬蟲,開啟CMDcd命令進入到爬蟲專案資料夾,輸入scrapy genspider 爬蟲檔名 爬蟲基礎域名


4.開啟pycharm,發現spider目錄下多出一個bole.py檔案


5.執行爬蟲


6.將爬蟲拿到的資料儲存為json格式資料

Scrapy crawl bole -o XXX.json




相關文章