scrapy 框架新建一個 爬蟲專案詳細步驟

單遠濤發表於2018-06-09
框架爬蟲
利用scrapy框架新建一個爬蟲專案，完整步驟如下：

方式1：

  1. mkdir douban
    cd douban

  2. 建立虛擬環境命名為venv， 代替了virtualenv –no-site-pages +virtual_name

    python -m venv venv 第一個venv代表虛擬環境模組 第二個表示把虛擬環境建立在venv目錄下

  3. cd venv
    cd Scripts

  4. activate 啟動虛擬環境

  5. cd ../../ 回到我的使用者主目錄
    cd douban 進入豆瓣目錄

  6. python -m pip install -U pip 更新pip

  7. pip install C://Twisted-18.4.0-cp36-cp36m-win_amd64.whl 我都放在了安裝包下載路徑下了

  8. pip install pypiwin32 在安裝scrapy之前需要安裝這個包，要不然 安裝時會報錯， 這個在蘋果系統下就不會報錯

  9. pip install scrapy

  10. scrapy startproject douban . 新建專案douban, 加個逗號把專案建立在當前目錄下，如果不加，則會在當前目錄下，自動以專案的名稱建立一個目錄，目錄下才是專案

  11. scrapy genspider movie movie.douban.com 建立爬蟲，命名為movie ,並指定要爬取的基礎網站為movie.douban.com

doskey /history windows中顯示歷史命令

方式2：

  1. 直接使用pycharm新建一個名為douban的工程
  2. 選擇建立虛擬環境 路徑為這個工程下的venv
  3. 在終端中進行操作，等於省去上面的建立虛擬環境的步驟了，
  4. 直接在終端中，從上面的第6步開始操作

相關文章