scrapy 框架新建一個 爬蟲專案詳細步驟

利用scrapy框架新建一個爬蟲專案，完整步驟如下：

---

---

方式1：

1. mkdir douban
   cd douban

2. 建立虛擬環境命名為venv， 代替了virtualenv –no-site-pages +virtual_name

   python -m venv venv 第一個venv代表虛擬環境模組 第二個表示把虛擬環境建立在venv目錄下

3. cd venv
   cd Scripts

4. activate 啟動虛擬環境

5. cd ../../ 回到我的使用者主目錄
   cd douban 進入豆瓣目錄

6. python -m pip install -U pip 更新pip

7. pip install C://Twisted-18.4.0-cp36-cp36m-win_amd64.whl 我都放在了安裝包下載路徑下了

8. pip install pypiwin32 在安裝scrapy之前需要安裝這個包，要不然 安裝時會報錯， 這個在蘋果系統下就不會報錯

9. pip install scrapy

10. scrapy startproject douban . 新建專案douban, 加個逗號把專案建立在當前目錄下，如果不加，則會在當前目錄下，自動以專案的名稱建立一個目錄，目錄下才是專案

11. scrapy genspider movie movie.douban.com 建立爬蟲，命名為movie ,並指定要爬取的基礎網站為movie.douban.com

doskey /history windows中顯示歷史命令

---

---

方式2：

1. 直接使用pycharm新建一個名為douban的工程
2. 選擇建立虛擬環境 路徑為這個工程下的venv
3. 在終端中進行操作，等於省去上面的建立虛擬環境的步驟了，
4. 直接在終端中，從上面的第6步開始操作