scrapyd+gerapy的專案部署

xbhog發表於2020-07-18

scrapyd+gerapy的專案部署：

簡單學習，後續跟進完善

宣告：

　　　1）僅作為個人學習，如有冒犯，告知速刪！
　　　2）不想誤導，如有錯誤，不吝指教！

環境配置：

scrapyd下載：

　　pip install scrapyd -i https://pypi.com/simple

scrapyd部署：

　　scrapyd-deploy -p 專案名

注意：需要切換到專案的根目錄下執行

 

scrapyd遇到的問題：

  1. 'scrapyd-deploy' 不是內部或外部命令，也不是可執行的程式,

  2. 解決方法：

    1. 找到scrapyd-deploy檔案（Scripts資料夾下），這裡每個人配置的pip安裝路徑不同 ；

    2. 然後在這個資料夾內建立兩個檔案，scrapy.bat 和 scrapyd-deploy.bat （新建 txt 文字文件，然後更改字尾名為 .bat）

    3. 編輯scrapyd-deloy.bat：

       @echo off
       #python.exe路徑 scrapyd-deploy路徑
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe    C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd-deploy %*
       ​

    4. scrapy.bat編輯：

       @echo off
       #python.exe路徑 scrapyd路徑
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd %*

      注意：上面路徑沒有分行，兩個路徑之間有空格!

    5. 儲存，新起cmd，執行scrapyd-deploy -h,出現以下資訊即成功：

       1  Usage: scrapyd-deploy [options] [ [target] | -l | -L <target> ]
 2  ​
 3  Deploy Scrapy project to Scrapyd server
 4  ​
 5  Options:
 6    -h, --help            show this help message and exit
 7    -p PROJECT, --project=PROJECT
 8                          the project name in the target
 9    -v VERSION, --version=VERSION
10                          the version to deploy. Defaults to current timestamp
11    -l, --list-targets    list available targets
12    -a, --deploy-all-targets
13                          deploy all targets
14    -d, --debug           debug mode (do not remove build dir)
15    -L TARGET, --list-projects=TARGET
16                          list available projects on TARGET
17    --egg=FILE            use the given egg, instead of building it
18    --build-egg=FILE      only build the egg, don't deploy it

       

  3. 執行部署命令後報錯：

    1  C:\Users\Administrator\PycharmProjects\code\xbhog>scrapyd-deploy -p xbhog
2  Packing version 1595062659
3  Deploying to project "xbhog" in http://localhost:6800/addversion.json
4  Deploy failed: <urlopen error [WinError 10061] 由於目標計算機積極拒絕，無法連線。>
5  C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe: can't open file 'C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd': [Errno 2] No such file or directory

     

  4. 解決方法：

    1. 先在一個cmd視窗執行scrapyd

    2. 然後再用另一個cmd視窗部署專案

 

gerapy安裝以及使用：

　　pip install gerapy -i https://pypi.com/simple
使用：

  • 1.在本地建立空資料夾

  • 2.進入資料夾，建立專案（gerapy init）

  • 3.進入生成的gerapy檔案中

  • 4.對資料庫進行初始化（gerapy migrate）

  • 5.建立超級管理員（gerapy initadmin）---賬號密碼：admin

  • 6.執行：gerapy runserver

 

scrapyd+gerapy搭配使用的效果圖：

scrapyd+gerapy的專案部署

scrapyd+gerapy的專案部署

 

相關文章