CentOS部署pyspider

WindSpirit發表於2018-08-06
CentOSIDE

0x00 環境

阿里雲ECS雲伺服器

CPU：1核

記憶體：2G

作業系統：Centos 7.3 x64

地域：華北 2（華北 2 可用區 A）

系統盤：40G

0x01 安裝依賴

yum install gcc gcc-c++ python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

0x02 升級 pip

pip install --upgrade pip

0x03 用 pip 安裝 pyspider

pip install pyspider

0x04 安裝 mysql

mysql安裝及配置過程可以檢視
nginx + php + mysql + wordpress 搭建簡單站點 安裝及配置過程

0x05 安裝 redis 並啟動

yum install redis
pip install redis
systemctl start redis

0x06 安裝 mysql-connector

pip install mysql-connector

0x07 編輯 pyspider 配置檔案

vim /etc/pyspider/pyspider.conf.json

內容如下

其中mysqlUser為mysql使用者名稱，mysqlPasswd為mysql密碼，webuiUser為登入控制檯的使用者名稱，webuiPasswd為登陸控制檯的密碼

{
  "taskdb": "mysql+taskdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/taskdb",
  "projectdb": "mysql+projectdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/projectdb",
  "resultdb": "mysql+resultdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/resultdb",
  "message_queue": "redis://127.0.0.1:6379/db",
  "webui": {
    "username": "webuiuser",
    "password": "webuipasswd",
    "need-auth": true
  }
}

0x08 啟動 pysqpider

pyspider -c /etc/pyspider/pyspider.conf.json

後臺執行

nohup pyspider -c /etc/pyspider/pyspider.conf.json &

也可以將以上命令寫進bashrc裡，直接使用pyspider命令在後臺啟動

vim .bashrc

新增如下內容

alias pyspider = 'nohup pyspider -c /etc/pyspider/pyspider.conf.json &'

0x09 訪問控制檯

地址:5000

相關文章