爬蟲管理平臺以及wordpress本地搭建

Xbhog發表於2020-08-13
爬蟲

學習目標：

  1. 各爬蟲管理平臺瞭解
    • scrapydweb
    • gerapy
    • crawlab
  2. 各爬蟲管理平臺的本地搭建
  3. Windows下的wordpress搭建

爬蟲管理平臺瞭解:

  1. scrapydweb：

    用於Scrapyd實施管理的web應用程式，支援Scrapy日誌分析和視覺化

github地址：https://github.com/my8100/scrapydweb.git

  2. gerapy：

    基於Scrapy，Scrapyd，Scrapyd-Client，Scrapyd-API，Django和Vue.js的分散式爬蟲管理框架

相關的配置在我之前部落格地址：https://www.cnblogs.com/xbhog/p/13336651.html

該專案github地址：https://github.com/Gerapy/Gerapy.git

  3. crawlab：

    基於Golang的分散式爬蟲管理平臺，支援多種程式語言以及多種爬蟲框架.

文件地址：https://docs.crawlab.cn/zh/

GitHub地址：https://github.com/crawlab-team/crawlab.git

注意：前兩個框架的搭建基於Scrapyd，如果不知道怎麼配置可以看我之前寫的部落格：www.cnblogs.com/xbhog/p/13336651.h...

爬蟲管理平臺的本地搭建：

  1. scrapydweb搭建：

    • 安裝：pip install scrapydweb -i pypi.doubanio.com/simple

    • 先開啟scrapyd（命令列輸入）

    • 再輸入scrapydweb

    • 介面效果：

    • 部署安裝網上教程很多，不多贅述

  2. gerapy

  3. crawlab：（配置安裝官方給的很詳細，這裡簡單說下）

    • 首先把程式碼從遠端倉庫clone下來：git clone 地址/複製地址到pycharm中

    • #官方推薦幾種安裝方式：
Docker（入門簡單，推薦）
Kubernetes（多機器部署，推薦）
直接部署（理解原理）
開發模式（開發除錯）
多節點部署
#個人選擇docker,該專案配置環境過多，怕給本地造成衝突

    • docker的安裝：

    • 安裝docker-compose包：pip install docker-compose

    • 在根目錄下測試：

      docker-compose ps
正常為空
Name   Command   State   Ports
------------------------------
--------------------------------

    • 安裝並啟動：docker-compose up -d

    • http://127.0.0.1:8080/#/login進入即可

Windows下的wordpress搭建：

環境準備：

  1. wampserver軟體
  2. wordpress原始碼
  3. 百度網盤地址：連結：pan.baidu.com/s/1mAFu8XrNSfpyL_VgS... 提取碼：1234

搭建步驟：

  1. 開啟wampserver.exe，預設安裝（注意在安裝路徑的時候不能有中文資料夾）

  2. 最後會有四個彈窗：

    • 是否更改瀏覽器，該軟體預設瀏覽器是explorer,我們點選是，選擇谷歌瀏覽器；

    • 選擇nodpad++，選擇否。

  3. 安裝完成後，點選桌面圖示執行，程式顏色表示狀態

    • 紅色：配置沒啟動
    • 橙色：配置啟動一部分
    • 綠色：配置完全啟動

  4. 綠色後，單機程式圖示，點選localhost進入網頁

  5. 將預先準備的wordpress安裝包放到wampserver/www資料夾下

  6. 進入網頁地址輸入：localhost/wordpress

    點選開始進入配置頁面：

  7. 上面配置先放置，我們先進行資料庫設定

    輸入使用者名稱root,密碼空，點選執行。

  8. 進入賬戶下的root，修改許可權，修改密碼

  9. 我們需要對應之前的資料庫名稱（wordpress）,所以新建資料庫

  10. 設定成功後返回之前的資料庫登入頁面，填寫相關資訊：

  11. 提交進入登陸介面配置：

  12. 填寫完成進入登陸介面

    ​

  13. 登陸：前後臺介面

本作品採用《CC 協議》，轉載必須註明作者和本文連結

相關文章