一款分散式爬蟲管理平臺，支援多種語言和框架

Java陈序员發表於2024-06-27
分散式爬蟲框架

大家好，我是 Java陳序員。

今天，給大家介紹一個分散式的爬蟲平臺，支援多種程式語言、框架！

關注微信公眾號：【Java陳序員】，獲取開源專案分享、AI副業分享、超200本經典計算機電子書籍等。

專案介紹

Crawlab —— 一個基於 Golang 的分散式爬蟲管理平臺，支援Python、NodeJS、Go、Java、PHP 等多種程式語言以及多種爬蟲框架。

主要功能：

專案截圖

登入頁

主頁

節點

專案

爬蟲

任務

外掛

快速上手

最快安裝 Crawlab 的方式是 Docker.推薦使用 Docker Compose.

1、建立配置檔案並命名為 docker-compose.yml

version: '3.3'
services:
  master:
    image: crawlabteam/crawlab
    container_name: crawlab_master
    environment:
      CRAWLAB_NODE_MASTER: "Y"
      CRAWLAB_MONGO_HOST: "mongo"
    ports:
      - "8080:8080"
    depends_on:
      - mongo
  mongo:
    image: mongo:4.2

2、一鍵啟動 Crawlab

docker-compose up -d

3、瀏覽器訪問

http://IP:8080

這是最小化配置的 Crawlab,支援體驗大多數功能，但是不建議在生產環境中配置，生產環境部署 Crawlab 可參考官方文件。

Crawlab 適用於網路爬蟲工程師、運維工程師、資料分析師等，是一款功能強大的爬蟲平臺！更多的使用功能，可自行部署體驗~

專案地址：https://github.com/crawlab-team/crawlab
線上體驗：https://demo.crawlab.cn/#/home
線上文件：https://docs.crawlab.cn/zh/guide/

最後

推薦的開源專案已經收錄到 GitHub 專案，歡迎 Star：

https://github.com/chenyl8848/great-open-source-project

或者訪問網站，進行線上瀏覽：

https://chencoding.top:8090/#/

大家的點贊、收藏和評論都是對作者的支援，如文章對你有幫助還請點贊轉發支援下，謝謝！

相關文章