DolphinScheduler快速上手：基於Docker Compose的安裝與配置全攻略

海豚调度發表於2024-10-15
Docker

DolphinScheduler 是一款強大的開源分散式任務排程系統，廣泛應用於大資料領域，用於管理複雜的工作流。本文將詳細介紹如何透過 Docker Compose 安裝和配置 DolphinScheduler，以便快速搭建並使用這一系統。

1. 環境準備

首先，確保你的系統已經安裝了 Docker 和 Docker Compose。Docker 是一個開源容器化平臺，允許開發者將應用程式及其依賴打包到容器中執行，具有高度的可移植性和一致性。Docker Compose 則是一款用於定義和管理多容器應用的工具，透過一個 YAML 檔案來配置應用的服務，並透過一條命令啟動或停止這些服務。

1.1 Docker 和 Docker Compose 安裝驗證

可以透過以下命令檢查 Docker 和 Docker Compose 是否已正確安裝：

docker --version
docker-compose --version

如果你看到了相應的版本資訊，說明安裝已經成功。

2. 獲取 DolphinScheduler Docker Compose 配置檔案

在安裝和執行 DolphinScheduler 之前，我們需要獲取其 Docker Compose 配置檔案。該檔案定義了 DolphinScheduler 及其依賴服務的執行環境。你可以透過以下步驟獲取配置檔案：

2.1 克隆 DolphinScheduler 專案

首先，使用 Git 克隆 DolphinScheduler 的官方倉庫：

git clone https://github.com/apache/dolphinscheduler.git

這會將 DolphinScheduler 專案下載到你的本地機器。接著，進入專案目錄：

cd dolphinscheduler/docker

在這個目錄下，你會找到一個名為 docker-compose.yml 的檔案，這個檔案是 Docker Compose 的核心配置檔案。

3. 配置 Docker Compose 檔案

在 docker-compose.yml 檔案中，已經定義了 DolphinScheduler 執行所需的各項服務，包括 MySQL 資料庫、ZooKeeper 叢集、DolphinScheduler 的 Master 和 Worker 節點等。你可以根據需要修改這個檔案來調整各服務的配置。

3.1 Docker Compose 檔案說明

docker-compose.yml 檔案的大致結構如下：

version: '3.1'
services:
  zookeeper:
    image: zookeeper:3.5.6
    ports:
      - "2181:2181"
  mysql:
    image: mysql:5.7
    environment:
      MYSQL_ROOT_PASSWORD: root
      MYSQL_DATABASE: dolphinscheduler
    ports:
      - "3306:3306"
  dolphinscheduler-master:
    image: apache/dolphinscheduler:latest
    depends_on:
      - mysql
      - zookeeper
    ports:
      - "12345:12345"
    environment:
      - DOLPHINSCHEDULER_OPTS="-Xms512m -Xmx512m"
  dolphinscheduler-worker:
    image: apache/dolphinscheduler:latest
    depends_on:
      - dolphinscheduler-master
    environment:
      - DOLPHINSCHEDULER_OPTS="-Xms512m -Xmx512m"

在這個配置檔案中：

  • zookeeper：負責叢集的協調和服務發現。
  • mysql：用於儲存 DolphinScheduler 的後設資料。
  • dolphinscheduler-master：主節點，負責排程和管理任務。
  • dolphinscheduler-worker：工作節點，實際執行任務。

4. 啟動 DolphinScheduler

確認 docker-compose.yml 檔案配置無誤後，可以使用 Docker Compose 啟動 DolphinScheduler：

docker-compose up -d

該命令將以後臺模式啟動所有定義在 docker-compose.yml 檔案中的服務。你可以透過以下命令檢視服務的執行狀態：

docker-compose ps

如果所有服務均顯示為 Up 狀態，說明 DolphinScheduler 已經成功啟動。

5. 配置 DolphinScheduler

5.1 初始配置

啟動成功後，可以透過瀏覽器訪問 DolphinScheduler 的 Web UI。預設情況下，訪問地址為：

http://localhost:12345

在登入介面中，使用預設的管理員賬戶 admin 和密碼 admin 登入。登入後，你可以修改預設密碼，以增強系統的安全性。

5.2 建立專案與任務

在 Web UI 中，你可以建立專案並定義任務。DolphinScheduler 支援多種型別的任務，如 Shell、Python、SQL 等，可以透過拖拽的方式建立任務流，並設定任務之間的依賴關係。

5.3 系統監控與日誌管理

DolphinScheduler 提供了豐富的監控與日誌功能，使用者可以在 Web 介面上檢視任務的執行情況，實時監控叢集的狀態，並查閱任務執行的詳細日誌。這對於除錯和最佳化工作流非常有幫助。

6. 常見問題與解決方案

在使用過程中，你可能會遇到一些問題，下面列出了一些常見問題及其解決方案。

6.1 服務啟動失敗

如果服務未能正常啟動，可以透過以下命令檢視服務日誌，定位問題：

docker-compose logs <service_name>

例如：

docker-compose logs dolphinscheduler-master

日誌資訊可以幫助你排查錯誤，例如資料庫連線失敗、埠衝突等問題。

6.2 資料庫連線問題

如果在啟動時出現資料庫連線失敗的問題，可能是因為 MySQL 服務未能及時啟動。在這種情況下，可以嘗試手動重啟 DolphinScheduler：

docker-compose restart dolphinscheduler-master dolphinscheduler-worker

7. DolphinScheduler 的優勢與應用場景

DolphinScheduler 在大資料處理和 ETL 任務排程方面表現出色，以下是其主要優勢：

  • 視覺化操作介面：透過圖形化介面，使用者可以方便地管理和監控任務，降低了使用門檻。
  • 靈活的任務依賴管理：支援複雜的任務依賴關係定義，使得任務排程更加靈活和高效。
  • 高擴充套件性與高可用性：支援分散式部署，適用於大規模資料處理場景。

8. 總結

透過以上步驟，你已經成功地使用 Docker Compose 安裝並配置了 DolphinScheduler。該系統的強大功能和靈活配置使得它在分散式任務排程中得到了廣泛應用。無論是在企業級大資料處理還是中小型資料整合專案中，DolphinScheduler 都是一個值得信賴的選擇。

如果在實際使用中遇到問題，可以參考 DolphinScheduler 的官方文件或社群資源，獲得更詳細的技術支援。透過持續學習和探索，你將能夠充分發揮 DolphinScheduler 的潛力，為你的工作流管理帶來巨大提升。

本文由 白鯨開源 提供釋出支援！

相關文章