Apache DolphinScheduler-3.2.0叢集部署教程

海豚调度發表於2024-03-11

叢集部署方案(2 Master + 3 Worker)

Apache DolphinScheduler官網：https://dolphinscheduler.apache.org/zh-cn
Apache DolphinScheduler使用文件：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0
截止2024-01-19，最新版本：3.2.0
部署版本：apache-dolphinscheduler-3.2.0-bin.tar.gz

主機名	ip	部署服務
hadoop31	192.168.0.31	MasterServer、WorkerServer、ApiServer
hadoop32	192.168.0.32	MasterServer、WorkerServer
hadoop33	192.168.0.33	WorkerServer、AlertServer

前置準備工作

作業系統：Linux CentOS 7.9 【CPU 4核+ 記憶體8G+】
JDK：下載JDK（1.8+），安裝並配置 JAVA_HOME 環境變數，並將其下的 bin 目錄追加到 PATH 環境變數中。
資料庫：MySQL（5.7+）或者 PostgreSQL（8.2.15+），兩者任選其一即可，如 MySQL 則需要JDBC Driver 8.0.16 版本。【此處使用MySQL 8.2.0，驅動使用的是：mysql-connector-j-8.2.0.jar】
註冊中心：Zookeeper（3.8.0+），叢集模式，【此處使用 3.8.3 版本】
二進位制包：下載地址 https://www.apache.org/dyn/closer.lua/dolphinscheduler/3.2.0/apache-dolphinscheduler-3.2.0-bin.tar.gz
注意：Apache DolphinScheduler 本身不依賴 Hadoop、Hive、Spark，但如果你執行的任務需要依賴他們，就需要有對應的環境支援。

埠說明

元件	預設埠	說明
MasterServer	5678	非通訊埠，只需本機埠不衝突即可
WorkerServer	1234	非通訊埠，只需本機埠不衝突即可
ApiApplicationServer	12345	提供後端通訊埠

叢集部署

時間同步

服務端：192.168.0.31 客戶端：192.168.0.32、192.168.0.33，服務端在31執行，客戶端在32、33執行

# 服務端和客戶端，安裝chrony
yum install chrony -y

# 服務端和客戶端，安裝chrony
yum install chrony -y

# 服務端（此處也可以使用 ntp.aliyun.com 來代替 192.168.0.31，使用阿里雲時間服務，如果使用31則是本機時間）
cat > /etc/chrony.conf << EOF 
pool 192.168.0.31 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
allow 192.168.0.0/24
local stratum 10
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

# 客戶端
cat > /etc/chrony.conf << EOF 
pool 192.168.0.31 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

# 客服端和服務端，重啟chrony，開機自啟動
systemctl restart chronyd
systemctl enable chronyd

#客戶端進行驗證
chronyc sources -v

# 引數解釋
#
# pool ntp.aliyun.com iburst
# 指定使用ntp.aliyun.com作為時間伺服器池，iburst選項表示在初始同步時會傳送多個請求以加快同步速度。
# 
# driftfile /var/lib/chrony/drift
# 指定用於儲存時鐘漂移資訊的檔案路徑。
# 
# makestep 1.0 3
# 設定當系統時間與伺服器時間偏差大於1秒時，會以1秒的步長進行調整。如果偏差超過3秒，則立即進行時間調整。
# 
# rtcsync
# 啟用硬體時鐘同步功能，可以提高時鐘的準確性。
# 
# allow 192.168.0.0/24
# 允許192.168.0.0/24網段範圍內的主機與chrony進行時間同步。
# 
# local stratum 10
# 將本地時鐘設為stratum 10，stratum值表示時鐘的準確度，值越小表示準確度越高。
# 
# keyfile /etc/chrony.keys
# 指定使用的金鑰檔案路徑，用於對時間同步進行身份驗證。
# 
# leapsectz right/UTC
# 指定時區為UTC。
# 
# logdir /var/log/chrony
# 指定日誌檔案存放目錄。

配置使用者、許可權

# 建立使用者需使用 root 登入
useradd dolphinscheduler

# 新增密碼
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目錄許可權，使得部署使用者對二進位制包解壓後的 apache-dolphinscheduler-*-bin 目錄有操作許可權
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin

配置叢集免密登陸

# 使用建立的 dolphinscheduler 登陸，配置hadoop31到hadoop32、hadoop33免密登陸
su dolphinscheduler

# hadoop31節點，生成金鑰
ssh-keygen -t rsa

# hadoop31節點操作，配置向hadoop31、hadoop32、hadoop33節點免密
ssh-copy-id hadoop31
ssh-copy-id hadoop32
ssh-copy-id hadoop33

ZooKeeper叢集啟動

叢集安裝，參考教程：ZooKeeper叢集的安裝，本文安裝 ZK 版本為 3.8.3。參考教程中是 3.4.14，安裝步驟都是一樣兒的，對應著來就可以了。

# 啟動zk叢集
bin/zkServer.sh start

初始化資料庫

此處以 MySQL 為例

建立資料庫、使用者、授權

-- 進入MySQL命令列
[root@hadoop01]# mysql -u root -p 
Enter password: xxxxxx
-- 建立 dolphinscheduler 資料庫使用者和密碼，並限定登陸範圍
mysql > CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
-- 建立 dolphinscheduler 的後設資料，並指定編碼
mysql > CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
-- 為dolphinscheduler資料庫授權
mysql > grant all privileges on dolphinscheduler.* to 'dolphinscheduler'@'%';
-- 重新整理許可權
mysql > flush privileges;

解壓縮安裝包

# 將apache-dolphinscheduler-3.2.0-bin.tar.gz上傳至/opt/targz目錄下

# 解壓
[root@hadoop31 targz]# tar zxvf ./apache-dolphinscheduler-3.2.0-bin.tar.gz

# 修改目錄許可權，使得部署使用者對解壓縮後的檔案有操作許可權
[root@hadoop31 targz]# chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-3.2.0-bin

新增MySQL驅動至libs目錄

此處使用 MySQL 8.2.0版本，對應使用 JDBC 驅動為 mysql-connector-j-8.2.0.jar，將該驅動移動至 DolphinScheduler 的每個模組下的 libs 目錄下。共5個目錄：

api-server/libs
alert-server/libs
master-server/libs
worker-server/libs
tools/libs

配置檔案修改

dolphinscheduler_env.sh 配置

# 修改dolphinscheduler_env.sh
vim apache-dolphinscheduler-3.2.0-bin/bin/env/dolphinscheduler_env.sh

# 在文末新增以下配置：
# JAVA_HOME, will use it to start DolphinScheduler server
# JDK配置
export JAVA_HOME=${JAVA_HOME:-/opt/soft/jdk8}

# Database related configuration, set database type, username and password
# MySQL資料庫配置
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://192.168.17.28:3307/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"dolphinscheduler"}
export SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-"dolphinscheduler"}

# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}

# Registry center configuration, determines the type and link of the registry center
# zk註冊中心
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-hadoop31:2181,hadoop32:2181,hadoop33:2181}

# Tasks related configurations, need to change the configuration if you use the related tasks.
# 其他環境配置(此處只配置了hadoop、hive，其他環境未部署)
# 如果你不使用某些任務型別，可以忽略不做配置，使用預設即可。比如Flink不使用，不做處理即可
export HADOOP_HOME=${HADOOP_HOME:-/opt/soft/hadoop-3.3.6}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop-3.3.6/etc/hadoop}
export SPARK_HOME=${SPARK_HOME:-/opt/soft/spark}
export PYTHON_LAUNCHER=${PYTHON_LAUNCHER:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/opt/soft/hive-3.1.3}
export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
export DATAX_LAUNCHER=${DATAX_LAUNCHER:-/opt/soft/datax/bin/python3}

export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_LAUNCHER:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_LAUNCHER:$PATH

install_env.sh檔案修改

# 修改install_env.sh
vim apache-dolphinscheduler-3.2.0-bin/bin/env/install_env.sh

# 按照叢集部署方案，內容如下：

# 叢集節點
ips=${ips:-"hadoop31,hadoop32,hadoop33"}

# ssh免密埠,使用預設
sshPort=${sshPort:-"22"}

# master節點
masters=${masters:-"hadoop31,hadoop32"}

# worker節點
workers=${workers:-"hadoop31:default,hadoop32:default,hadoop33:default"}

# alert節點
alertServer=${alertServer:-"hadoop33"}

# api節點
apiServers=${apiServers:-"hadoop31"}

# dolphinscheduler實際安裝路徑
installPath=${installPath:-"/opt/soft/dolphinscheduler-3.2.0"}

# 部署dolphinscheduler使用的使用者名稱
deployUser=${deployUser:-"dolphinscheduler"}

# zk根節點
zkRoot=${zkRoot:-"/dolphinscheduler"}

初始化後設資料

# 切換到apache-dolphinscheduler-3.2.0-bin目錄下，執行命令
[root@hadoop31 apache-dolphinscheduler-3.2.0-bin]# sh ./tools/bin/upgrade-schema.sh

# 此操作，會向MySQL資料庫寫入後設資料，共計65張表，如圖所示：

file

安裝Apache DolphinScheduler

# 執行install.sh部署命令
[root@hadoop31 apache-dolphinscheduler-3.2.0-bin]# ./bin/install.sh 

# 當看到下圖時，說明 DS 安裝完成

file

提示：

安裝完成後，此時安裝用到的 apache-dolphinscheduler-3.2.0-bin 檔案就沒用了。

此時，已經將 Apache DolphinScheduler 安裝到配置中指定的 /opt/soft/dolphinscheduler-3.2.0 目錄下了

登入Apache DolphinScheduler 控制檯

訪問地址：http://192.168.0.31:12345/dolphinscheduler/ui/

使用者名稱：admin

密碼：dolphinscheduler123

file

檢視監控中心Master/Worker節點資訊

1.Master節點

file

2.Worker節點

file

啟動/停止服務命令

第一次安裝後，會自動啟動所有服務。如有服務問題或者後續需要啟停，命令如下。以下指令碼都在 DolphinScheduler安裝目錄的bin下

# 一鍵停止叢集所有服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/stop-all.sh

# 一鍵啟動叢集所有服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/start-all.sh

# 啟/停 master 服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start master-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop master-server 

# 啟/停 worker 服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start worker-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop worker-server 

# 啟/停 api 服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start api-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop api-server 

# 啟/停 alert 服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start alert-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop alert-server

本文結束，謝謝!

本文由白鯨開源提供釋出支援！

Apache SeaTunnel k8s 叢集模式 Zeta 引擎部署指南
2024-04-30
ApacheK8S模式
部署分片叢集
2024-07-08
Apache Kafka – 叢集架構
2024-03-27
ApacheKafka架構
docker部署mysql叢集
2021-07-30
DockerMySql
Docker部署ElasticSearch叢集
2021-01-18
DockerElasticsearch
Redis 4.0叢集環境部署
2018-06-11
Redis
如何部署hadoop叢集
2013-10-29
Hadoop
Redis Cluster叢集模式部署
2024-06-16
Redis模式
redis叢集之主從複製叢集的原理和部署
2022-11-29
Redis
CentOS部署ElasticSearch7.6.1叢集
2020-03-27
CentOSElasticsearch
使用docker部署hadoop叢集
2020-09-04
DockerHadoop
二、Linux部署RabbitMQ叢集
2021-11-12
LinuxMQ
Windows Server上部署IoTdb 叢集
2023-01-19
WindowsServer
Docker叢集輕鬆部署ApacheStorm
2016-05-18
DockerApacheORM
redis叢集之分片叢集的原理和常用代理環境部署
2022-12-01
Redis
Apache2.4+Tomcat7叢集搭建
2017-04-24
ApacheTomcat
Apache實現weblogic叢集配置（轉）
2012-05-10
ApacheWeb
Docker Swarm 叢集搭建教程
2019-06-29
DockerSwarm
Docker swarm叢集搭建教程
2019-01-08
DockerSwarm
基於Ubuntu部署企業級kubernetes叢集---k8s叢集容部署
2024-08-29
UbuntuK8S
Redis-cluster叢集搭建部署
2020-12-20
Redis
部署Spark2.2叢集(on Yarn模式)
2022-08-16
SparkYarn模式
部署spark2.2叢集(standalone模式)
2022-08-08
Spark模式
Hadoop2.7.2叢集的部署
2016-09-01
Hadoop
Rabbitmq叢集高可用部署詳細
2017-03-11
MQ
docker 下部署mongodb Replica Set 叢集
2018-05-09
DockerMongoDB
TDengine 叢集多機器docker 部署
2024-04-28
Docker
KubeSphere 部署 Kafka 叢集實戰指南
2024-08-09
Kafka
apache tomcat叢集配置和負載均衡
2011-05-30
ApacheTomcat負載
Jstorm叢集搭建過程/Jstorm叢集一鍵安裝部署
2016-05-31
JSORM
部署rabbitMQ映象叢集實戰測試
2020-06-29
MQ
Hadoop的叢集環境部署說明
2018-10-12
Hadoop
RabbitMQ系列（五）使用Docker部署RabbitMQ叢集
2018-07-24
MQDocker
kubeadm部署K8S叢集
2021-01-18
K8S
在 AWS EKS 上部署 EMQX MQTT 叢集
2022-10-21
MQQT
Linux部署hadoop2.7.7叢集
2022-08-15
LinuxHadoop
樹莓派部署Elasticsearch6叢集
2022-09-12
樹莓派Elasticsearch
nsq 部署 / 投遞 / 消費 / 叢集示例
2022-03-08

Apache DolphinScheduler-3.2.0叢集部署教程

叢集部署方案(2 Master + 3 Worker)

前置準備工作

叢集部署

初始化資料庫

建立資料庫、使用者、授權

配置檔案修改

dolphinscheduler_env.sh 配置

安裝Apache DolphinScheduler

登入Apache DolphinScheduler 控制檯

檢視監控中心Master/Worker節點資訊

2.Worker節點

啟動/停止服務命令

相關文章