DSS+Linkis Ansible 單機一鍵安裝指令碼

帝都攻城獅發表於2022-12-28
指令碼

DSS+Linkis Ansible 單機一鍵安裝指令碼

一、簡介

為解決繁瑣的部署流程，簡化安裝步驟，本指令碼提供一鍵安裝最新版本的DSS+Linkis環境；部署包中的軟體採用我自己編譯的安裝包，並且為最新版本：DSS1.1.1 + Linkis1.3.0。

1.1 版本介紹

以下版本及配置資訊可參考安裝程式hosts檔案中的[all:vars]欄位。

軟體名稱 軟體版本 應用路徑 測試/連線命令
MySQL mysql-5.6 /usr/local/mysql mysql -h 127.0.0.1 -uroot -p123456
JDK jdk1.8.0_171 /usr/local/java java -version
Python python 2.7.5 /usr/lib64/python2.7 python -V
Nginx nginx/1.20.1 /etc/nginx nginx -t
Hadoop hadoop-2.7.2 /opt/hadoop hdfs dfs -ls /
Hive hive-2.3.3 /opt/hive hive -e "show databases"
Spark spark-2.4.3 /opt/spark spark-sql -e "show databases"
dss dss-1.1.1 /home/hadoop/dss http://<伺服器IP>:8085
links linkis-1.3.0 /home/hadoop/linkis http://<伺服器IP>:8188
zookeeper 3.4.6 /usr/local/zookeeper 無
DolphinScheduler 1.3.9 /opt/dolphinscheduler http://<伺服器IP>:12345/dolphinscheduler
Visualis 1.0.0 /opt/visualis-server http://<伺服器IP>:9088
Qualitis 0.9.2 /opt/qualitis http://<伺服器IP>:8090
Streamis 0.2.0 /opt/streamis http://<伺服器IP>:9188
Sqoop 1.4.6 /opt/sqoop sqoop
Exchangis 1.0.0 /opt/exchangis http://<伺服器IP>:8028

二、部署前注意事項

要求：

  • 本指令碼僅在CentOS 7系統上測試過，請確保安裝的伺服器為CentOS 7。
  • 僅安裝DSS+Linkis伺服器記憶體至少16G，安裝全部服務記憶體至少32G。
  • 安裝前請關閉伺服器防火牆及SElinux，並使用root使用者進行操作。
  • 安裝伺服器必須通暢的訪問網際網路，指令碼需要yum下載一些基礎軟體。
  • 保證伺服器未安裝任何軟體，包括不限於java、mysql、nginx等，最好是全新系統。
  • 必須保證伺服器除lo:127.0.0.1迴環地址外，僅只有一個IP地址，可使用echo $(hostname -I)命令測試。

三、部署方法

本案例部署主機IP為192.168.1.52，以下步驟請按照自己實際情況更改。

3.1 安裝前設定

### 安裝ansible
$ yum -y install epel-release
$ yum -y install ansible

### 配置免密
$ ssh-keygen -t rsa
$ ssh-copy-id root@192.168.1.52

3.2 部署linkis+dss

### 獲取安裝包
$ git clone https://github.com/wubolive/dss-linkis-ansible.git
$ cd dss-linkis-ansible

### 目錄說明
dss-linkis-ansible
├── ansible.cfg    # ansible 配置檔案
├── hosts          # hosts主機及變數配置
├── playbooks      # playbooks劇本
├── README.md      # 說明文件
└── roles          # 角色配置

### 配置部署主機（注：ansible_ssh_host的值不能設定127.0.0.1）
$ vim hosts
[deploy]
dss-service ansible_ssh_host=192.168.1.52 ansible_ssh_port=22

### 一鍵安裝Linkis+DSS
$ ansible-playbook playbooks/all.yml
......
TASK [dss : 列印訪問資訊] *****************************************************************************************
ok: [dss-service] => {
    "msg": [
        "*****************************************************************", 
        "              訪問 http://192.168.1.52 檢視訪問資訊                 ", 
        "*****************************************************************"
    ]
}

執行結束後，即可訪問：http://192.168.1.52 檢視資訊頁面，上面記錄了所有服務的訪問地址及賬號密碼。

image

3.3 部署其它服務

# 安裝dolphinscheduler
$ ansible-playbook playbooks/dolphinscheduler.yml
### 注: 安裝以下服務必須優先安裝dolphinscheduler排程系統
# 安裝visualis
$ ansible-playbook playbooks/visualis.yml 
# 安裝qualitis
$ ansible-playbook playbooks/qualitis.yml
# 安裝streamis
$ ansible-playbook playbooks/streamis.yml
# 安裝exchangis
$ ansible-playbook playbooks/exchangis.yml

3.4 維護指南

### 檢視實時日誌
$ su - hadoop
$ tail -f ~/linkis/logs/*.log ~/dss/logs/*.log

### 啟動服務（如伺服器重啟可使用此命令一建啟動）
$ ansible-playbook playbooks/all.yml -t restart
# 啟動其它服務
$ su - hadoop
$ cd /opt/dolphinscheduler/bin &&  sh start-all.sh 
$ cd /opt/visualis-server/bin && sh start-visualis-server.sh
$ cd /opt/qualitis/bin/ && sh start.sh
$ cd /opt/streamis/streamis-server/bin/ && sh start-streamis-server.sh
$ cd /opt/exchangis/sbin/ && ./daemon.sh start server

相關文章