openGauss DBMind自治運維繫統的安裝和部署

本文將詳細描述如何安裝部署openGauss DBMind自治運維平臺。

假設在主控節點192.168.100.4上部署DBMind，有一套埠號為19999的叢集環境，環境資訊如下：

假設需要在test_user使用者下安裝，需要在這4個節點上建立好使用者，可以使用如下命令，建立使用者並指定登入目錄。

useradd -m test_user -d /home/test_user

安裝之前需要修改相關檔案的許可權，並使用su - test_user命令切換到目標使用者空間下安裝。test_user使用者要能夠使用cm_ctl命令，否則會導致cmd_exporter獲取不到資料庫節點的資訊。

安裝和部署過程中需要用到的安裝包和下載地址如下，使用者根據自己的伺服器架構進行選擇：

如果需要其他版本或架構的安裝包，使用者可以到prometheus官網進行下載。可以使用uanme -m命令檢視伺服器架構。

• username：dbmind_monitor

• password：test_123

• port：6789

• metadatabase：metadatabase

omm登入主節點，併為資料庫節點和DBMind伺服器資料庫建立dbmind_monitor使用者：

gs_guc reload -D datanode -c 'password_encryption_type=1'  gsql -p {port} -d postgres -c 'create user {username:dbmind_monitor} with password {password:test_123} ;'  gsql -p {port} -d postgres -c 'alter user {username:dbmind_monitor} monadmin; '  gs_guc reload -D datanode -c 'password_encryption_type=2'  # 可選，將該引數改回去

gs_guc reload -D datanode -c 'password_encryption_type=1'  gsql -p {port} -d postgres -c 'create user dbmind_monitor with password test_123;'  gsql -p {port} -d postgres -c 'alter user dbmind_monitor monadmin;'  gs_guc reload -D datanode -c 'password_encryption_type=2'  # 可選，將該引數改回去

DBMind伺服器，建立後設資料庫：

grant all privileges to {username:dbmind_monitor};  \c postgres {username:dbmind_monitor};          create database {metadatabase:metadatabase};

建立完成後，使用者可透過命令gsql -d postgres -p 6789 -r -U dbmind_monitor -W test_123登入到資料庫上，並輸入\l命令檢視後設資料庫metadatabase是否存在。

DBMind會定期在openGauss-DBMind專案的release頁面釋出DBMind的安裝包，可以透過下載該DBMind安裝包進行安裝部署。

將安裝包dbmind-install-x86_64-python3.10.sh.tar.gz放到主控節點test_user使用者空間下並切換到使用者空間後，執行下述命令完成安裝：

1. 解壓：

tar zxvf dbmind-install-x86_64-python3.10.sh.tar.gz

sh dbmind-install-x86_64-python3.10.sh

source ~/.bashrc

gs_dbmind --help

DBMind有兩種部署方式，分別為手動部署和自動部署，推薦使用自動部署的方式，其會自動將prometheus、node_exporter、opengauss_exporter、cmd_expoter和reprocessingexporter元件安裝到指定的節點。

自動部署會根據配置檔案中的資訊自動執行部署，所以需要先將配置檔案openGauss-DBMind/dbmind/components/deployment/deploy.conf配置好。可以手動將檔案配置好，也可以使用互動式配置。推薦使用手動配置的方式。

使用手動配置的方式，需要提前將例項資訊和引數填入openGauss-DBMind/dbmind/components/deployment/deploy.conf配置檔案。

假設在test_user使用者空間下進行安裝，即host_username=test_user，deploy.conf配置檔案資訊如下：

[DOWNLAODING]

host = 

node_exporter = node_exporter-1.5.0.linux-amd64

prometheus = prometheus-2.42.0.linux-amd64node_exporter_sha256 = af999fd31ab54ed3a34b9f0b10c28e9acee9ef5ac5a5d5edfdde85437db7acdb

prometheus_sha256 = 422dab055ed9c7bcaff52b71805f9192c6fac0de6b7e78dd278e70ee2663dcc





[PROMETHEUS]

host = 192.168.100.4

ssh_port = 22

host_username = test_userpath = /home/test_user/prometheus # 使用者可以指定其他的安裝路徑

listen_address = 192.168.100.4

prometheus_port = 9090

reprocessing_exporter_port = 8181





[EXPORTERS]

targets = 192.168.100.1:19999/postgres,192.168.100.2:19999/postgres,192.168.100.3:19999/postgres

ssh_port = 22host_username = test_userpath = /home/test_user/node_exporter # 使用者可以指定其他的安裝路徑

database_username = dbmind_monitor

listen_address = 192.168.100.4

opengauss_ports_range = 9187-9197

node_exporter_port = 9100

cmd_exporter_port = 9180





[SSL]

enable_ssl = False# 

該模組其他內容不用修改，內容略

可以使用sha256sum命令生成檔案的sha256校驗碼，如下所示：

sha256sum prometheus-2.43.0.linux-amd64.tar.gz

然後切換到openGauss-DBMind目錄下，執行如下命令：

gs_dbmind component deployment --offline -c dbmind/components/deployment/deploy.conf

最後執行如下命令，會自動啟動DBMind的各exporter元件和prometheus。如果各元件都正常啟動，則可以執行啟動DBMind步驟。

gs_dbmind component deployment --run

• 需要提前將prometheus和node_exporter兩個安裝包放置在使用者根目錄的downloads資料夾下，並修改屬主為test_user使用者。

• 配置檔案中[DOWNLOADING]模組的安裝包名字不帶.tar.gz字尾。

gs_dbmind component deployment --offline

使用手動部署的方式，需要使用者手動安裝prometheus和相關的exporter元件，先做如下的規劃配置：

1. 解壓安裝包：

tar zxvf node_exporter-1.5.0.linux-amd64.tar.gzcd node_exporter-1.5.0.linux-amd64

2.啟動 預設埠號為9100：

./node_exporter > node_exporter.log 2>&1 &

./node_exporter --web.listen-address=:9101 > node_exporter.log 2>&1 &

輸入上述命令後，如果顯示[1]+ Exit字元表示node_exporter安裝失敗，可以透過node_exporter.log日誌檢視原因。

cmdexporter元件需要透過dbmind安裝，所以需要先在一個備節點上安裝dbmind，安裝完之後，再透過gs_dbmind的component子命令安裝cmd_exporter，如下所示。

gs_dbmind component cmd_exporter --web.listen-address 0.0.0.0 --web.listen-port 9180 --disable-https

執行完上述命令，如果控制檯顯示The process is starting，說明安裝無異常。

使用者可以透過遠端部署的方式在主控節點上執行下述命令，從而將opengauss_exporter安裝到對應的資料庫節點上，opengauss_exporter的預設埠號範圍是9187-9197，如果被佔用可以使用其他埠。

gs_dbmind component opengauss_exporter --urlpostgresql://dbmind_monitor:test_123@192.168.100.1:19999/postgres --web.listen-address 0.0.0.0 --web.listen-port 9187 --log.level info --disable-https

（2）方式二：K-V格式

gs_dbmind component opengauss_exporter --url "dbname=postgres user=dbmind_monitor password=test_123 host=192.168.100.1 port=19999" --web.listen-address 0.0.0.0 --web.listen-port 9187 --log.level info --disable-https

執行完上述命令，如果控制檯顯示The process is starting，說明安裝無異常。也可以透過下述命令檢查opengauss_exporter是否已啟動。

# 埠號9187為使用者指定的埠號， 如果失敗會顯示Connection refused  curl -vv

1. 解壓並切換到prometheus目錄下：

tar zxvf prometheus-2.42.0.linux-amd64.tar.gzcd prometheus-2.42.0.linux-amd64/

2. 修改prometheus配置檔案：

vi prometheus.yml

   - job_name: 'prometheus'     static_configs:      - targets: ['192.168.100.4:9090']  - job_name: 'opengauss_exporter'     static_configs:      - targets: ['192.168.100.4：9187', '192.168.100.4:9188', '192.168.100.4:9189']  - job_name: 'node_exporter'     static_configs:      - targets: ['192.168.100.1：9100', '192.168.100.2:9100', '192.168.100.3:9100']  - job_name: 'reprocessing_exporter'    static_configs:      - targets: ['192.168.100.4:8181']  - job_name: 'cmd_exporter'    static_configs:      - targets: ['192.168.100.2:9180']

3. 啟動prometheus並將日誌輸入到同目錄下的prometheus.log裡：

 ./prometheus --web.enable-admin-api --web.enable-lifecycle -- storage.tsdb.retention.time=1w >./prometheus.log 2>&1 &

由於reprocessing_exporter是從prometheus中獲取指標資料，進行二次加工處理後再返回給prometheus。因此，它與prometheus是一一對應的，即如果只有一個prometheus服務，則只需要一個reprocessing_exporter即可。prometheus和reprocessing_exproter一起部署在主控節點上，reprocessing_exproter依賴prometheus，所以需要先啟動prometheus再啟動reprocessing_exporter。可以透過下述命令啟動reprocessing_exporter：

# host_ip為主控節點的ip地址，9090為prometheus佔用的埠號，8181為reprocessing_exporter佔用的埠號，使用者可以按需修改gs_dbmind component reprocessing_exporter host_ip 9090 --web.listen-address 0.0.0.0 --web.listen-port 8181 --disable-https

啟動完成之後，訪問prometheus網頁：http://{主控節點ip}:9090/，開啟Status/Targets，檢視所有exporter的啟動狀態。

在主控節點，切換到openGauss-DBMind目錄下，輸入如下命令啟動DBMind：

gs_dbmind service setup -c dbmindconf

vi dbmindconf/dbmind.conf

其中必填的配置項如下：

[TSDB]  name = prometheus # The type of time-series database. Options: prometheus.  host = {主控節點ip:192.168.100.4} # Address of time-series database.  port = 9090 # Port to connect to time-series database.

• METADATABASE

DBMind伺服器所建立的metadatabase資料庫相關資訊，注意使用者需要有資料庫建立的許可權。在啟動DBMind之前，需要把metadatabase建立好。

[METADATABASE]   dbtype = opengauss # Database type. Options: sqlite, opengauss, postgresql.    host = {資料庫主節點ip:192.168.100.1} # Address of meta-data database.    port = {資料庫佔用的埠號:6789} # Port to connect to meta-data database.    username = dbmind_monitor # User name to connect to meta-data database.    password = test_123 # Password to connect to meta-data database.    database = metadatabase # Database name to connect to meta-data database.

• WORKER

該模組用於指定DBMind可以使用的worker子程式數量，如果寫0則會進行自適應，儘可能多地使用CPU資源。

使用者可以使用cat /proc/cpuinfo | grep "physical id" | fort | uniq | wc -l命令檢視邏輯CPU的個數，根據伺服器情況配置worker子程式數量。

[WORKER]    process_num = 2  # Number of worker processes on a local node. Less than or equal to zero means adaptive.

• AGENT

該模組用於指定DBMind連線到openGauss Agent的資訊。使用該Agent，可以讓DBMind獲取到被監控例項的即時狀態，從而提高分析準確性。同時，也可以向資料庫例項下發一些變更動作。

masterurl為`http://{DBMind伺服器IP}:{opengaussexporter監聽埠}`，置空會自動識別。usename為資料庫例項的dbmind_minotor使用者。

[AGENT]    master_url =     username = dbmind_monitor # Username to login the monitoring database. Credential for agent.    password = test_123  # Password to login the monitoring database. Credential for agent.

• TIMED_TASK

設定定時任務：

Discard_expired_results: 刪除過期結果

self_monitoring：指標異常監控

daily_inspection：日檢

weekly_inspection：周檢

monthly_inspection: 月檢

slow_sql_diagnosis：慢SQL診斷

knob_recommend：引數調優

slow_query_killer：慢SQL查殺

[TIMED_TASK]   task=discard_expired_results,self_monitoring,daily_inspection, weekly_inspection,slow_sql_diagnosis,knob_recommend,slow_query_killer# select the scheduled task to start，separated by ','.

• WEB-SERVICE

[WEB-SERVICE]    host = 192.168.100.4  # Which host to bind for web service. '0.0.0.0' means to bind all.    port = 8080  # Port to listen for web serivce.

gs_dbmind service setup --initialize -c dbmindconf

gs_dbmind service start -c dbmindconf

上述步驟執行完之後，就可以透過http://{DBMind伺服器IP}:8080訪問DBMind前臺頁面。