寫了個監控 ElasticSearch 程式異常的指令碼！

作者：JackTian
來源：公眾號「傑哥的IT之旅」
ID：Jake_Internet
轉載請聯絡授權（微信ID：Hc220088）

伺服器配置免金鑰環境準備：

配置免金鑰前，需要在伺服器的 hosts 檔案中配置目標主機名稱與 IP 對應關係。

vim /etc/hosts
IP1 hostname1
IP2 hostname2
......

將 mianmiyaojiaoben.zip 安裝包解壓在當前目錄下

cd /usr/local/jiaoben
unzip mianmiyaojiaoben.zip

修改 mianmiyao_config 配置檔案，新增目標主機名稱與目標主機密碼，透過用免金鑰的指令碼來呼叫。

vim mianmiyao_config

AllHosts=hostname1,hostname2
Passwd='test23!\@Test^&*','test23!\@Test^&*'

配置檔案中，需注意：

• AllHosts：可配置當前主機通往目標主機的主機名，可以免秘鑰自身，數量不限。多臺目標主機需以英文逗號隔開

• Passwd：主機所對應的密碼，順序需要與主機順序對應

• 如果原密碼為：test23!@Test^&*，則密碼字元帶有特殊符號可以用 \ 符轉義

mianmiyao.sh 指令碼檔案內容：

vim mianmiyao.sh

#!/bin/bash -x
source mianmiyao_config
yum -y install expect expect-devel
#rm -rf /root/.ssh/*
/usr/bin/expect -d <<-EOF
set timeout 100
spawn ssh-keygen -t rsa
expect {
"*id_rsa):" { send "\r"; exp_continue }
"*(y/n)?" { send "y\r"; exp_continue }
"*passphrase)*" { send "\r"; exp_continue }
"*again:" { send "\r"; exp_continue }
"*-------+" { send "\r"}
}
expect eof
EOF

hostsarr=(${hosts//,/ })
passwdarr=(${passwd//,/ })
num=${#hostsarr[@]}  
for((i=0;i<num;i++));  
do  
    /usr/bin/expect <<-EOF
    set timeout 100
    spawn ssh-copy-id ${hostsarr[i]}
    expect {
    "*(yes/no)?" { send "yes\r"; exp_continue }
    "*password:" { send "${passwdarr[i]}\r"; exp_continue }
    "*authorized_keys*" { send "\r"}
    }
    expect eof
    exit
EOF
done 

將 mianmiyao.sh 檔案新增執行許可權並執行此指令碼

chmod +x mianmiyao.sh
./mianmiyao.sh

指令碼執行完畢後，可以先手動執行如下命令，如無需輸入密碼跳轉到對應的目標伺服器時，則表示成功。

ssh hostname2

伺服器部署監測 ElasticSearch 環境準備：

將 cpufreedisk_config 配置檔案新增對應 ES 叢集主機名、ES 埠、ES 主節點伺服器主機名。

vim cpufreedisk_config

# 所有 ES 叢集的主機名，用英文逗號分隔，需要在免金鑰機器上執行
EsHosts=hostname1,hostname2

# ES 埠
EsPort=9200

# ES 主節點伺服器的主機名
EsMaster=hostname1

#!/bin/bash
# @Time    : 2023/02/01
# @Author  : JackTian
# @File    : cpufreedisk.sh
# @Desc    : 使用該指令碼監控 ES 系統程式假死、掛掉、異常及伺服器斷網、當機伺服器恢復後，程式做判斷恢復/檢測伺服器cpu記憶體磁碟。
# 使用前提：ES 叢集伺服器配置免金鑰
# 使用方法：將 cpufreedisk.sh 指令碼放置 ES 伺服器的 /usr/local/jiaoben/ 目錄下、在 cpufreedisk_config 中配置 ES 叢集的主機名、埠、ES 主節點伺服器的主機名
# 設定定時任務（可以事先手動執行）
# 0 6 * * * source /etc/profile && cd /usr/local/jiaoben && ./cpufreedisk.sh
source /usr/local/jiaoben/cpufreedisk_config

function esStatus
{
curl --connect-timeout 30 -m 60 $1:$esport > resultEsCurl.log
echo "`cat resultEsCurl.log | grep cluster_name`"
}

function esLost
{
iptemp=`cat /etc/hosts | grep -w $1 | grep '^[^#]' | awk '{print $1}'`
curl --connect-timeout 30 -m 60 $esMaster:$esport/_cat/nodes?v | grep $iptemp > resultEsCurl1.log
echo "`cat resultEsCurl1.log`"
}

function esDie
{
ssh $1 "source /etc/profile && jps | grep Elasticsearch | awk '{print \$1}' | xargs"
}

function restart
{
ssh $1 <<EOF
echo "請手動啟動 ES 程式"
exit
EOF
}


today=$(date +"%Y-%m-%d")
todaytime=`date`
#針對 ES 做假死、當機、掛掉，做日誌記錄和處理
serverroothostname=(${esHosts//,/ })
for rootHost in ${serverroothostname[*]}
do
    esStatusResult=`esStatus $rootHost`
    echo "$rootHost 的狀態為: $esStatusResult"
    if [ -n "$esStatusResult" ];then
        esLostResult=`esLost $rootHost`
        echo "$rootHost 的狀態為: $esLostResult"
        if [ -n "$esLostResult" ];then
            echo "ES 執行狀態正常。"
        else
            echo "$rootHost 脫離叢集。"
            echo "${todaytime}ES的${rootHost}節點脫離叢集。請人工排查" >> /usr/local/jiaoben/ESmanager.log
                        restart $rootHost
        fi
    else
        echo "${todaytime}xxx系統$rootHost 的 ES 程式執行狀態異常，啟動重啟中..." >> /usr/local/jiaoben/ESmanager.log
        echo "${todaytime}xxx系統$rootHost 重啟" >> /usr/local/jiaoben/ESmanager.log

ssh $rootHost <<EOF >>/usr/local/jiaoben/ESmanager.log
        mkdir -p /usr/local/jiaoben/
        cd /usr/local/jiaoben/
        echo "--------------------------------------伺服器分割線-------------------------------------------"
        echo "$rootHost磁碟資訊"
        df -h
        echo "$rootHost記憶體資訊（單位為：G）"
        free -h
        echo "$rootHost的CPU資訊"
        vmstat
        exit
EOF
        if [ $? -eq 0 ];then
                        esDieResult=`esDie $rootHost`
                        if [ -n "$esDieResult" ];then
                        echo "${todaytime}xxx系統 ES 出現假死，已執行重啟臨時解決，詳情參看日誌" >> /usr/local/jiaoben/ESmanager.log
                        else
            echo "${todaytime}xxx系統 ES 未啟動，已執行重啟臨時解決，詳情參看日誌" >> /usr/local/jiaoben/ESmanager.log
                        fi
        else
            echo "${todaytime}xxx系統 ES 伺服器疑似當機：無法 ssh 登入" >> /usr/local/jiaoben/ESmanager.log
        fi
        restart $rootHost
    fi

done

將 cpufreedisk.sh 指令碼檔案新增可執行許可權並執行

chmod +x cpufreedisk.sh
./cpufreedisk.sh

設定週期性定時任務，每天定時執行。

crontab -e
# 使用該指令碼監控 ES 系統程式假死、掛掉、異常及伺服器斷網、當機伺服器恢復後，程式做判斷恢復/檢測伺服器cpu記憶體磁碟。
0 6 * * * source /etc/profile && cd /usr/local/jiaoben && ./cpufreedisk.sh