以實現MongoDB副本集狀態的監控為例，看Telegraf系統中Exec輸入外掛如何編寫部署

東山絮柳仔發表於2019-07-03
MongoDB

既有的Telegraf 關於MongoDB的輸入外掛很難實現對副本集節點狀態的監控，副本集節點狀態有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。現在我們嘗試通過 Exec Input Plugin 來實現對MongoDB狀態的的監控。

第一部分 簡單回顧下Zabbix的監控實現

1. Zabbix 執行的檔案指令碼如下：

#!/bin/bash
command_linebin="mongodb可執行檔案路徑/bin/mongo"
replstatus="PRIMARY SECONDARY ARBITER"
username="user"
password="pwd"

command_line="${command_linebin} localhost:$1/admin -u$username -p$password"
mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
if [ $mcount -ge 3 ]  ;then 
   ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
   ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
   ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)


  if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]]  && [[ $replstatus =~ $ms3 ]] ;then 
        echo "The Status OK "
   else 
         echo "The status of mongo replica is unnormal.port is " $1 
   fi 

else
     ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
     ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
    
    if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
        echo "The Status OK "
   else
         echo "The status of mongo replica is unnormal.port is " $1 
   fi


fi

 （檔案中的執行輸入引數是MongoDB的埠號）

2.異常告警介面;

第二部分 Telegraf 收集代理關於exec外掛的實現

1.可執行命名檔案為 test_mongodb.sh，具體指令碼簡化調整

#!/bin/bash
command_linebin="MongoDB可執行檔案/bin/mongo"
username="User"
replstatus="PRIMARY SECONDARY ARBITER"
password="PWD"
port=27017

command_line="${command_linebin} localhost:$port/admin -u$username -p$password"
mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
if [ $mcount -ge 3 ]  ;then 
   ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
   ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
   ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)


  if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]]  && [[ $replstatus =~ $ms3 ]] ;then 
        echo "ReplStatus,tag=mongodb Status=1i"
   else 
         echo "ReplStatus,tag=mongodb Status=2i" 
   fi 

else
     ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
     ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
    
    if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
        echo "ReplStatus,tag=mongodb Status=1i"
   else
          echo 'ReplStatus,tag=mongodb Status=2i'
  
   fi


fi

 檔案所處的路徑為  /etc/telegraf/test_mongodb.sh

2. telegraf.conf中關於exec input的配置如下;

3. 通過test命令測試，執行正常

 telegraf --config telegraf.conf --test

4.啟動服務

service telegraf start

5.登入到InfluxDB下查詢驗證收集的資料

 （以上看似部署完畢，實際.....）

第三部 許可權設定問題導致資料錯誤的分析與探究

仔細看上面的截圖資料，問題出來了，明明除錯過程中是 status為1，而儲存到InfluxDB中status為2 了呢？？？

本來叢集狀態是OK的，結果判斷為Error！！！！ 針對此問題在網上搜尋原因及方案，聚焦如下：

即懷疑為許可權問題。

下面為具體的探究測試過程

step 1 我們從root 賬號切換到 telegraf賬號

但是 切換 不成功。

Step 2 檢視telegraf賬號資訊

cat /etc/passwd

（/bin/false什麼也不做只是返回一個錯誤狀態，然後立即退出。將使用者的shell設定為/bin/false，使用者會無法登入，並且不會有任何提示。）

Step 3 將登入屬性設定為 /bin/bash，修改後如下;

 step 4 再次 su 為 telegraf賬號 ，查詢當前連線的賬號

 

此時切換成功了。

Step 5 在 telegraf 賬號下，測試 

此時 status=2 和我們開始在root 賬號下此測試（status=1）是不一樣的，也理解了為什麼InfluxDB中資料為2的根源，確實和賬號有關。

Step 6 除錯 telegraf 呼叫的 test_mongodb.sh 檔案

sh -x test_mongodb.sh

部分報錯資訊如下：

+ ms2='SECONDARY
2019-07-02T20:24:59.596+0800 E -        [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error'
+ [[ PRIMARY SECONDARY ARBITER =~ PRIMARY
2019-07-02T20:24:59.468+0800 E -        [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error ]]
+ echo 'ReplStatus,tag=mongodb Status=2i'
ReplStatus,tag=mongodb Status=2i

從上面的異常資訊得知，直接錯誤原因是 不能在檔案 /etc/telegraf/.dbshell 中儲存歷史資料。

其實在/etc/telegraf 沒有看到這個 .dbshell 這個檔案。檢視顯示所有的檔案（包含隱藏檔案）的 命令如下

ll -a

 那麼如果我們手動建立.dbshell呢？ 

以下操作是在root賬號下建立.dbshell 檔案，並且將檔案的擁有者調整為telegraf賬號，具體的的命令如截圖：

step 7 再次用telegraf賬號執行  test_mongodb.sh 可執行檔案

 sh -x test_mongodb.sh

 此時沒有出現異常，資料也正常了。

 step 8 在telegraf賬號下 用 telegraf 服務除錯，此次執行和root賬號一樣了。

（此時沒有出現異常，資料也正常了。）

 Step 9 登入到InfluxDB中檢視,由錯誤的2恢復了1。

 

第四部分 思考優化

（1）為什麼root賬號不需要手動建立.dbshel？ 是不需要這個檔案嗎？如果需要有在那個目錄下呢？

首先了解下 .dbshell 檔案，它的基本解釋是：“When you run the mongo client, it stores a history of commands in $HOME/.dbshell.”。

從上面的解釋可以看出，root賬號應該也會產生.dbshell檔案。

我們通過以下幾步去找到root賬號對應的.dbsehll 檔案。

（2）如何優化telegraf的賬號，不再需要手動建立檔案？

 推測：是不是給telegraf 賬號賦予自身對應$HOME足夠的許可權就可以了。

測試如下;

step 1 找到賬號對應的$home

step 2 刪除前面測試建立的.dbshell 檔案

Step 3 執行驗證telegraf 測試命令，此時應該資料異常（切記;切換到telegraf 賬號下執行）

step 4 在root賬號將 $home 對應的目錄（/etc/telegaf）擁有者轉換給telegraf賬號

step 5 再次執行 telegraf 測試命令

 

以上，測試驗證資料給賬號相應的$home文件服務相應的許可權，也可以解決問題。

第五部分  告警展示

我們在Grafana中配置後，其顯示介面如下：

 

第六部分 補充說明；

1.$HOME代表的路徑是什麼？

可以簡單的理解為 ：home是使用者的主目錄，登入後預設進入的目錄，提供一個使用者專屬的啟動檔案來定義該使用者所用到的一些環境變數。

可用命令：

echo $HOME

 

2.寫入InfluxDB，應遵循以下格式：

<measurement>[,<tag-key>=<tag-value>...] <field-key>=<field-value>[,<field2-key>=<field2-value>...] [unix-nano-timestamp]

如果格式不對，常見的錯誤如下：

2019-05-02T08:04:13Z E! Error in plugin [inputs.exec]: metric parse error: expected field at offset 37: "XXXXXXXXXXXXXXXXXXXX\n"

 

本文版權歸作者所有，未經作者同意不得轉載,謝謝配合！！！

本文版權歸作者所有，未經作者同意不得轉載,謝謝配合！！！

本文版權歸作者所有，未經作者同意不得轉載,謝謝配合！！！

 

相關文章