TiDB監控實現 -- 存活監控

--20190228 劉春雷

1、需求

1、隨著TiDB叢集的數量的發展，需要監控TiDB叢集的存活情況

2、公司監控使用zabbix，需要將TiDB的監控接入進去

3、需要實現一鍵新增、刪除叢集監控，實現自動化

2、實現方式

1、通過Prometheus 的介面，獲取各個元件的狀態，處理資料後，推送至zabbix ;

2、通過各個元件（TiDB、PD、TiKV、Grafana）的本地 API 獲取元件狀態，防止prometheus的單點問題，開發中。

3、通過zabbix的介面，建立監控等

4、通過zabbix實現簡訊報警

美團的實現方式：

https://tech.meituan.com/2018/11/22/mysql-pingcap-practice.html

5、其他實現

也可以通過 Alertmanager報警

3、具體實現

3.1、規範

3.1.1、host規範

{tidb/pd/tikv/prometheus/grafana}_{例項埠port}_{例項IP}

舉例：

tidb_6666_10.0.0.1

pd_6666_ 10.0.0.1

tikv_6666_ 10.0.0.1

prometheus_6666_ 10.0.0.1 暫時沒有查到介面判斷存活

grafana_666_ 10.0.0.1

3.1.2、監控項

注：Prometheus 的自己存活無介面，先忽略

監控項名字	key	type	值情況	採集時間
TiDBAliveCheck	TiDBaliveCheck	Zabbix trapper	0：不存活 1：存活	10s 採集一次
PDAliveCheck	PDaliveCheck	Zabbix trapper	0：不存活 1：存活	10s 採集一次
TiKVAliveCheck	TiKValiveCheck	Zabbix trapper	0：不存活 1：存活	10s 採集一次
GrafAliveCheck	GrafaliveCheck	Zabbix trapper	0：不存活 1：存活	10s 採集一次

3.1.3、觸發器

監控項名字	觸發器名字	key	採集時間	觸發
TiDBAliveCheck	TiDB Down	TiDBaliveCheck	10s 採集一次	最近3次採集資料值等於0 個數大於2即30s內採集不到即報警) { TiDB.GrafanaaliveCheck .count (#3,0,"eq")} >2
PDAliveCheck	PD Down	PDaliveCheck	10s 採集一次	最近3次採集資料值等於0 個數大於2即30s內採集不到即報警) { TiDB.GrafanaaliveCheck.count(#3,0,"eq")} >2
TiKVAliveCheck	TiKV Down	TiKValiveCheck	10s 採集一次	最近3次採集資料值等於0 個數大於2即30s內採集不到即報警) { GrafanaaliveCheck.count(#3,0,"eq")} >2
GrafAliveCheck	Graf Down	GrafaliveCheck	10s 採集一次	最近3次採集資料值等於0 個數大於2即30s內採集不到即報警) { GrafanaaliveCheck.count(#3,0,"eq")} >2

3.2、傳送至zabbix實現

3.2.1、舉例zabbix_sender命令

/zabbix_agent34/bin/zabbix_sender --zabbix-server= 10.0.0.2 --host=tidb_6666_10.1.1.1 --key=TiDBaliveCheck --value=1

info from server: "processed: 1; failed: 0; total: 1; seconds spent: 0.000037"

sent: 1; skipped: 0; total: 1

3.2.2、具體

tidb_monitor

輸入如下:
python tidb_monitor.py -c {$cluster_id1,$cluster_id2} (檢查指定tidb cluster)
python tidb_monitor.py -a (檢查所有tidb cluster)
python tidb_monitor.py -g (從mysql獲取tidb叢集資訊，生成最新的配置檔案)
python tidb_monitor.py -m (檢查zabbix的監控與cdb的一致性)

【 1】舉例檢查某個Tidb叢集

tidb_monitor.py -c 6666-1