上一篇關於Prometheus的文章中說到了Prometheus是如何實現程式監控。在實際的線上環境中，當系統程式出現異常後需要實時通知到值班運維人員，去檢查系統是否還正常運轉。下面我們就介紹下基於Prometheus如何實現監控報警通知。

Prometheus的報警通知，是利用其元件AlertManager，Alertmanager接收Prometheus等客戶端發來的警報，之後透過分組，刪除重複等處理，並將它們透過路由傳送給正確的接收器。告警方式可以按照不同的規則傳送給不同的模組負責人，Alertmanager支援Wechat, Email, Webhook等告警方式, 其中Webhook可以接入釘釘等聊天工具。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/28c7a689b8744c43942a525d2d813482.png)

## 報警流程

- Prometheus配置監控規則
 - 監控物件觸發閾值
 - 閾值超出持續時間
 - 推送告警到Alertmanager
 - Alertmanager處理告警資訊
    1）分組(group)：類似告警合併為一個通知。
    2）靜默(silences)：不通知，系統升級時使用。
    3）抑制(inhibition): 只通知一次，相同內容不再通知。
 - Alertmanager傳送通知到媒體，郵箱，釘釘，企業微信等接收到通知

## 安裝部署AlertManager

**部署alertermanager**

下載二進位制檔案

```
wget https://github.com/prometheus/alertmanager/releases/download/v0.24.0/alertmanager-0.24.0.linux-amd64.tar.gz

tar zxvf alertmanager-0.24.0.linux-amd64.tar.gz
mv alertmanager-0.24.0.linux-amd64 /apps/alertmanager
```

建立alertermanager服務

```
vim /etc/systemd/system/alertmanager.service

[Unit]
Description=alertmanager
Documentation=https://prometheus.io/
After=network.target

[Service]
User=root
Type=simple
#不能有單引號和雙引號
ExecStart=/home/prometheus/alertmanager/alertmanager/alertmanager --config.file=/home/prometheus/alertmanager/alertmanager/alertmanager.yml --storage.path=/home/prometheus/alertmanager/alertmanager/data --web.listen-address=:19093 --cluster.listen-address=0.0.0.0:19094 --web.external-url=http://192.168.1.108:19093
Restart=on-failure

[Install]
WantedBy=multi-user.target
```

啟動服務：

```
systemctl daemon-reload
systemctl enable --now alertmanager
systemctl status alertmanager
```

訪問 192.168.1.108:19093 為alertmanager管理頁面：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2497e539b03140a5a69b351d9d2bf975.png)

## Alertmanager配置

配置檔案詳解，以郵箱告警為例：

```
vim /home/prometheus/alertmanager/alertmanager/alertmanager.yml
#郵件傳送者
global:
  resolve_timeout: 30s
  smtp_smarthost: 'smtp.qq.com:465' 
  smtp_from: '809xxx59@qq.com' 
  smtp_auth_username: '80xxx4859@qq.com' 
  smtp_auth_password: 'xxxxxxxxvpobcee'
  smtp_hello: '@qq.com'
  smtp_require_tls: false

templates:
  - '/home/prometheus/alertmanager/alertmanager/tmpl/email.tmpl'  #增加templates配置
route:
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 5m
  receiver: 'email'
  routes:
  - receiver: dingtalk-webhook
    group_wait: 10s
  - receiver: email
    group_wait: 10s
receivers:
  - name: 'email'
    email_configs:
      - to: 'niuming@dync.cc'
        send_resolved: true
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']
```

專案	Value

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/6f28fbc815994170978aa7ce8c80908f.png)

## Prometheus規則

新建規則檔案，配置分組資訊，告警閾值和時間，告警標籤和註釋等。

指標表示式採用PromQL語句，多數指標單位為bytes位元組，需要轉換成KMG，例如2M=2*1024*1024。

Prometheus規則檔案，對於郵箱，釘釘或企業微信，該檔案通用：

```
vim /home/prometheus/prometheus/rule/qtalk_auth.yaml
groups:
 - name: qtalk_auth 程異常退出
   rules:
   - alert: 應用程式 qtalk_auth 異常退出 # 告警名稱
     expr: (namedprocess_namegroup_num_procs{groupname="map[:qtalk_auth]"}) == 0
     for: 30s # 滿足告警條件持續時間多久後，才會傳送告警
     labels: #標籤項
        severity: error
        ip: 192.168.1.108
     annotations: # 解析項，詳細解釋告警資訊
         summary: "程式異常報警 Alert {{ $labels.instance }} ，異常停止超過30秒."
         description: "{{$labels.ip}} 程式{{$labels.groupname}} 異常停止！請立即檢視!"
```

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/9e3bef9202ed415aba1a46976bfa9eff.png)

檢驗prometheus報警規則檔案，顯示SUCCESS：

```
/home/prometheus/prometheus/promtool check rules rule/qtalk_auth.yml
Checking rule/qtalk_auth.yml
  SUCCESS: 1 rules found
```

## Prometheus配置

配置Prometheus檔案，alertmanagers伺服器的IP和埠，prometheus伺服器規則檔案的路徑：

```
vim /home/Prometheus/prometheus/prometheus.yml
# my global config
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["192.168.1.108:19093"]
           #- alertmanager:["192.168.1.108:19093"]

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
 - "rule/*.yml"
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"

# metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

static_configs:
      - targets: ["localhost:9090"]

- job_name: 'process'
    static_configs:
      - targets: ['192.168.1.108:9256']
```

重啟Prometheus服務：

```
systemctl restart prometheus.service
```

## 郵箱告警

**檢視Prometheus**

Prometheus首頁，Alerts選項，可以檢視告警資訊：

報警狀態分3種：

- inactive：沒有異常。
 - pending：已觸發閾值，但未滿足告警持續時間（即 rule 中的 for 欄位）。
 - firing：已觸發閾值且滿足條件併傳送至 alertmanager。

pending狀態，閾值觸發了，但再觀察30m秒(for: 30s)。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/b54df3f6c028434ab5631426ad7e982f.png)

firing狀態，30秒過後還超出閾值，則傳送至alertmanager。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/5a338331d1fa4db1806b522c0968576a.png)

**檢視Alertmanager**

只有在Prometheus中Firing的警告才會傳到Alertmanager，進入首頁檢視。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/1e531eb65f74452fa1374801db4a49aa.png)

**檢視郵箱**

Prometheus傳送告警給alertmanager後，alertmanager根據通知設定，將報警訊息透過郵箱傳送：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/58a961d66d5f4d909d397f307e6da550.png)

發郵件時，都是根據配置規則中時間間隔進行的郵件推送。（可在配置檔案修改）

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/161ecb8b301049f0bc758627e01a2366.png)

至此，一個簡單的基於Prometheus的系統監控及報警通知的服務都搭建完成，利用這樣一套監控通知體系，可以讓系統運維人員早早的知道系統健康度，保證系統高可用。

**參考文件**

[prometheus](https://github.com/prometheus/prometheus)

[prometheus 傳送恢復 值_Prometheus-基礎系列-(五)-報警體系-2](https://blog.csdn.net/weixin_39586683/article/details/111643848)

[Prometheus — AlertManager配置說明](https://prometheus.io/docs/alerting/latest/configuration)

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/3c4f4a0cc812451885447d1543811bbe.jpeg#pic_center)</job_name>

技術分享| 如何使用Prometheus實現系統監控報警郵件通知

相關文章