>文章首發於公眾號《程式設計師果果》
>地址：https://mp.weixin.qq.com/s/wkfIQc3IQD_6y7eCsGd_Rw

##簡介
Alertmanager 主要用於接收 Prometheus 傳送的告警資訊，它很容易做到告警資訊的去重，降噪，分組，策略路由，是一款前衛的告警通知系統。它支援豐富的告警通知渠道，可以將告警資訊轉發到郵箱、企業微信、釘釘等。這一節講解利用AlertManager，把接受到的告警資訊，轉發到郵箱。

## 實驗
### 準備
啟動 http-simulator 度量模擬器：

```shell
docker run --name http-simulator -d -p 8080:8080 pierrevincent/prom-http-simulator:0.1
```

啟動 Prometheus，為了方便更新配置，使用掛載配置檔案的方式：

```shell
docker run --name prometheus -d -p 9090:9090 -v /Users/huanchu/Documents/prometheus-data:/prometheus-data \
       prom/prometheus --web.enable-lifecycle --config.file=/prometheus-data/prometheus.yml
```
啟動新增了引數 --web.enable-lifecycle，讓Prometheus支援透過web端點動態更新配置。

訪問http://127.0.0.1:9090/targets ，Prometheus 自身的 metrics 和 http-simulator 的 metrics 處於up 狀態 ，那麼準備工作就做好了。

![](http://img.blog.itpub.net/blog/2019/10/22/34059aa9cebcec64.png?x-oss-process=style/bb)

## 實驗
### 實驗1

#### 告警配置
在prometheus-data資料夾下，建立告警配置檔案 simulator_alert_rules.yml：

```
groups:
- name: simulator-alert-rule
  rules:
  - alert: HttpSimulatorDown
    expr: sum(up{job="http-simulator"}) == 0
    for: 1m
    labels:
      severity: critical
```
配置檔案的意思是 http-simulator 服務up狀態為 0 ，並且持續1分鐘時，產生告警 ，級別為 “嚴重的”。

修改prometheus.yml，引用simulator_alert_rules.yml檔案，prometheus.yml 內容如下：

```
global:
  scrape_interval: 5s
  evaluation_interval: 5s
  scrape_timeout: 5s

rule_files:
  - "simulator_alert_rules.yml"

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['localhost:9090']
  - job_name: 'http-simulator'
    metrics_path: /metrics
    static_configs:
    - targets: ['192.168.43.121:8080']
```

更新Prometheus配置：

```shell
curl -X POST http://localhost:9090/-/reload
```

訪問http://127.0.0.1:9090/config，可以看到已經為更新了配置：

![](http://img.blog.itpub.net/blog/2019/10/22/5ad069f4da43bf62.png?x-oss-process=style/bb)

訪問http://127.0.0.1:9090/rules，Rules 下出現了新新增的告警規則：

![](http://img.blog.itpub.net/blog/2019/10/22/c7d5aaa65782cd5b.png?x-oss-process=style/bb)

#### 驗證
訪問http://127.0.0.1:9090/alerts ，Alerts 下 HttpSimulatorDown 為綠色，處於INACTIVE 狀態，表示什麼都沒有發生。

![](http://img.blog.itpub.net/blog/2019/10/22/18def1d6b613f9f1.png?x-oss-process=style/bb)

關閉 http-simulator 服務：

```shell
docker stop http-simulator
```

訪問http://127.0.0.1:9090/alerts，HttpSimulatorDown 變成黃色，處於 PENDING 狀態，表示報警即將被啟用。

![](http://img.blog.itpub.net/blog/2019/10/22/91e9cc20815dd931.png?x-oss-process=style/bb)

一分鐘後，HttpSimulatorDown 變成紅色，處於 FIRING 狀態，表示報警已經被啟用了。

![](http://img.blog.itpub.net/blog/2019/10/22/f7beddfa9d5ee0e9.png?x-oss-process=style/bb)

### 實驗2
#### 告警配置
在simulator_alert_rules.yml檔案中增加告警配置：

```
- alert: ErrorRateHigh
    expr: sum(rate(http_requests_total{job="http-simulator", status="500"}[5m])) / sum(rate(http_requests_total{job="http-simulator"}[5m])) > 0.02
    for: 1m
    labels:
      severity: major
    annotations:
      summary: "High Error Rate detected"
      description: "Error Rate is above 2% (current value is: {{ $value }}"
```

配置檔案的意思是 http-simulator 請求的錯誤率對2% ，並且持續1分鐘時，產生告警 ，級別為 “非常嚴重的”

更新Prometheus配置：

```shell
curl -X POST http://localhost:9090/-/reload
```

#### 驗證
訪問http://127.0.0.1:9090/alerts，ErrorRateHigh  為綠色的 INACTIVE 狀態。

![](http://img.blog.itpub.net/blog/2019/10/22/d1f77f3a10d38ac2.png?x-oss-process=style/bb)

把 http-simulator 的錯誤率調到 10%

```shell
curl -H 'Content-Type: application/json' -X PUT -d '{"error_rate": 10}' http://localhost:8080/error_rate
```

稍等一會後，訪問http://127.0.0.1:9090/alerts， 可以看到錯誤率已經大2%，ErrorRateHigh  為紅色的 FIRING 狀態，報警已經被啟用了。

![](http://img.blog.itpub.net/blog/2019/10/22/bde9170760ae0d41.png?x-oss-process=style/bb)

## 安裝和配置AlertManager
透過docker 掛載檔案的方式安裝AlertManager，在本地建立資料夾 alertmanager-data 資料夾，在其中建立 alertmanager.yml，內容如下：

```
global:
  smtp_smarthost: 'smtp.163.com:25'
  smtp_from: 'xxxxx@163.com'
  smtp_auth_username: 'xxxxx@163.com'
  smtp_auth_password: 'xxxxx'

route:
  group_interval: 1m   #當第一個報警傳送後，等待'group_interval'時間來傳送新的一組報警資訊
  repeat_interval: 1m   # 如果一個報警資訊已經傳送成功了，等待'repeat_interval'時間來重新傳送他們
  receiver: 'mail-receiver'
receivers:
- name: 'mail-receiver'
  email_configs:
    - to: 'xxxxxx@163.com' 
```

啟動 AlertManager：

```shell
docker run --name alertmanager -d -p 9093:9093 -v /Users/huanchu/Documents/alertmanager-data:/alertmanager-data \
       prom/alertmanager --config.file=/alertmanager-data/alertmanager.yml
```

在Prometheus目錄下，修改prometheus.yml配置Alertmanager地址：

```
# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - 192.168.43.121:9093
```

更新Prometheus配置：

```shell
curl -X POST http://localhost:9090/-/reload
```

訪問http://127.0.0.1:9093，訪問Alertmanager UI介面，可以看到接收到ErrorRateHigh告警：

![](http://img.blog.itpub.net/blog/2019/10/22/e9a5fbbfe580a4ab.png?x-oss-process=style/bb)

郵箱會收到告警資訊：

![](http://img.blog.itpub.net/blog/2019/10/22/b0ce8a7a9a3f87ce.png?x-oss-process=style/bb)

Prometheus 整合 AlertManager

相關文章