![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/ba47b820c7814e67bf9c956785c68d27.png)

作者 | 陳厚道  馮慶
來源 | [阿里巴巴雲原生公眾號](https://mp.weixin.qq.com/s/gbSG3VUT7u7ipP0HgH-ACQ)

> **導讀**：本文將對 RocketMQ-Exporter 的設計實現做一個簡單的介紹，讀者可透過本文了解到 RocketMQ-Exporter 的實現過程，以及透過 RocketMQ-Exporter 來搭建自己的 RocketMQ 監控系統。RocketMQ 線上可互動教程現已登入知行動手實驗室，PC 端登入 start.aliyun.com 即可直達。

RocketMQ 雲原生系列文章：

- [阿里的 RocketMQ 如何讓雙十一峰值之下 0 故障](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247503524&idx=1&sn=925c6bbb7f3a42a3e8ee1cca047849e7&chksm=fae6c56bcd914c7db520178be25fe7487f3701282cf50c425ac6d612cc04f0aefba66fa25b54&scene=21#wechat_redirect)
- [當 RocketMQ 遇上 Serverless，會碰撞出怎樣的火花？](https://mp.weixin.qq.com/s/i-0rmFPAZ9rR-A1NeXUMjQ)
- [雲原生時代 RocketMQ 運維管控的利器 - RocketMQ Operator](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247493788&idx=1&sn=28415e847c8a61962477be283d99d6f4&chksm=fae6e353cd916a458f3d836c435a73fba46b22b125f5149449056fa09f138dcb46e094c25461&scene=21#wechat_redirect)
- [雲原生時代訊息中介軟體的演進路線](https://mp.weixin.qq.com/s/b3YGm8uMuOZNRhZdA7egSQ)
- [基於 RocketMQ Prometheus Exporter 打造定製化 DevOps 平臺](https://mp.weixin.qq.com/s/gbSG3VUT7u7ipP0HgH-ACQ)（本文）

**RocketMQ-Exporter 專案的 GitHub 地址：**
[**_https://github.com/apache/rocketmq-exporter_**](https://github.com/apache/rocketmq-exporter)

文章主要內容包含以下幾個方面：

1. RocketMQ 介紹
1. Prometheus 簡介
1. RocketMQ-Exporter 的具體實現
1. RocketMQ-Exporter 的監控指標和告警指標
1. RocketMQ-Exporter 使用示例

# RocketMQ 介紹
RocketMQ 是一個分散式訊息和流資料平臺，具有低延遲、高效能、高可靠性、萬億級容量和靈活的可擴充套件性。簡單的來說，它由 Broker 伺服器和客戶端兩部分組成，其中客戶端一個是訊息釋出者客戶端(Producer)，它負責向 Broker 伺服器傳送訊息；另外一個是訊息的消費者客戶端(Consumer)，多個消費者可以組成一個消費組，來訂閱和拉取消費 Broker 伺服器上儲存的訊息。

正由於它具有高效能、高可靠性和高實時性的特點，與其他協議元件在 MQTT 等各種訊息場景中的結合也越來越多，應用越來越廣泛。而對於這樣一個強大的訊息中介軟體平臺，在實際使用的時候還缺少一個監控管理平臺。

當前在開源界，使用最廣泛監控解決方案的就是 Prometheus。與其它傳統監控系統相比較，Prometheus 具有易於管理，監控服務的內部執行狀態，強大的資料模型，強大的查詢語言 PromQL，高效的資料處理，可擴充套件，易於整合，視覺化，開放性等優點。並且藉助於 Prometheus 可以很快速的構建出一個能夠監控 RocketMQ 的監控平臺。

# Prometheus 簡介
下圖展示了 Prometheus 的基本架構：

![1.png](https://ucc.alicdn.com/pic/developer-ecology/fe16559ea2be400e8c3f1fc053fbe60b.png)

## 1. Prometheus Server
Prometheus Server 是 Prometheus 元件中的核心部分，負責實現對監控資料的獲取，儲存以及查詢。Prometheus Server 可以透過靜態配置管理監控目標，也可以配合使用 Service Discovery 的方式動態管理監控目標，並從這些監控目標中獲取資料。其次 Prometheus Server 需要對採集到的監控資料進行儲存，Prometheus Server 本身就是一個時序資料庫，將採集到的監控資料按照時間序列的方式儲存在本地磁碟當中。最後 Prometheus Server 對外提供了自定義的 PromQL 語言，實現對資料的查詢以及分析。

## 2. Exporters
Exporter 將監控資料採集的端點透過 HTTP 服務的形式暴露給 Prometheus Server，Prometheus Server 透過訪問該 Exporter 提供的 Endpoint 端點，即可獲取到需要採集的監控資料。RocketMQ-Exporter 就是這樣一個 Exporter，它首先從 RocketMQ 叢集採集資料，然後藉助 Prometheus 提供的第三方客戶端庫將採集的資料規範化成符合 Prometheus 系統要求的資料，Prometheus 定時去從 Exporter 拉取資料即可。

當前 RocketMQ Exporter 已被 Prometheus 官方收錄，其地址為：[_https://github.com/apache/rocketmq-exporter_](https://github.com/apache/rocketmq-exporter)。

![2.png](https://ucc.alicdn.com/pic/developer-ecology/4e40ced40825419a9bc70456a52fcdbc.png)

# RocketMQ-Exporter 的具體實現
當前在 Exporter 當中，實現原理如下圖所示：

![3.png](https://ucc.alicdn.com/pic/developer-ecology/bae1f67778a3497ea596cf50db4339ed.png)

整個系統基於 spring boot 框架來實現。由於 MQ 內部本身提供了比較全面的資料統計資訊，所以對於 Exporter 而言，只需要將 MQ 叢集提供的統計資訊取出然後進行加工而已。所以 RocketMQ-Exporter 的基本邏輯是內部啟動多個定時任務週期性的從 MQ 叢集拉取資料，然後將資料規範化後透過端點暴露給 Prometheus 即可。其中主要包含如下主要的三個功能部分：

- MQAdminExt 模組透過封裝 MQ 系統客戶端提供的介面來獲取 MQ 叢集內部的統計資訊。
- MetricService 負責將 MQ 叢集返回的結果資料進行加工，使其符合 Prometheus 要求的格式化資料。
- Collect 模組負責儲存規範化後的資料，最後當 Prometheus 定時從 Exporter 拉取資料的時候，Exporter 就將 Collector 收集的資料透過 HTTP 的形式在/metrics 端點進行暴露。

# RocketMQ-Exporter 的監控指標和告警指標
RocketMQ-Exporter 主要是配合 Prometheus 來做監控，下面來看看當前在 Expoter 中定義了哪些監控指標和告警指標。

- 監控指標

![4.jpg](https://ucc.alicdn.com/pic/developer-ecology/a9b53b13faa444af97155e66120b75b1.jpg)

rocketmq_message_accumulation 是一個聚合指標，需要根據其它上報指標聚合生成。

- 告警指標

![5.jpg](https://ucc.alicdn.com/pic/developer-ecology/348a979b6f5f4ce58ed2aa157e3d7e6c.jpg)

消費者堆積告警指標也是一個聚合指標，它根據消費堆積的聚合指標生成，value 這個閾值對每個消費者是不固定的，當前是根據過去 5 分鐘生產者生產的訊息數量來定，使用者也可以根據實際情況自行設定該閾值。告警指標設定的值只是個閾值只是象徵性的值，使用者可根據在實際使用 RocketMQ 的情況下自行設定。這裡重點介紹一下消費者堆積告警指標，在以往的監控系統中，由於沒有像 Prometheus 那樣有強大的 PromQL 語言，在處理消費者告警問題時勢必需要為每個消費者設定告警，那這樣就需要 RocketMQ 系統的維護人員為每個消費者新增，要麼在系統後臺檢測到有新的消費者建立時自動新增。在 Prometheus 中，這可以透過一條如下的語句來實現：

```
(sum(rocketmq_producer_offset) by (topic) - on(topic)  group_right  sum(rocketmq_consumer_offset) by (group,topic)) 
- ignoring(group) group_left sum (avg_over_time(rocketmq_producer_tps[5m])) by (topic)*5*60 > 0
```

藉助 PromQL 這一條語句不僅可以實現為任意一個消費者建立消費告警堆積告警，而且還可以使消費堆積的閾值取一個跟生產者傳送速度相關的閾值。這樣大大增加了消費堆積告警的準確性。

# RocketMQ-Exporter 使用示例
## 1. 啟動 NameServer 和 Broker
要驗證 RocketMQ 的 Spring-Boot 客戶端，首先要確保 RocketMQ 服務正確的下載並啟動。可以參考 RocketMQ 主站的快速開始來進行操作。確保啟動 NameServer 和 Broker 已經正確啟動。

## 2. 編譯 RocketMQ-Exporter
使用者當前使用，需要自行下載 git 原始碼編譯：

```
git clone https://github.com/apache/rocketmq-exporter
cd rocketmq-exporter
mvn clean install
```

## 3. 配置和執行
RocketMQ-Exporter 有如下的執行選項：

![6.jpg](https://ucc.alicdn.com/pic/developer-ecology/0a8a2fabfadd4978ab158d6deea0851e.jpg)

以上的執行選項既可以在下載程式碼後在配置檔案中更改，也可以透過命令列來設定。

編譯出來的 jar 包就叫 rocketmq-exporter-0.0.1-SNAPSHOT.jar，可以透過如下的方式來執行。

```
java -jar rocketmq-exporter-0.0.1-SNAPSHOT.jar [--rocketmq.config.namesrvAddr="127.0.0.1:9876" ...]
```

## 4. 安裝 Prometheus
首先到 Prometheus[ 官方下載地址](https://prometheus.io/download/)去下載 Prometheus 安裝包，當前以 linux 系統安裝為例，選擇的安裝包為 prometheus-2.7.0-rc.1.linux-amd64.tar.gz，經過如下的操作步驟就可以啟動 prometheus 程式。

```
tar -xzf prometheus-2.7.0-rc.1.linux-amd64.tar.gzcd prometheus-2.7.0-rc.1.linux-amd64/./prometheus --config.file=prometheus.yml --web.listen-address=:5555
```

Prometheus 預設監聽埠號為 9090，為了不與系統上的其它程式監聽埠衝突，我們在啟動引數裡面重新設定了監聽埠號為 5555。然後透過瀏覽器訪問 http://:5555,就可以驗證 Prometheus 是否已成功安裝，顯示介面如下：

![7.png](https://ucc.alicdn.com/pic/developer-ecology/6c21198bbacb4ad49ab6bb0b99822e02.png)

由於 RocketMQ-Exporter 程式已啟動，這個時候可以透過 Prometheus 來抓取 RocketMQ-Exporter 的資料，這個時候只需要更改 Prometheus 啟動的配置檔案即可。

整體配置檔案如下：

```
# my global config
global:
   scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
   evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
   # scrape_timeout is set to the global default (10s).
 
 
 # Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
 rule_files:
   # - "first_rules.yml"
   # - "second_rules.yml"

scrape_configs:
   - job_name: 'prometheus'
     static_configs:
     - targets: ['localhost:5555']
   
   
   - job_name: 'exporter'
     static_configs:
     - targets: ['localhost:5557']
```

更改配置檔案後，重啟服務即可。重啟後就可以在 Prometheus 介面查詢 RocketMQ-Exporter 上報的指標，例如查詢 rocketmq_broker_tps 指標，其結果如下：

![8.png](https://ucc.alicdn.com/pic/developer-ecology/b28d0c13b9974a30928c30bb6166c0fb.png)

## 5. 告警規則新增
在 Prometheus 可以展示 RocketMQ-Exporter 的指標後，就可以在 Prometheus 中配置 RocketMQ 的告警指標了。在 Prometheus 的配置檔案中新增如下的告警配置項，*.rules 表示可以匹配多個字尾為 rules 的檔案。

```
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml" 
  - /home/prometheus/prometheus-2.7.0-rc.1.linux-amd64/rules/*.rules
```

當前設定的告警配置檔案為 warn.rules，其檔案具體內容如下所示。其中的閾值只起一個示例的作用，具體的閾值還需使用者根據實際使用情況來自行設定。

```
###
# Sample prometheus rules/alerts for rocketmq.
#
###
# Galera Alerts

groups:
- name: GaleraAlerts
  rules:
  - alert: RocketMQClusterProduceHigh
    expr: sum(rocketmq_producer_tps) by (cluster) >= 10
    for: 3m
    labels:
      severity: warning
    annotations:
      description: '{{$labels.cluster}} Sending tps too high.'
      summary: cluster send tps too high
  - alert: RocketMQClusterProduceLow
    expr: sum(rocketmq_producer_tps) by (cluster) < 1
    for: 3m
    labels:
      severity: warning
    annotations:
      description: '{{$labels.cluster}} Sending tps too low.'
      summary: cluster send tps too low
  - alert: RocketMQClusterConsumeHigh
    expr: sum(rocketmq_consumer_tps) by (cluster) >= 10
    for: 3m
    labels:
      severity: warning
    annotations:
      description: '{{$labels.cluster}} consuming tps too high.'
      summary: cluster consume tps too high
  - alert: RocketMQClusterConsumeLow
    expr: sum(rocketmq_consumer_tps) by (cluster) < 1
    for: 3m
    labels:
      severity: warning
    annotations:
      description: '{{$labels.cluster}} consuming tps too low.'
      summary: cluster consume tps too low
  - alert: ConsumerFallingBehind
    expr: (sum(rocketmq_producer_offset) by (topic) - on(topic)  group_right  sum(rocketmq_consumer_offset) by (group,topic)) - ignoring(group) group_left sum (avg_over_time(rocketmq_producer_tps[5m])) by (topic)*5*60 > 0
    for: 3m
    labels:
      severity: warning
    annotations:
      description: 'consumer {{$labels.group}} on {{$labels.topic}} lag behind
        and is falling behind (behind value {{$value}}).'
      summary: consumer lag behind
  - alert: GroupGetLatencyByStoretime
    expr: rocketmq_group_get_latency_by_storetime > 1000
    for: 3m
    labels:
      severity: warning
    annotations:
      description: 'consumer {{$labels.group}} on {{$labels.broker}}, {{$labels.topic}} consume time lag behind message store time
        and (behind value is {{$value}}).'
      summary: message consumes time lag behind message store time too much 
```

最終，可以在 Prometheus 的看一下告警展示效果，紅色表示當前處於告警狀態的項，綠色表示正常狀態。

![9.png](https://ucc.alicdn.com/pic/developer-ecology/0ed858291d8d404eadd2786073b8bf95.png)

## 6. Grafana dashboard for RocketMQ
Prometheus 自身的指標展示平臺沒有當前流行的展示平臺 Grafana 好， 為了更好的展示 RocketMQ 的指標，可以使用 Grafana 來展示 Prometheus 獲取的指標。

首先到官網去下載：[_https://grafana.com/grafana/download_](https://grafana.com/grafana/download)，這裡仍以二進位制檔案安裝為例進行介紹。

```
wget https://dl.grafana.com/oss/release/grafana-6.2.5.linux-amd64.tar.gz 
tar -zxvf grafana-6.2.5.linux-amd64.tar.gz
cd grafana-5.4.3/
```

同樣為了不與其它程式的使用埠衝突，可以修改 conf 目錄下的 defaults.ini 檔案的監聽埠，當前將 grafana 的監聽埠改為 55555，然後使用如下的命令啟動即可：

```
./bin/grafana-server web
```
然後透過瀏覽器訪問 http://:55555,就可以驗證 grafana 是否已成功安裝。系統預設使用者名稱和密碼為 admin/admin，第一次登陸系統會要求修改密碼，修改密碼後登陸，介面顯示如下：

![10.png](https://ucc.alicdn.com/pic/developer-ecology/82bf54ea30bd49bfb2f8aab8586f0fcc.png)

點選 Add data source 按鈕，會要求選擇資料來源。

![11.png](https://ucc.alicdn.com/pic/developer-ecology/e73cd90778114db5af573d4b33ac72cf.png)

選擇資料來源為 Prometheus，設定資料來源的地址為前面步驟啟動的 Prometheus 的地址。

![12.png](https://ucc.alicdn.com/pic/developer-ecology/6daba98316c5478b9fabd8fe121c6c25.png)

回到主介面會要求建立新的 Dashboard。

![13.png](https://ucc.alicdn.com/pic/developer-ecology/19a4c1d770af418193453cff0bb4c297.png)

點選建立 dashboard，建立 dashboard 可以自己手動建立，也可以以配置檔案匯入的方式建立，當前已將 RocketMQ 的 dashboard 配置檔案上傳到 Grafana 的官網，這裡以配置檔案匯入的方式進行建立。

![14.png](https://ucc.alicdn.com/pic/developer-ecology/fa125a7ecc1347019b6d4880c63a6edc.png)

點選 New dashboard 下拉按鈕。

![15.png](https://ucc.alicdn.com/pic/developer-ecology/043d9411fbae46f7b4f5cd75c4ea9cfe.png)

選擇 import dashboard。

![16.png](https://ucc.alicdn.com/pic/developer-ecology/e2fb292f8dcb4553a270243c41e7d018.png)

這個時候可以到 Grafana 官網去下載當前已為 RocketMQ 建立好的配置檔案，地址為：[_https://grafana.com/dashboards/10477/revisions_](https://grafana.com/dashboards/10477/revisions)，如下圖所示：

![17.png](https://ucc.alicdn.com/pic/developer-ecology/ef592396badd41b0a19071e9a6fe0219.png)

點選 download 就可以下載配置檔案，下載配置檔案然後，複製配置檔案中的內容貼上到上圖的貼上內容處。

最後按上述方式就將配置檔案匯入到 Grafana 了。

![18.png](https://ucc.alicdn.com/pic/developer-ecology/0c687fa93bce4416a4d17a763a71990f.png)

最終的效果如下所示：

![19.png](https://ucc.alicdn.com/pic/developer-ecology/fb3e84f2c25b4a03b5d7362cf7bb410a.png)

## 作者簡介
**陳厚道**，曾就職於騰訊、盛大、鬥魚等網際網路公司。目前就職於尚德機構，在尚德機構負責基礎架構方面的設計和開發工作。對分散式訊息佇列、微服務架構和落地、DevOps 和監控平臺有比較深入的研究。

**馮慶**，曾就職於華為。目前就職於尚德機構，在尚德機構基礎架構團隊負責基礎元件的開發工作。

基於 RocketMQ Prometheus Exporter 打造定製化 DevOps 平臺

相關文章