## 引言

隨著雲端計算的普及，企業用到越來越多雲產品，例如：ECS、RDS、Redis 等。服務眾多企業之後，阿里雲可觀測團隊發現在運維場景愈發精細化的今天，對於指標按需再加工、對於告警規則的靈活設定成為剛需，雲監控等基礎預設監控能力，無法滿足當下的運維需求，例如：

1.  檢視各 Region ECS CPU 使用率 Top10；
1.  為 Kafka 服務連續 10 分鐘堆積增量超過 500 的 ConsumerGroup 設定告警；
1.  基於磁碟空間的變化預測清理時間，避免告警無法及時處理導致故障。

與此同時，Prometheus + Grafana 成為可觀測性事實標準。運維團隊可以使用 Prometheus 監控雲原生 Kubernetes 體系 Node、ApiServer、workload 等基礎指標的同時，還可以透過 Prometheus Exporters 採集各種元件（如 Redis、Kafka 等）和業務應用的相關指標，最後透過 Grafana 進行整體視覺化展示，藉助 AlertManager 進行告警，實現雲原生時代的指標可觀測閉環。

回到最開始的話題，隨著雲產品應用愈發普及，基於“Prometheus + Grafana”的指標可觀測體系是否可以針對雲產品的相關指標提供更加精細化的加工與應用能力，實現對雲產品的指標可觀測閉環？

**答案是肯定的。**

## 自建 Prometheus 監控雲產品的挑戰

雖然 Prometheus 官方社群維護了很多 Exporter，第三方廠商或者主流開源專案也參與到貢獻及維護中。但由於雲產品的特殊性，如果使用者想要透過自建 Prometheus 去監控雲產品，就需要使用者透過 Prometheus Exporter 形式將觀測到的 Metric 資料收集到服務端。但這裡就會出現一些關於 Exporter 的額外工作量：

-   **額外的研發工作量**

雖然官方提供了四種語言（Go/Java/Python/Rubby）的正式客戶端庫用來開發一個整合 http server 的 Exporter 庫，並提供了完整的開發規範。但這需要運維工程師針對不同雲產品開發定製 Exporter（呼叫企業雲監控實時匯出服務獲取 Metric 資料），對於開箱即用的雲服務而言，拖慢了業務上線效率。

-   **額外的 Exporter 資源消耗**

由於 Exporter 本身提供了一個 REST 伺服器，會帶來一些執行緒消耗，隨著 Exporter 接入雲產品越多、指標越多消耗的資源也會隨之越多。

可以看到，雖然運維工程師可以透過自研 Eexporter 完成對於雲產品的監控，但有沒有更簡單的方式？

阿里雲 Prometheus 服務(下面簡稱 Prometheus)成為最佳選擇，提供全託管、開箱即用的雲產品指標監控能力，並結合常見運維場景，預置若干多維度監控大盤以滿足常見監控場景。針對不同雲產品可觀測性整合情況，提供「企業雲監控整合」以及「雲產品自監控整合」兩種不同接入模式，最大限度的降低運維接入成本。

## 如何透過阿里雲 Prometheus 服務監控雲產品

根據不同雲產品的 Prometheus 整合情況，Prometheus 服務的雲產品監控分為「企業雲監控整合」以及「雲產品自監控整合」兩種形式，接下來我們將進行詳細解讀。

### 企業雲監控整合

阿里雲部分雲產品在產品控制檯預設整合了 Prometheus 監控，但還有眾多雲產品尚未整合 Prometheus。為了能透過 Prometheus 服務監控這部分雲產品，我們提供企業雲監控整合模式，透過企業雲監控獲取監控指標，指標上報流量費用由雲監控收取(收費標準)，Prometheus 免費儲存及應用。**在使用者運維成本未增加的前提下，獲得了 Prometheus 更精細與靈活的的指標加工與應用能力。**

部署形式如下圖：

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7e00b16d378140e0931992fbe8e974fa~tplv-k3u1fbpfcp-zoom-1.image "1.png")

-   **Exporter**：以 Pod 方式部署在 Prometheus 企業雲監控整合的託管 K8s 叢集，透過呼叫企業雲監控實時匯出 API 收集已整合的雲產品指標資料；
-   **Agent**：Arms Prometheus Agent
-   **Alarm**：定義整合的雲產品告警模板
-   **Grafana**：提供已整合的雲產品預設大盤

對於雲產品控制檯目前尚不支援Prometheus監控的產品，透過該方式實現產品指標監控，目前支援 25 款雲產品並不斷擴增。企業雲監控整合目前僅支援國內 Region，海外 Region 暫未開放。雲產品接入後，包含全部 Region 監控指標。目前已接入產品包括：

-   彈性計算類：阿里雲 ECS；
-   儲存類、阿里雲 SLS、阿里雲 OSS；
-   網路類：阿里雲 ALB、阿里雲 API 閘道器、阿里雲 Connector、阿里雲 CDN、阿里雲 CEN、阿里雲 DCDN、阿里雲 Cloud NAT、阿里雲 EIP；
-   大資料類：阿里雲 E-MapReduce、阿里雲 Elasticsearch、阿里雲 Logstash；
-   資料庫類：阿里雲 PolarDB、阿里雲 RDS PostgreSQL、阿里雲 RDS MySQL、阿里雲 Redis、阿里雲 RDS SQLServer、阿里雲 Hologres、阿里雲 ADB、阿里雲 DRDS、阿里雲 DTS；
-   安全類：阿里雲 WAF；

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e2d84b1e3c4641e9ba4c73b8860002fd~tplv-k3u1fbpfcp-zoom-1.image "2.png")

### 雲產品自監控整合

目前，部分雲產品在各自控制檯提供了自身產品的可觀測性，但這些雲產品的指標及看板散落在各個控制檯。為了能將這些資料進行統一展現。Prometheus 服務提供了雲產品自監控整合形式，雲產品自監控整合的相關指標來源於各雲產品，為運維團隊提供更加便捷的日常運維監控介面。

部署形式如下：

![3.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8897011ad55740a2ada7b3c293b7060e~tplv-k3u1fbpfcp-zoom-1.image "3.jpeg")

-   **Exporter**：以 Pod 方式部署在雲產品側 K8s 叢集，負責收集雲產品指標資料；
-   **Agent**：Arms Prometheus Agent
-   **Alarm**：定義告警模板
-   **Grafana**：提供雲產品預設大盤

Prometheus 自監控整合 Tab 頁是雲產品控制檯支援 Prometheus 監控的所有云產品的概覽頁，展現當前賬號下雲產品的 Promehtheus 整合狀態、指標占比、大盤預覽、告警配置。目前已接入的產品包括：

-   資料庫類：阿里雲 Clickhouse、阿里雲 Lindorm、雲資料庫 MongoDB；
-   訊息佇列類：訊息佇列 RabbitMQ、訊息佇列 Kafka、訊息佇列 RocketMQ；
-   中介軟體類：企業級分散式應用服務 EDAS、微服務引擎 MSE - 雲原生閘道器、微服務應用引擎 SAE、應用高可用服務 AHAS；
-   運維類：Grafana 服務、效能測試 PTS；

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/03a26129b9a241bfa8f2958900b2ccfc~tplv-k3u1fbpfcp-zoom-1.image "4.png")

## 最佳實踐

### 企業雲監控整合

-   **雲產品接入**

登入 Prometheus 控制檯，點選左側選單“接入中心”選擇任意雲產品後彈出接入頁面，選擇待接入的雲產品安裝即可，安裝完成後會建立一個名為“企業雲服務”的 Prometheus 例項。

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0352c7f5c40e4b14bda18047b94d4e3d~tplv-k3u1fbpfcp-zoom-1.image "5.png")

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/038509f809594b74a3043330d83e8ecf~tplv-k3u1fbpfcp-zoom-1.image "6.png")

-   **監控指標**

點選“雲服務例項”，選擇相應雲產品圖示會彈出一個包含指標、大盤和告警 3 個 tab 頁的視窗。指標頁預設包括：指標、類別、描述 3 項基本資訊，已整合雲產品除預設項外還包括最近 10 分鐘的指標量和佔比。

ECS 如圖：

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ef8600021637464e9a0f96c2c728feee~tplv-k3u1fbpfcp-zoom-1.image "7.png")

-   **Grafana 大盤**

大盤頁預設顯示該雲產品的所有 Grafana 預設大盤縮圖。已整合的雲產品點選縮圖或 Title 連結會跳轉至阿里雲 Grafana 監控大盤，未整合的雲產品點選縮圖或 Title 連結會顯示 Grafana 監控大圖。

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/915e83eb5fd64b5d8868fa7efd20632d~tplv-k3u1fbpfcp-zoom-1.image "8.png")

-   ECS 例項詳情：提供 ECS 例項的 CPU、記憶體、磁碟、網路等系統指標的監控，篩選維度包括：區域、ECS 標籤、例項名、例項 ID；
-   ECS 全域性公網大盤：提供 ECS 例項公網流入、流出頻寬合計、TOP 等指標；
-   ECS 例項利用率排序大盤：支援 region 和全域性維度 TOP 例項，主要指標：CPU 利用率、記憶體利用率、網路連線等；
-   ECS 資源區域分佈大盤：支援 ECS 例項、CPU、記憶體、磁碟、網路連線等按區域分佈統計；

-   **告警配置**

告警頁預設顯示該雲產品配置的所有告警規則：

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/82dcf6d61afc472ca30f34f71960150a~tplv-k3u1fbpfcp-zoom-1.image "9.png")

點選“建立 Prometheus 告警規則”透過預設告警模板設定或自定義 PromQL 完成告警規則的建立(自定義 PromQL 指標名可參考步驟“雲產品指標”)。

![10.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/04456f0226824d70980f66c3be80fb25~tplv-k3u1fbpfcp-zoom-1.image "10.png")

-   **預設告警規則**

-   CPU 利用率

```
AliyunEcs_cpu_total{} > 80
```

-   記憶體利用率

```
AliyunEcs_memory_usedutilization{} > 90
```

-   磁碟利用率：磁碟使用率超過 90%時需要進行磁碟清理

```
AliyunEcs_diskusage_utilization{} > 90
```

-   磁碟剩餘空間不足：當磁碟剩餘空間小於 5G 時考慮清理

```
AliyunEcs_diskusage_free{} < 1024*1024*1024*5
```

-   **熱點指標**

![11.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/abbb885c2e064f79b495677d53f47edb~tplv-k3u1fbpfcp-zoom-1.image "11.png")

### 雲產品自監控整合

在開通雲產品並建立例項時，會有開通 ARMS Prometheus 相關選項，建立完成後即可透過 Prometheus 實現該產品的指標監控。以“MSE 服務-雲服務閘道器”為例：

1. 建立例項時開通 Prometheus 監控

![12.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/aa9b89b0fd38458fa3d49b63510ade9c~tplv-k3u1fbpfcp-zoom-1.image "12.png")

2. 產品控制檯監控入口

![13.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8b5f1b90ca3f48f9949483f29d4bc963~tplv-k3u1fbpfcp-zoom-1.image "13.png")

## Grafana 專業版

雲服務例項預設使用 Grafana 共享版，如果預設大盤不能滿足運維團隊可觀測需求或者想在預設大盤基礎上進行最佳化，可增購 Grafana 專家版或高階版。

![14.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/cbaa0e8ae6d4465e98776268df4e64b4~tplv-k3u1fbpfcp-zoom-1.image "14.png")

## 關於阿里雲 Prometheus 監控

阿里雲 Prometheus 服務是基於雲原生可觀測事實標準 - Prometheus 開源專案構建的全託管監控服務。預設整合常見雲服務，相容主流開源元件，全面覆蓋業務監控/應用層監控/中介軟體監控/系統層監控。透過開箱即用的 Grafana 看板與智慧告警功能，並全面最佳化探針效能與系統可用性，幫助企業快速搭建一站式指標可觀測體系。助業務快速發現和定位問題，減輕故障給業務帶來的影響，並免去系統搭建與日常維護工作量，有效提升運維監控效率。

![15.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ee8a5abe57004b17b5b6c8ef8f56de30~tplv-k3u1fbpfcp-zoom-1.image "15.png")

與此同時，阿里雲 Prometheus 作為阿里雲可觀測套件的重要組成部分，與 Grafana 服務、鏈路追蹤服務，形成指標儲存分析、鏈路儲存分析、異構構資料來源整合的可觀測資料層，同時透過標準的 PromQL 和 SQL，提供資料大盤展示，告警和資料探索能力。為 IT 成本管理、企業風險治理、智慧運維、業務連續性保障等不同場景賦予資料價值，讓可觀測資料真正做到不止於觀測。

![16.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/971b61e4211e4648a6ce45117512c48d~tplv-k3u1fbpfcp-zoom-1.image "16.png")

可觀測實踐｜如何利用 Prometheus 精細化觀測雲產品

相關文章