Prometheus多叢集監控的3種方案，你選哪種？

华为云开发者联盟發表於2024-03-14

Prometheus

本文分享自華為雲社群《Prometheus多叢集監控方案》，作者：可以交個朋友。

一、背景

不少使用者在k8s叢集外裸機環境部署了prometheus監控元件想要查詢k8s叢集的監控指標，又或者是想採集多個k8s叢集中的節點指標，容器指標，master元件指標等。

二、Prometheus多叢集監控能力介紹

當前透過Prometheus採集多套k8s叢集中的容器指標通常有三種方式。

透過APIServer代理的方式獲取k8s叢集指標，直接在prometheus.yml配置相關其他kubernetes叢集資訊，實現一個prometheus同時採集多個kubernetes叢集資訊
透過prometheus 聯邦模式，實現一個prometheus拉取其他prometheus 資料
透過Prometheus Agent模式remote write遠端儲存，實現多個prometheus向同一個prometheus 輸出資料（推薦）

三種方式對比分析

APIServer方式解決了資料冗餘的方式，但是引入了配置的複雜性。同時隨著k8s叢集規模擴大，走APIServer代理請求獲取叢集指標資料對AIserver負載過大。
Prometheus聯邦機制相對來說配置簡單，最早的多叢集監控方案。但是缺點也很明顯: 佔用資源較多,出現資料冗餘; global Prometheus 彙總葉子Prometheus資料，處理資料壓力大。
Prometheus Agent remote write方案配置簡單，可以解決多叢集監控資料冗餘問題。同時可在remotewrite中配置過濾規則，減輕遠端Prometheus資料處理壓力

綜上所述關於多叢集監控方式，比較推薦Prometheus Agent remote write方案

三、配置實現

3.1 一個prometheus同時採集多個kubernetes叢集操作

promethues透過配置bearer token，利用apiserver 代理的的形式，獲取k8s叢集的node指標，容器指標。

在目標叢集建立Prometheus訪問Kubernetes資源物件的RBAC資源

kubectl apply -f prometheus_rbac.yaml，目的為了Prometheus使用該serviceAccount能夠自動發現叢集相關資源，並擁有執行get list 等許可權

apiVersion: v1
kind: ServiceAccount
metadata:
  name: prometheus-test
  namespace: kube-system

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: prometheus-test
rules:
- apiGroups:
  - ""
  resources:
  - nodes
  - services
  - endpoints
  - pods
  - nodes/proxy
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - "extensions"
  resources:
    - ingresses
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - configmaps
  - nodes/metrics
  verbs:
  - get
- nonResourceURLs:
  - /metrics
  verbs:
  - get
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: prometheus-test
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: prometheus-test
subjects:
- kind: ServiceAccount
  name: prometheus-test
  namespace: kube-system

從目標叢集獲取token憑證

1.21以前版本的叢集中，Pod中獲取Token的形式是透過掛載ServiceAccount的Secret來獲取Token，這種方式獲得的Token是永久的。該方式在1.21及以上的版本中不再推薦使用，並且根據社群版本迭代策略，在1.25及以上版本的叢集中，ServiceAccount將不會自動建立對應的Secret。可參考kubernetes官方提供的如何建立長期token: https://kubernetes.io/zh-cn/docs/tasks/configure-pod-container/configure-service-account/#manually-create-an-api-token-for-a-serviceaccount