IoT 邊緣叢集基於 Kubernetes Events 的告警通知實現

東風微鳴發表於2023-02-16

背景

邊緣叢集（基於樹莓派 + K3S) 需要實現基本的告警功能。

邊緣叢集限制

CPU/記憶體/儲存資源緊張，無法支撐至少需要 2GB 以上記憶體和大量儲存的基於 Prometheus 的完整監控體系方案（即使是基於 Prometheus Agent, 也無法支撐）（需要避免額外的儲存和計算資源消耗）
網路條件，無法支撐監控體系，因為監控體系一般都需要每 1min 定時（或每時每刻）傳輸資料，且資料量不小；
1. 存在 5G 收費網路的情況，且訪問的目的端地址需要開通許可權，且按照流量收費，且因為 5G 網路條件，網路傳輸能力受限，且不穩定（可能會在一段時間內離線）;

關鍵需求

總結下來，關鍵需求如下：

實現對邊緣叢集異常的及時告警，需要知道邊緣叢集正在發生的異常情況；
網路：網路條件情況較差，網路流量少，只只能開通極少數目的端地址，可以容忍網路不穩定（一段時間內離線）的情況；
資源：需要儘量避免額外的儲存和計算資源消耗

方案

綜上所訴，採用如下方案實現：

基於 Kubernetes Events 的告警通知

架構圖

kubernetes-events-arch

技術方案規劃

從 Kubernetes 的各項資源收集 Events, 如：
1. pod
2. node
3. kubelet
4. crd
5. ...
透過 kubernetes-event-exporter 元件來實現對 Kubernetes Events 的收集；
只篩選 Warning 級別 Events 供告警通知（後續，條件可以進一步定義）
告警透過飛書 webhook 等通訊工具進行傳送（後續，傳送渠道可以增加）

實施步驟

手動方式：

在邊緣叢集上，執行如下操作：

1. 建立 roles

如下：

cat << _EOF_ | kubectl apply -f -
---
apiVersion: v1
kind: Namespace
metadata:
  name: monitoring
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: event-exporter-extra
rules:
  - apiGroups:
      - ""
    resources:
      - nodes
    verbs:
      - get
      - list
      - watch
---
apiVersion: v1
kind: ServiceAccount
metadata:
  namespace: monitoring
  name: event-exporter
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: event-exporter
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: view
subjects:
  - kind: ServiceAccount
    namespace: monitoring
    name: event-exporter
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: event-exporter-extra
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: event-exporter-extra
subjects:
  - kind: ServiceAccount
    namespace: kube-event-export
    name: event-exporter
_EOF_

2. 建立 `kubernetes-event-exporter` config

如下：

cat << _EOF_ | kubectl apply -f -
apiVersion: v1
kind: ConfigMap
metadata:
  name: event-exporter-cfg
  namespace: monitoring
data:
  config.yaml: |
    logLevel: error
    logFormat: json
    route:
      routes:
        - match:
            - receiver: "dump"      
        - drop:
            - type: "Normal"
          match:
            - receiver: "feishu"                     
    receivers:
      - name: "dump"
        stdout: {}
      - name: "feishu"
        webhook:
          endpoint: "https://open.feishu.cn/open-apis/bot/v2/hook/..."
          headers:
            Content-Type: application/json
          layout:
            msg_type: interactive
            card:
              config:
                wide_screen_mode: true
                enable_forward: true
              header:
                title:
                  tag: plain_text
                  content: XXX IoT K3S 叢集告警
                template: red
              elements:
                - tag: div
                  text: 
                    tag: lark_md
                    content: "**EventType:**  {{ .Type }}\n**EventKind:**  {{ .InvolvedObject.Kind }}\n**EventReason:**  {{ .Reason }}\n**EventTime:**  {{ .LastTimestamp }}\n**EventMessage:**  {{ .Message }}"
      
_EOF_

? 注意：

endpoint: "https://open.feishu.cn/open-apis/bot/v2/hook/..." 按需修改為對應的 webhook endpoint, ❌切記勿對外公佈！!!
content: XXX IoT K3S 叢集告警: 按需調整為方便快速識別的名稱，如："家裡測試 K3S 叢集告警"

3. 建立 Deployment

cat << _EOF_ | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: event-exporter
  namespace: monitoring
spec:
  replicas: 1
  selector:
    matchLabels:
      app: event-exporter
      version: v1
  template:
    metadata:
      labels:
        app: event-exporter
        version: v1
    spec:
      volumes:
        - name: cfg
          configMap:
            name: event-exporter-cfg
            defaultMode: 420
        - name: localtime
          hostPath:
            path: /etc/localtime
            type: ''
        - name: zoneinfo
          hostPath:
            path: /usr/share/zoneinfo
            type: ''
      containers:
        - name: event-exporter
          image: ghcr.io/opsgenie/kubernetes-event-exporter:v0.11
          args:
            - '-conf=/data/config.yaml'
          env:
            - name: TZ
              value: Asia/Shanghai
          volumeMounts:
            - name: cfg
              mountPath: /data
            - name: localtime
              readOnly: true
              mountPath: /etc/localtime
            - name: zoneinfo
              readOnly: true
              mountPath: /usr/share/zoneinfo
          imagePullPolicy: IfNotPresent
      serviceAccount: event-exporter
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 100
              preference:
                matchExpressions:
                  - key: node-role.kubernetes.io/controlplane
                    operator: In
                    values:
                      - 'true'
            - weight: 100
              preference:
                matchExpressions:
                  - key: node-role.kubernetes.io/control-plane
                    operator: In
                    values:
                      - 'true'
            - weight: 100
              preference:
                matchExpressions:
                  - key: node-role.kubernetes.io/master
                    operator: In
                    values:
                      - 'true'    
      tolerations:
        - key: node-role.kubernetes.io/controlplane
          value: 'true'
          effect: NoSchedule
        - key: node-role.kubernetes.io/control-plane
          operator: Exists
          effect: NoSchedule
        - key: node-role.kubernetes.io/master
          operator: Exists
          effect: NoSchedule      
_EOF_

? 說明：

event-exporter-cfg 相關配置，是用於載入以 ConfigMap 形式儲存的配置檔案；
localtime zoneinfo TZ 相關配置，是用於修改該 pod 的時區為Asia/Shanghai, 以使得最終顯示的通知效果為 CST 時區；
affinity tolerations 相關配置，是為了確保：無論如何，優先排程到 master node 上去，按需調整，此處是因為 master 往往在邊緣叢集中作為閘道器存在，配置較高，且線上時間較長；

自動化部署

效果：安裝 K3S 時就自動部署

在 K3S server 所在節點，/var/lib/rancher/k3s/server/manifests/ 目錄（如果沒有該目錄就先建立）下，建立 event-exporter.yaml

---
apiVersion: v1
kind: Namespace
metadata:
  name: monitoring
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: event-exporter-extra
rules:
  - apiGroups:
      - ""
    resources:
      - nodes
    verbs:
      - get
      - list
      - watch
---
apiVersion: v1
kind: ServiceAccount
metadata:
  namespace: monitoring
  name: event-exporter
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: event-exporter
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: view
subjects:
  - kind: ServiceAccount
    namespace: monitoring
    name: event-exporter
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: event-exporter-extra
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: event-exporter-extra
subjects:
  - kind: ServiceAccount
    namespace: kube-event-export
    name: event-exporter
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: event-exporter-cfg
  namespace: monitoring
data:
  config.yaml: |
    logLevel: error
    logFormat: json
    route:
      routes:
        - match:
            - receiver: "dump"      
        - drop:
            - type: "Normal"
          match:
            - receiver: "feishu"                     
    receivers:
      - name: "dump"
        stdout: {}
      - name: "feishu"
        webhook:
          endpoint: "https://open.feishu.cn/open-apis/bot/v2/hook/dc4fd384-996b-4d20-87cf-45b3518869ec"
          headers:
            Content-Type: application/json
          layout:
            msg_type: interactive
            card:
              config:
                wide_screen_mode: true
                enable_forward: true
              header:
                title:
                  tag: plain_text
                  content: xxxK3S叢集告警
                template: red
              elements:
                - tag: div
                  text: 
                    tag: lark_md
                    content: "**EventType:**  {{ .Type }}\n**EventKind:**  {{ .InvolvedObject.Kind }}\n**EventReason:**  {{ .Reason }}\n**EventTime:**  {{ .LastTimestamp }}\n**EventMessage:**  {{ .Message }}"
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: event-exporter
  namespace: monitoring
spec:
  replicas: 1
  selector:
    matchLabels:
      app: event-exporter
      version: v1
  template:
    metadata:
      labels:
        app: event-exporter
        version: v1
    spec:
      volumes:
        - name: cfg
          configMap:
            name: event-exporter-cfg
            defaultMode: 420
        - name: localtime
          hostPath:
            path: /etc/localtime
            type: ''
        - name: zoneinfo
          hostPath:
            path: /usr/share/zoneinfo
            type: ''
      containers:
        - name: event-exporter
          image: ghcr.io/opsgenie/kubernetes-event-exporter:v0.11
          args:
            - '-conf=/data/config.yaml'
          env:
            - name: TZ
              value: Asia/Shanghai
          volumeMounts:
            - name: cfg
              mountPath: /data
            - name: localtime
              readOnly: true
              mountPath: /etc/localtime
            - name: zoneinfo
              readOnly: true
              mountPath: /usr/share/zoneinfo
          imagePullPolicy: IfNotPresent
      serviceAccount: event-exporter
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 100
              preference:
                matchExpressions:
                  - key: node-role.kubernetes.io/controlplane
                    operator: In
                    values:
                      - 'true'
            - weight: 100
              preference:
                matchExpressions:
                  - key: node-role.kubernetes.io/control-plane
                    operator: In
                    values:
                      - 'true'
            - weight: 100
              preference:
                matchExpressions:
                  - key: node-role.kubernetes.io/master
                    operator: In
                    values:
                      - 'true'    
      tolerations:
        - key: node-role.kubernetes.io/controlplane
          value: 'true'
          effect: NoSchedule
        - key: node-role.kubernetes.io/control-plane
          operator: Exists
          effect: NoSchedule
        - key: node-role.kubernetes.io/master
          operator: Exists
          effect: NoSchedule

之後啟動 K3S 就會自動部署。

?️Reference:
自動部署 manifests 和 Helm charts | Rancher 文件

最終效果

如下圖：

?️參考文件

三人行, 必有我師; 知識共享, 天下為公. 本文由東風微鳴技術部落格 EWhisper.cn 編寫.

IoT 邊緣叢集基於 Kubernetes Events 的告警通知實現（二）：進一步配置
2023-02-17
搭建異構 CPU 組成的邊緣計算 Kubernetes 叢集
2020-04-26
大規模 IoT 邊緣容器叢集管理的幾種架構-0-邊緣容器及架構簡介
2023-02-19
架構
大規模 IoT 邊緣容器叢集管理的幾種架構-4-Kubeedge
2023-02-23
架構
基於containerd 部署 kubernetes 1.28叢集
2024-03-29
AI
基於Kubernetes v1.24.0的叢集搭建（二）
2022-06-15
基於Kubernetes v1.24.0的叢集搭建（三）
2022-06-17
基於Kubernetes v1.24.0的叢集搭建（一）
2022-06-14
邊緣叢集場景下的映象快取
2021-06-09
快取
大規模 IoT 邊緣容器叢集管理的幾種架構-1-Rancher+K3s
2023-02-20
架構
大規模 IoT 邊緣容器叢集管理的幾種架構-2-HashiCorp 解決方案 Nomad
2023-02-21
架構
基於 ZooKeeper 實現爬蟲叢集的監控
2021-09-09
爬蟲
快速實現釘釘告警通知、處理告警、關閉告警
2020-03-19
基於KubeEdge的邊緣節點分組管理設計與實現
2022-09-13
基於Jenkins + Argo 實現多叢集的持續交付
2024-03-20
JenkinsGo
如何實現告警的郵件通知方式？
2020-04-02
基於Ubuntu部署企業級kubernetes叢集---k8s叢集容部署
2024-08-29
UbuntuK8S
基於istio實現單叢集地域故障轉移
2024-04-10
基於Docker和Kubernetes構建的部署管理和叢集管理
2018-08-07
Docker
starrocks基於prometheus實現監控告警
2023-04-26
Prometheus
Zabbix實現電話告警通知的配置方法分享
2019-11-04
如何快速實現告警簡訊的通知方式？
2020-03-26
實現Kubernetes跨叢集服務應用的高可用
2019-04-15
邊緣計算，如何啃下叢集管理這塊硬骨頭?
2020-09-08
ES系列(二)：基於多播的叢集發現實現原理解析
2021-04-18
IoT邊緣，你究竟是何方神聖？
2021-09-03
在大規模 Kubernetes 叢集上實現高 SLO 的方法
2020-11-06
雲上影片業務基於邊緣容器的技術實踐
2021-01-12
邊緣計算k8s叢集SuperEdge初體驗
2021-01-21
K8S
基於Dokcer搭建Redis叢集（主從叢集）
2020-12-10
Redis
Grafana系列-Loki-基於日誌實現告警
2023-12-10
GrafanaLoki
GraalVM(雲原生時代的Java)和IoT在邊緣側落地與實踐
2023-04-25
LVMJava
OpenYurt：延伸原生 Kubernetes 到邊緣場景下的落地實踐
2021-02-04
利用觀測雲實現 Kubernetes 多叢集可觀測
2024-02-29
雲上視訊業務基於邊緣容器的技術實踐
2021-01-12
用 edgeadm 一鍵安裝邊緣 K8s 叢集和原生 K8s 叢集
2021-05-18
K8S
架構設計｜基於 raft-listener 實現實時同步的主備叢集
2024-04-17
架構Raft
秒懂邊緣雲 | CDN基礎入門：CDN監測、計量與告警
2022-09-05