在 KubeSphere 中使用 DevOps 部署 Java 微服務配置監控預警

作者：醬油瓶，攜程後端技術專家， KubeSphere 社群使用者

開發 Java 微服務並引入監控元件

我們基於 Spring Cloud +Nacos 開發 Java 微服務，Java 服務開發不做過多的敘述。

專案中引入 Actuator

我們在專案的 bom 中引入 Spring Boot Actuator，它提供了多種特性來監控和管理應用程式，可以基於 HTTP，也可以基於 JMX。

         <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>

配置 Actuator

引入 Actuator 後，原則上我們無需做任何配置即可使用，在我們專案中我們結合實際需求及提升安全性做了如下配置：

management.health.elasticsearch.enabled=false
management.endpoints.web.exposure.include=*
management.endpoints.web.base-path=/api/actuator
management.metrics.tags.application=${service.name}
management.metrics.tags.appid=${service.appid}
management.server.port=8090

management.server.port：啟用獨立的埠來提供監控，避免監控相關 api 暴露在服務外；
management.metrics.tags.xxx：在統計資訊中新增自定義的標籤；
management.endpoints.web.exposure.include：用於包含我們要公開的端點列表 , 我們這裡設定為* 代表所有。

觀察應用程式監控資料

當我們執行編寫好的程式後，通過訪問 http://localhost:8090/api/actuator/prometheus 可以看到類似如下資料，其中就有我們通過配置新增的 tag 資料，後續我們部署的 monitor 會通過如下地址將資料採集到 Prometheus 中。

應用部署配置

1. 編寫 DevOps 檔案

pipeline {
  agent {
    node {
      label 'maven'
    }
  }
    options{
      buildDiscarder(logRotator(numToKeepStr: '10'))
    }
    parameters {
        string(name:'APP_NAME',defaultValue: 'accounts-service',description:'應用名稱 必須使用小寫 需跟maven構建中一致')
        string(name:'PROJECT_NAMESPACE',defaultValue: 'basebiz',description:'部署專案集名稱')
        string(name:'SERVICE_SRC_PATH',defaultValue: 'accounts-service-webapp',description:'war包路徑')
        string(name:'PROGECT_GIT_PATH',defaultValue:'basebiz/accounts-service.git',description:'專案gitlabpath ')
        string(name:'TAG_NAME',defaultValue: '',description:'tag 釋出線上必須填寫 格式v20210101(v+當前日期)')
        string(name:'PODCOUNT',defaultValue: '2',description:'部署pod數量')
        string(name:'HEALTH_CHECK_URI',defaultValue: '/api/actuator/health',description:'健康檢測地址')
    }
    environment {
        //構建映象
        REGISTRY = 'hub.xxxx.cn'
        DOCKERHUB_NAMESPACE = 'app'
        DOCKER_CREDENTIAL_ID = 'dockerhub-account' //hub賬號金鑰
        GITHUB_CREDENTIAL_ID = 'gitlab-account' //gitlab賬號金鑰
        //環境部署憑證
        KUBECONFIG_CREDENTIAL_ID_DEV = 'testing-kubeconfig'
        KUBECONFIG_CREDENTIAL_ID_VIEW = 'xxxxaliyun-testing'
        KUBECONFIG_CREDENTIAL_ID_PROD = 'xxx-prod'
        DOWNLOAD_BASEDOMAIN = 'gitlab.xxxx.cn' //公共資源下載
        COMMIT_ID= sh(  returnStdout: true, script: 'git rev-parse --short HEAD').trim()

    }
 stages {
        stage ('遷出程式碼') {
            steps {
                checkout(scm)
            }
        }
        stage ('編譯') {
            steps {
                container ('maven') {

                    //***************************************
                    //**************下載通用模版***************
                    sh 'curl -o `pwd`/start.sh https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/shell/springboot-start.sh'
                    sh 'curl -o `pwd`/settings.xml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/setting.xml'
                    sh 'curl -o `pwd`/Dockerfile https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/dockerfile/javaservice/dockerfile'
                    //***************************************
                    sh 'mkdir `pwd`/yaml'
                    sh 'curl -o `pwd`/yaml/devops-java.yaml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/yaml/java-service-v1.0.0.yaml'
                    sh 'mvn -Dmaven.test.skip=true -gs `pwd`/settings.xml clean package -U -Denv.trackerror=true'
                }
            }
        }

        stage('構建並推送映象'){
           steps{
                container ('maven') {
                  sh 'docker build --build-arg SERVICE_SRC_PATH=$SERVICE_SRC_PATH \
                     --build-arg GENERATE_PATH=generated-resources/appassembler/jsw/$APP_NAME \
                     --build-arg RELEASE_NAME=$BRANCH_NAME-$BUILD_NUMBER \
                     --build-arg APP_NAME=$APP_NAME \
                     -f Dockerfile \
                     -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID \
                     --no-cache .'
                  withCredentials([usernamePassword(passwordVariable : 'DOCKER_PASSWORD' ,usernameVariable : 'DOCKER_USERNAME' ,credentialsId : "$DOCKER_CREDENTIAL_ID" ,)]) {
                        sh 'echo "$DOCKER_PASSWORD" | docker login $REGISTRY -u "$DOCKER_USERNAME" --password-stdin'
                        sh 'docker push  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID'
                  }
                  sh 'docker tag  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest '
                  sh 'docker push  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest '
                }
           }
        }
         stage("gitlab 打 tag"){
          when{
            expression{
              return params.TAG_NAME =~ /v.*/
            }
          }
         steps {
                withCredentials([usernamePassword(credentialsId: "$GITHUB_CREDENTIAL_ID", passwordVariable: 'GIT_PASSWORD', usernameVariable: 'GIT_USERNAME')]) {
                                       sh 'git config --global user.email "xxxx@xxxx.cn" '
                                       sh 'git config --global user.name "xxxx" '
                                       sh 'git tag -a $TAG_NAME-$BUILD_NUMBER -m "$TAG_NAME" '
                                       sh 'git push https://$GIT_USERNAME:$GIT_PASSWORD@$DOWNLOAD_BASEDOMAIN/$PROGECT_GIT_PATH --tags --ipv4'
                                     }
                }
         }

        stage('部署測試環境') {
         // when{
         //   branch 'master'
         // }
          steps {
            //input(id: 'deploy-to-dev', message: 'deploy to dev?')
            kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_DEV")
          }
        }

        stage('部署生產環境') {
          when{
            expression{
              return params.TAG_NAME =~ /v.*/
            }
          }
          steps {
            input(id: 'deploy-to-prod', message: '是否允許釋出生產?')
            kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_PROD")
          }
        }
    }
}

Jenkinsfile 檔案描述瞭如下幾個過程：

下載通用模版檔案（maven setting、部署的 yaml 檔案，構建容器映象的 Dockerfile）
使用 Maven 編譯 Java 應用程式
將編譯後的 Java 應用程式打包為 Docker 映象
將構建好的 Docker 映象推送到私有 DockerHub 中
將容器映象部署到各個環境中

介面執行效果為：

2. 編寫部署的 yaml 檔案

# java deployment基本配置
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: $APP_NAME
    component: ${PROJECT_NAMESPACE}-${APP_NAME}
    release: java-actuator-prometheus
    tier: backend
  name: ${PROJECT_NAMESPACE}-${APP_NAME}
  namespace: ${PROJECT_NAMESPACE}
spec:
  progressDeadlineSeconds: 600
  replicas: ${PODCOUNT}
  selector:
    matchLabels:
      app: $APP_NAME
      component: ${PROJECT_NAMESPACE}-${APP_NAME}
      tier: backend
  template:
    metadata:
      labels:
        app: $APP_NAME
        component: ${PROJECT_NAMESPACE}-${APP_NAME}
        tier: backend
        release: java-actuator-prometheus
      annotations:
        prometheus.io/path: /api/actuator/prometheus
        prometheus.io/port: '8090'
        prometheus.io/scrape: 'true'
    spec:
      volumes:
        - name: base-config
          configMap:
            name: base-config
            items:
              - key: server.properties
                path: server.properties
            defaultMode: 420
        - name: logconfig
          configMap:
            name: logconfig
            items:
              - key: logging-config.xml
                path: logging-config.xml
            defaultMode: 420
      containers:
        - env:
            - name: HOST_IP
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: status.hostIP
            - name: DEPLOY_ENV
              valueFrom:
                configMapKeyRef:
                  name: base-config
                  key: env
            - name: NACOS_SERVER
              valueFrom:
                configMapKeyRef:
                  name: base-config
                  key: nacos-server
            - name: DB_SERVER_ADDRESS
              valueFrom:
                configMapKeyRef:
                  name: base-config
                  key: DB_SERVER_ADDRESS
          image: $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID
          readinessProbe:
            httpGet:
              path: ${HEALTH_CHECK_URI}
              port: 8090
            initialDelaySeconds: 30
            timeoutSeconds: 10
            failureThreshold: 30
            periodSeconds: 5
          imagePullPolicy: Always
          name: ${PROJECT_NAMESPACE}-${APP_NAME}
          ports:
            - containerPort: 8080
              protocol: TCP
            - containerPort: 8090
              protocol: TCP
          resources:
            limits:
              cpu: 2000m
              memory: 600Mi
            requests:
              cpu: 1m
              memory: 100Mi
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      terminationGracePeriodSeconds: 30


---
# 服務svc配置資訊
apiVersion: v1
kind: Service
metadata:
  labels:
    app: ${APP_NAME}
    component: ${PROJECT_NAMESPACE}-${APP_NAME}
    release: java-actuator-prometheus
  name: ${PROJECT_NAMESPACE}-${APP_NAME}
  namespace: ${PROJECT_NAMESPACE}
  annotations:
    prometheus.io/path: /api/actuator/prometheus
    prometheus.io/port: '8090'
    prometheus.io/scrape: 'true'

spec:
  ports:
    - name: http
      port: 8080
      protocol: TCP
      targetPort: 8080
    - name: http-actuator
      port: 8090
      protocol: TCP
      targetPort: 8090
  selector:
    app: ${APP_NAME}
    component: ${PROJECT_NAMESPACE}-${APP_NAME}
    tier: backend
  sessionAffinity: None
  type: ClusterIP

通過如上的 yaml 我們會部署應用負載容器及服務 SVC。

我們在 Deployment 的 metadata 中進行了如下的描述後期在部署 ServiceMonitor 的時候會使用到。

在 Kubernetes 中部署 ServiceMonitor

準備我們對應 Java 服務的 ServiceMonitor 部署檔案

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    app: java-actuator-prometheus
    component: java-actuator-prometheus
    heritage: Tiller
    release: prometh-java-actuator
  name: monitor-java-actuator-prometheus
  namespace: default
spec:
  endpoints:
    - honorLabels: true
      interval: 5s
      path: /api/actuator/prometheus
      port: http
  jobLabel: java-actuator-prometheus
  namespaceSelector:
    any: true
  selector:
    matchLabels:
      release: java-actuator-prometheus

yaml 描述了我們將採集什麼 namespace 下面的資料，在這裡我們將 namespace 設定為了 default，將採集所有 namespace 下面的資料，同時我們將 selector 下的 release：xx 設定成了與我們部署的微服務的 metadata 的 release 一致，那麼 ServiceMonitor 將採集到所有 namespace 下面標註了 release 為 java-actuator-prometheus 的所有服務的資料。

將 ServiceMonitor 部署到叢集中

我們可以通過 kubectl apply 將其部署到叢集中。

kubectl apply -f - <<EOF
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    app: java-actuator-prometheus
    component: java-actuator-prometheus
    heritage: Tiller
    release: prometh-java-actuator
  name: monitor-java-actuator-prometheus
  namespace: default
spec:
  endpoints:
    - honorLabels: true
      interval: 5s
      path: /api/actuator/prometheus
      port: http
  jobLabel: java-actuator-prometheus
  namespaceSelector:
    any: true
  selector:
    matchLabels:
      release: java-actuator-prometheus
EOF

執行成功後我們可以在叢集的 CRD 下面搜尋 ServiceMonitor 並開啟可以找到我們部署的 ServiceMonitor 配置。如圖所示：

當然你也可以通過命令列進行查詢驗證。

驗證資料採集並配置 Grafana

檢視系統 Prometheus 地址並查詢資料

我們可以在叢集中的如下地址找到 KubeSphere 系統整合的 Prometheus 服務，如圖所示

訪問 Prometheus Web 介面。

通過 3.1.1 我們可以看到普羅米修斯服務的 ip 地址為 172.17.107.29，預設埠為 9090。我們在瀏覽器輸入 http://172.17.107.29:9090，可以看到如圖所示：

在 KubeSphere 中配置自定義監控及告警

1. 自定義監控

我們可以訪問-叢集-> 監控告警-> 自定義監控進入，如圖所示：

我們點選建立可以看到 KubeSphere 已經整合了部分監控皮膚，這裡我們選擇 Grafana。

在下一步後系統會讓我們上傳 JSON 模版我們可以通過 grafana 官網下載一些通用的模版配置，這裡我們使用的是 JVM (Micrometer)。在右側可以下載 JSON 檔案。

匯入後我們就可以看到相關監控指標了。

2. 自定義告警

我們也可以使用系統整合的告警策略設定基於採集資料的自定義告警設定。例如：

使用外接的 Grafana

安裝 Grafana

配置應用倉庫
- 為了快速的安裝 Helm 應用我們可以依次開啟企業空間-應用管理-應用倉庫；
- 在點選右邊的新增按鈕這裡我們新增的是 bitmap 的應用倉庫地址：https://charts.bitnami.com/bi...；
- 新增完成後稍等片刻應用列表就載入完畢。
安裝 grafana 應用
- 我們依次開啟企業空間-專案-點選要安裝到的具體專案-點選應用-點選右側的建立按鈕；
- 彈出對話方塊中點選從應用模版，從應用倉庫列表中選擇我們剛剛新增的 bitnami 的倉庫，搜尋 Grafana 點選後安裝即可。

Grafana 資料來源

我們使用管理員賬號登入進 Grafana，預設密碼可以在專案的保密字典中的 grafana-admin 中找到；
登入後我們點選左側的小齒輪-datasource 在開啟頁面中選擇 Add data source 然後選擇 Prometheus 在 URL 中填入我們上面說到的 Prometheus 的 URL 地址。如圖所示：
填寫後拖到最下面，點選 save&test。

匯入 Dashbord

我們點選頁面左側➕-import；
輸入我們從 grafana 官網獲得的對應的模版的 id 點選 load；
在下一步中選擇 Prometheus 為我們配置的資料來源點選 import 即可。

本文由部落格一文多發平臺 OpenWrite 釋出！