Chaos Mesh 最初作為開源分散式資料庫 TiDB 的測試平臺而建立，是一個多功能混沌工程平臺，通過混沌測試驗證分散式系統的穩定性。本文以萬里安全資料庫軟體 GreatDB 分散式部署模式為例，介紹了通過 Chaos Mesh 進行混沌測試的全流程。

## 1. 需求背景與萬里安全資料庫軟體 GreatDB 分散式部署模式介紹

### 1.1 需求背景

混沌測試是檢測分散式系統不確定性、建立系統彈性信心的一種非常好的方式，因此我們採用開源工具 Chaos Mesh 來做 GreatDB 分散式叢集的混沌測試。

### 1.2 萬里安全資料庫軟體 GreatDB 分散式部署模式介紹

萬里安全資料庫軟體 GreatDB 是一款關係型資料庫軟體，同時支援集中式和分散式的部署方式，本文涉及的是分散式部署方式。

分散式部署模式採用 shared-nothing 架構；通過資料冗餘與副本管理確保資料庫無單點故障；資料 sharding 與分散式平行計算實現資料庫系統高效能；可無限制動態擴充套件資料節點，滿足業務需要。

整體架構如下圖所示：

![](http://img.blog.itpub.net/blog/2022/04/01/99496bede237c161.jpeg?x-oss-process=style/bb)

## 2. 環境準備

### 2.1 Chaos Mesh 安裝

在安裝 Chaos Mesh 之前請確保已經預先安裝了 helm，docker，並準備好了一個 kubernetes 環境。

-  使用 Helm 安裝

1）在 Helm 倉庫中新增 Chaos Mesh 倉庫：

```shell
helm repo add chaos-mesh https://charts.chaos-mesh.org
```

2）檢視可以安裝的 Chaos Mesh 版本：

```shell
helm search repo chaos-mesh
```

3）建立安裝 Chaos Mesh 的名稱空間：

```shell
kubectl create ns chaos-testing
```

4）在 docker 環境下安裝 Chaos Mesh：

```shell
helm install chaos-mesh chaos-mesh/chaos-mesh -n=chaos-testing
```

-  驗證安裝

執行以下命令檢視 Chaos Mesh 的執行情況：

`kubectl get pod -n chaos-testing`

下面是預期輸出：

```shell
NAME                                       READY   STATUS    RESTARTS   AGE

chaos-controller-manager-d7bc9ccb5-dbccq   1/1     Running   0          26d

chaos-daemon-pzxc7                         1/1     Running   0          26d

chaos-dashboard-5887f7559b-kgz46           1/1     Running   1          26d
```

如果 3 個 pod 的狀態都是 Running，表示 Chaos Mesh 已經成功安裝。

### 2.2 準備測試需要的映象

#### 2.2.1 準備 MySQL 映象

一般情況下，MySQL 使用官方 5.7 版本的映象，MySQL 監控採集器使用的是 mysqld-exporter，也可以直接從 docker hub 下載：
```shell
docker pull mysql:5.7

docker pull prom/mysqld-exporter
```

#### 2.2.2 準備 ZooKeeper 映象

ZooKeeper 使用的是官方 3.5.5 版本映象，ZooKeeper 元件涉及的監控有 jmx-prometheus-exporter 和 zookeeper-exporter，均從 docker hub 下載：
```shell
docker pull zookeeper:3.5.5

docker pull sscaling/jmx-prometheus-exporter

docker pull josdotso/zookeeper-exporter

```

#### 2.2.3 準備 GreatDB 映象

選擇一個 GreatDB 的 tar 包，將其解壓得到一個 ./greatdb 目錄，再將 greatdb-service-docker.sh 檔案拷貝到這個解壓出來的./greatdb 目錄裡：

```shell
cp greatdb-service-docker.sh ./greatdb/
```

將 greatdb Dockerfile 放到./greatdb 資料夾的同級目錄下，然後執行以下命令構建 GreatDB 映象：
```shell
docker build -t greatdb/greatdb:tag2021 .

```

#### 2.2.4 準備 GreatDB 分散式叢集部署/清理的映象

下載叢集部署指令碼 cluster-setup，叢集初始化指令碼 init-zk 以及叢集 helm charts 包（可諮詢 4.0 開發/測試組獲取）

將上述材料放在同一目錄下，編寫如下 Dockerfile:
```dockerfile
FROM debian:buster-slim as init-zk

COPY ./init-zk /root/init-zk

RUN chmod +x /root/init-zk

FROM debian:buster-slim as cluster-setup

\*# Set aliyun repo for speed*

RUN sed -i 's/deb.debian.org/mirrors.aliyun.com/g' /etc/apt/sources.list && \

sed -i 's/security.debian.org/mirrors.aliyun.com/g' /etc/apt/sources.list

RUN apt-get -y update && \

apt-get -y install \

curl \

wget

RUN curl -L https://storage.googleapis.com/kubernetes-release/release/v1.20.1/bin/linux/amd64/kubectl -o /usr/local/bin/kubectl && \

chmod +x /usr/local/bin/kubectl && \

mkdir /root/.kube && \

wget https://get.helm.sh/helm-v3.5.3-linux-amd64.tar.gz && \

tar -zxvf helm-v3.5.3-linux-amd64.tar.gz && \

mv linux-amd64/helm /usr/local/bin/helm

COPY ./config /root/.kube/

COPY ./helm /helm

COPY ./cluster-setup /

```

執行以下命令構建所需映象：

```shell
docker build --target init-zk -t greatdb/initzk:latest .

docker build --target cluster-setup -t greatdb/cluster-setup:v1 .
```

#### 2.2.5 準備測試用例的映象

目前測試支援的用例有：bank、bank2、pbank、tpcc、flashback 等，每個用例都是一個可執行檔案。

以 flashback 測例為例構建測試用例的映象，先將用例下載到本地，在用例的同一目錄下編寫如下內容的 Dockerfile：

```dockerfile
FROM debian:buster-slim

COPY ./flashback /

RUN cd / && chmod +x ./flashback
```

執行以下命令構建測試用例映象：
```shell
docker build -t greatdb/testsuite-flashback:v1 .
```

### 2.3 將準備好的映象上傳到私有倉庫中

建立私有倉庫和上傳映象操作請參考：https://zhuanlan.zhihu.com/p/78543733

## 3. Chaos Mesh 的使用

### 3.1 搭建 GreatDB 分散式叢集

在上一章 2.2.4 中 cluster-setup 目錄下執行以下命令塊去搭建測試叢集：
```shell
./cluster-setup  \

-clustername=c0 \

-namespace=test \

-enable-monitor=true \

-mysql-image=mysql:5.7 \

-mysql-replica=3 \

-mysql-auth=1 \

-mysql-normal=1 \

-mysql-global=1 \

-mysql-partition=1 \

-zookeeper-repository=zookeeper \

-zookeeper-tag=3.5.5 \

-zookeeper-replica=3 \

-greatdb-repository=greatdb/greatdb \

-greatdb-tag=tag202110 \

-greatdb-replica=3 \

-greatdb-serviceHost=172.16.70.249
```

輸出資訊：
```shell
liuxinle@liuxinle-OptiPlex-5060:~/k8s/cluster-setup$ ./cluster-setup \

\> -clustername=c0 \

\> -namespace=test \

\> -enable-monitor=true \

\> -mysql-image=mysql:5.7 \

\> -mysql-replica=3 \

\> -mysql-auth=1 \

\> -mysql-normal=1 \

\> -mysql-global=1 \

\> -mysql-partition=1 \

\> -zookeeper-repository=zookeeper \

\> -zookeeper-tag=3.5.5 \

\> -zookeeper-replica=3 \

\> -greatdb-repository=greatdb/greatdb \

\> -greatdb-tag=tag202110 \

\> -greatdb-replica=3 \

\> -greatdb-serviceHost=172.16.70.249

INFO[2021-10-14T10:41:52+08:00] SetUp the cluster ...                         NameSpace=test

INFO[2021-10-14T10:41:52+08:00] create namespace ...

INFO[2021-10-14T10:41:57+08:00] copy helm chart templates ...

INFO[2021-10-14T10:41:57+08:00] setup ...                                     Component=MySQL

INFO[2021-10-14T10:41:57+08:00] exec helm install and update greatdb-cfg.yaml ...

INFO[2021-10-14T10:42:00+08:00] waiting mysql pods running ...

INFO[2021-10-14T10:44:27+08:00] setup ...                                     Component=Zookeeper

INFO[2021-10-14T10:44:28+08:00] waiting zookeeper pods running ...

INFO[2021-10-14T10:46:59+08:00] update greatdb-cfg.yaml

INFO[2021-10-14T10:46:59+08:00] setup ...                                     Component=greatdb

INFO[2021-10-14T10:47:00+08:00] waiting greatdb pods running ...

INFO[2021-10-14T10:47:21+08:00] waiting cluster running ...

INFO[2021-10-14T10:47:27+08:00] waiting prometheus server running...

INFO[2021-10-14T10:47:27+08:00] Dump Cluster Info

INFO[2021-10-14T10:47:27+08:00] SetUp success.                                ClusterName=c0 NameSpace=test

```

執行如下命令，檢視叢集 pod 狀態：
```shell
kubectl get pod -n test -o wide
```

輸出資訊：
```shell
NAME                                    READY   STATUS      RESTARTS   AGE     IP             NODE                     NOMINATED NODE   READINESS GATES

c0-auth0-mysql-0                        2/2     Running     0          10m     10.244.87.18   liuxinle-optiplex-5060   <none>           <none>

c0-auth0-mysql-1                        2/2     Running     0          9m23s   10.244.87.54   liuxinle-optiplex-5060   <none>           <none>

c0-auth0-mysql-2                        2/2     Running     0          8m39s   10.244.87.57   liuxinle-optiplex-5060   <none>           <none>

c0-greatdb-0                            2/2     Running     1          5m3s    10.244.87.58   liuxinle-optiplex-5060   <none>           <none>

c0-greatdb-1                            2/2     Running     0          4m57s   10.244.87.20   liuxinle-optiplex-5060   <none>           <none>

c0-greatdb-2                            2/2     Running     0          4m50s   10.244.87.47   liuxinle-optiplex-5060   <none>           <none>

c0-glob0-mysql-0                        2/2     Running     0          10m     10.244.87.51   liuxinle-optiplex-5060   <none>           <none>

c0-glob0-mysql-1                        2/2     Running     0          9m23s   10.244.87.41   liuxinle-optiplex-5060   <none>           <none>

c0-glob0-mysql-2                        2/2     Running     0          8m38s   10.244.87.60   liuxinle-optiplex-5060   <none>           <none>

c0-nor0-mysql-0                         2/2     Running     0          10m     10.244.87.29   liuxinle-optiplex-5060   <none>           <none>

c0-nor0-mysql-1                         2/2     Running     0          9m29s   10.244.87.4    liuxinle-optiplex-5060   <none>           <none>

c0-nor0-mysql-2                         2/2     Running     0          8m45s   10.244.87.25   liuxinle-optiplex-5060   <none>           <none>

c0-par0-mysql-0                         2/2     Running     0          10m     10.244.87.55   liuxinle-optiplex-5060   <none>           <none>

c0-par0-mysql-1                         2/2     Running     0          9m26s   10.244.87.13   liuxinle-optiplex-5060   <none>           <none>

c0-par0-mysql-2                         2/2     Running     0          8m42s   10.244.87.21   liuxinle-optiplex-5060   <none>           <none>

c0-prometheus-server-6697649b76-fkvh9   2/2     Running     0          4m36s   10.244.87.37   liuxinle-optiplex-5060   <none>           <none>

c0-zookeeper-0                          1/1     Running     1          7m35s   10.244.87.44   liuxinle-optiplex-5060   <none>           <none>

c0-zookeeper-1                          1/1     Running     0          6m41s   10.244.87.30   liuxinle-optiplex-5060   <none>           <none>

c0-zookeeper-2                          1/1     Running     0          6m10s   10.244.87.49   liuxinle-optiplex-5060   <none>           <none>

c0-zookeeper-initzk-7hbfs               0/1     Completed   0          7m35s   10.244.87.17   liuxinle-optiplex-5060   <none>           <none>
```

看到 c0-zookeeper-initzk-7hbfs 的狀態是 Completed，其他 pod 的狀態為 Running，表示叢集搭建成功。

### 3.2 在 GreatDB 分散式叢集中使用 Chaos Mesh 做混沌測試

Chaos Mesh 在 kubernetes 環境支援注入的故障型別包括：模擬 Pod 故障、模擬網路故障、模擬壓力場景等，這裡我們以模擬 Pod 故障中的 pod-kill 為例。

將實驗配置寫入到檔案中 pod-kill.yaml，內容示例如下：
```yaml
apiVersion: chaos-mesh.org/v1alpha1

kind: PodChaos   *# 要注入的故障型別*

metadata:

name: pod-failure-example

namespace: test   *# 測試叢集pod所在的namespace*

spec:

action: pod-kill   *# 要注入的具體故障型別*

mode: all    *# 指定實驗的執行方式，all（表示選出所有符合條件的 Pod）*

duration: '30s'    *# 指定實驗的持續時間*

selector:

labelSelectors:

"app.kubernetes.io/component": "greatdb"    *# 指定注入故障目標pod的標籤，通過kubectl describe pod c0-greatdb-1 -n test 命令返回結果中Labels後的內容得到*
```

建立故障實驗，命令如下：
```shell
kubectl create -n test -f pod-kill.yaml
```

建立完故障實驗之後，執行命令 kubectl get pod -n test -o wide 結果如下：
```shell
NAME                                    READY   STATUS              RESTARTS   AGE     IP             NODE                     NOMINATED NODE   READINESS GATES

c0-auth0-mysql-0                        2/2     Running             0          14m     10.244.87.18   liuxinle-optiplex-5060   <none>           <none>

c0-auth0-mysql-1                        2/2     Running             0          14m     10.244.87.54   liuxinle-optiplex-5060   <none>           <none>

c0-auth0-mysql-2                        2/2     Running             0          13m     10.244.87.57   liuxinle-optiplex-5060   <none>           <none>

c0-greatdb-0                            0/2     ContainerCreating   0          2s      <none>         liuxinle-optiplex-5060   <none>           <none>

c0-greatdb-1                            0/2     ContainerCreating   0          2s      <none>         liuxinle-optiplex-5060   <none>           <none>

c0-glob0-mysql-0                        2/2     Running             0          14m     10.244.87.51   liuxinle-optiplex-5060   <none>           <none>

c0-glob0-mysql-1                        2/2     Running             0          14m     10.244.87.41   liuxinle-optiplex-5060   <none>           <none>

c0-glob0-mysql-2                        2/2     Running             0          13m     10.244.87.60   liuxinle-optiplex-5060   <none>           <none>

c0-nor0-mysql-0                         2/2     Running             0          14m     10.244.87.29   liuxinle-optiplex-5060   <none>           <none>

c0-nor0-mysql-1                         2/2     Running             0          14m     10.244.87.4    liuxinle-optiplex-5060   <none>           <none>

c0-nor0-mysql-2                         2/2     Running             0          13m     10.244.87.25   liuxinle-optiplex-5060   <none>           <none>

c0-par0-mysql-0                         2/2     Running             0          14m     10.244.87.55   liuxinle-optiplex-5060   <none>           <none>

c0-par0-mysql-1                         2/2     Running             0          14m     10.244.87.13   liuxinle-optiplex-5060   <none>           <none>

c0-par0-mysql-2                         2/2     Running             0          13m     10.244.87.21   liuxinle-optiplex-5060   <none>           <none>

c0-prometheus-server-6697649b76-fkvh9   2/2     Running             0          9m24s   10.244.87.37   liuxinle-optiplex-5060   <none>           <none>

c0-zookeeper-0                          1/1     Running             1          12m     10.244.87.44   liuxinle-optiplex-5060   <none>           <none>

c0-zookeeper-1                          1/1     Running             0          11m     10.244.87.30   liuxinle-optiplex-5060   <none>           <none>

c0-zookeeper-2                          1/1     Running             0          10m     10.244.87.49   liuxinle-optiplex-5060   <none>           <none>

c0-zookeeper-initzk-7hbfs               0/1     Completed           0          12m     10.244.87.17   liuxinle-optiplex-5060   <none>           <none>
```

可以看到有帶 greatdb 名字的 pod 正在被重啟，說明注入故障成功。

## 4. 在argo中編排測試流程

Argo 是一個開源的容器本地工作流引擎，用於在 Kubernetes 上完成工作，可以將多步驟工作流建模為一系列任務，完成測試流程編排。

我們使用 argo 定義一個測試任務，基本的測試流程是固定的，如下所示：

![](http://img.blog.itpub.net/blog/2022/04/01/900d4766de430a3d.jpeg?x-oss-process=style/bb)

測試流程的 step1 是部署測試叢集，接著開啟兩個並行任務，step2 跑測試用例，模擬業務場景，step3 同時使用 Chaos Mesh 注入故障，step2 的測試用例執行結束之後，step4 終止故障注入，最後 step5 清理叢集環境。

### 4.1 用 argo 編排一個混沌測試工作流（以 flashback 測試用例為例

1）修改 cluster-setup.yaml 中的 image 資訊，改成步驟 2.2 準備測試需要的映象中自己傳上去的叢集部署/清理映象名和 tag

2）修改 testsuite-flashback.yaml 中的 image 資訊，改成步驟 2.2 準備測試需要的映象中自己傳上去的測試用例映象名和 tag

3）將叢集部署、測試用例和工具模板的 yaml 檔案全部使用 kubectl apply -n argo -f xxx.yaml 命令建立資源 （這些檔案定義了一些 argo template，方便使用者寫 workflow 時候使用）

```shell
kubectl apply -n argo -f cluster-setup.yaml

kubectl apply -n argo -f testsuite-flashback.yaml

kubectl apply -n argo -f tools-template.yaml
```

4）複製一份 workflow 模板檔案 workflow-template.yaml，將模板檔案中註釋提示的部分修改為自己的設定即可，然後執行以下命令建立混沌測試工作流：

```shell
kubectl apply -n argo -f workflow-template.yaml
```

以下是一份 workflow 模板檔案：
```yaml
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: chaostest-c0-0-
  name: chaostest-c0-0
  namespace: argo
spec:
  entrypoint: test-entry #測試入口，在這裡傳入測試引數，填寫clustername、namespace、host、greatdb映象名和tag名等基本資訊
  serviceAccountName: argo
  arguments:
    parameters:
      - name: clustername
        value: c0
      - name: namespace
        value: test
      - name: host
        value: 172.16.70.249
      - name: port
        value: 30901
      - name: password
        value: Bgview@2020
      - name: user
        value: root
      - name: run-time
        value: 10m
      - name: greatdb-repository
        value: greatdb/greatdb
      - name: greatdb-tag
        value: tag202110
      - name: nemesis
        value: kill_mysql_normal_master,kill_mysql_normal_slave,kill_mysql_partition_master,kill_mysql_partition_slave,kill_mysql_auth_master,kill_mysql_auth_slave,kill_mysql_global_master,kill_mysql_global_slave,kill_mysql_master,kill_mysql_slave,net_partition_mysql_normal,net_partition_mysql_partition,net_partition_mysql_auth,net_partition_mysql_global
      - name: mysql-partition
        value: 1
      - name: mysql-global
        value: 1
      - name: mysql-auth
        value: 1
      - name: mysql-normal
        value: 2
  templates:
    - name: test-entry
      steps:
        - - name: setup-greatdb-cluster  # step.1 叢集部署. 請指定正確的引數，主要是mysql和zookeeper的映象名、tag名
            templateRef:
              name: cluster-setup-template
              template: cluster-setup
            arguments:
              parameters:
                - name: namespace
                  value: "{{workflow.parameters.namespace}}"
                - name: clustername
                  value: "{{workflow.parameters.clustername}}"
                - name: mysql-image
                  value: mysql:5.7.34
                - name: mysql-replica
                  value: 3
                - name: mysql-auth
                  value: "{{workflow.parameters.mysql-auth}}"
                - name: mysql-normal
                  value: "{{workflow.parameters.mysql-normal}}"
                - name: mysql-partition
                  value: "{{workflow.parameters.mysql-partition}}"
                - name: mysql-global
                  value: "{{workflow.parameters.mysql-global}}"
                - name: enable-monitor
                  value: false
                - name: zookeeper-repository
                  value: zookeeper
                - name: zookeeper-tag
                  value: 3.5.5
                - name: zookeeper-replica
                  value: 3
                - name: greatdb-repository
                  value: "{{workflow.parameters.greatdb-repository}}"
                - name: greatdb-tag
                  value: "{{workflow.parameters.greatdb-tag}}"
                - name: greatdb-replica
                  value: 3
                - name: greatdb-serviceHost
                  value: "{{workflow.parameters.host}}"
                - name: greatdb-servicePort
                  value: "{{workflow.parameters.port}}"
        - - name: run-flashbacktest    # step.2 執行測試用例,請替換為你要執行的測試用例template並指定正確的引數，主要是測試使用的表個數和大小
            templateRef:
              name: flashback-test-template
              template: flashback
            arguments:
              parameters:
                - name: user
                  value: "{{workflow.parameters.user}}"
                - name: password
                  value: "{{workflow.parameters.password}}"
                - name: host
                  value: "{{workflow.parameters.host}}"
                - name: port
                  value: "{{workflow.parameters.port}}"
                - name: concurrency
                  value: 16
                - name: size
                  value: 10000
                - name: tables
                  value: 10
                - name: run-time
                  value: "{{workflow.parameters.run-time}}"
                - name: single-statement
                  value: true
                - name: manage-statement
                  value: true
          - name: invoke-chaos-for-flashabck-test    # step.3 注入故障，請指定正確的引數，這裡run-time和interval分別定義了故障注入的時間和頻次，因此省略掉了終止故障注入步驟
            templateRef:
              name: chaos-rto-template
              template: chaos-rto
            arguments:
              parameters:
                - name: user
                  value: "{{workflow.parameters.user}}"
                - name: host
                  value: "{{workflow.parameters.host}}"
                - name: password
                  value: "{{workflow.parameters.password}}"
                - name: port
                  value: "{{workflow.parameters.port}}"
                - name: k8s-config
                  value: /root/.kube/config
                - name: namespace
                  value: "{{workflow.parameters.namespace}}"
                - name: clustername
                  value: "{{workflow.parameters.clustername}}"
                - name: prometheus
                  value: ''
                - name: greatdb-job
                  value: greatdb-monitor-greatdb
                - name: nemesis
                  value: "{{workflow.parameters.nemesis}}"
                - name: nemesis-duration
                  value: 1m
                - name: nemesis-mode
                  value: default
                - name: wait-time
                  value: 5m
                - name: check-time
                  value: 5m
                - name: nemesis-scope
                  value: 1
                - name: nemesis-log
                  value: true
                - name: enable-monitor
                  value: false
                - name: run-time
                  value: "{{workflow.parameters.run-time}}"
                - name: interval
                  value: 1m
                - name: monitor-log
                  value: false
                - name: enable-rto
                  value: false
                - name: rto-qps
                  value: 0.1
                - name: rto-warm
                  value: 5m
                - name: rto-time
                  value: 1m
                - name: log-level
                  value: debug
        - - name: flashbacktest-output         # 輸出測試用例是否通過的結果
            templateRef:
              name: tools-template
              template: output-result
            arguments:
              parameters:
                - name: info
                  value: "flashback test pass, with nemesis: {{workflow.parameters.nemesis}}"
        - - name: clean-greatdb-cluster           # step.4 清理測試叢集，這裡的引數和step.1的引數一致
            templateRef:
              name: cluster-setup-template
              template: cluster-setup
            arguments:
              parameters:
                - name: namespace
                  value: "{{workflow.parameters.namespace}}"
                - name: clustername
                  value: "{{workflow.parameters.clustername}}"
                - name: mysql-image
                  value: mysql:5.7
                - name: mysql-replica
                  value: 3
                - name: mysql-auth
                  value: "{{workflow.parameters.mysql-auth}}"
                - name: mysql-normal
                  value: "{{workflow.parameters.mysql-normal}}"
                - name: mysql-partition
                  value: "{{workflow.parameters.mysql-partition}}"
                - name: mysql-global
                  value: "{{workflow.parameters.mysql-global}}"
                - name: enable-monitor
                  value: false
                - name: zookeeper-repository
                  value: zookeeper
                - name: zookeeper-tag
                  value: 3.5.5
                - name: zookeeper-replica
                  value: 3
                - name: greatdb-repository
                  value: "{{workflow.parameters.greatdb-repository}}"
                - name: greatdb-tag
                  value: "{{workflow.parameters.greatdb-tag}}"
                - name: greatdb-replica
                  value: 3
                - name: greatdb-serviceHost
                  value: "{{workflow.parameters.host}}"
                - name: greatdb-servicePort
                  value: "{{workflow.parameters.port}}"
                - name: clean
                  value: true
        - - name: echo-result
            templateRef:
              name: tools-template
              template: echo
            arguments:
              parameters:
                - name: info
                  value: "{{item}}"
            withItems:
              - "{{steps.flashbacktest-output.outputs.parameters.result}}"
```

至此，你已經成功使用 Chaos Mesh 進行了一次混沌測試，併成功驗證了分散式系統的穩定性。

Now enjoy GreatSQL, and enjoy Chaos Mesh :)</none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none></none>

Chaos Mesh 實戰分享丨通過混沌工程驗證 GreatDB 分散式部署模式的穩定性

相關文章