![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/a8706f47c72347cf92177ed4a3604a9b.png)

作者 | 肖長軍（穹谷）
來源 | [阿里巴巴雲原生公眾號](https://mp.weixin.qq.com/s/QxTMLqf8VspXWy4N4AIFuQ)

混沌工程隨著雲原生的發展逐漸進入大家的視野，透過混沌工程可以很好地發現和解決在雲原生化過程中的高可用問題。阿里巴巴在 2019 年開源了底層的混沌工程工具 - chaosblade，今年年初再次開源混沌工程控制檯 chaosblade-box，ChaosBlade 品牌進一步升級。本文主要圍繞雲原生面臨的高可用挑戰和混沌工程機遇，詳細介紹開源控制檯的設計、特性和實踐和未來規劃，旨在幫助企業更好的瞭解控制檯並透過其來實現混沌工程落地，解決雲原生系統下高可用問題。

![1.png](https://ucc.alicdn.com/pic/developer-ecology/a299b1925e0f407aa1211207548601a3.png)

去年年底 AWS 和 Google 都出現了比較嚴重的服務故障：AWS 故障是由於處理資料流服務 kinesis 出現問題，導致很多雲服務不可用；Google 故障是由於登入服務的擴容配額問題導致多服務不可用。從中可以發現，他們都存在因服務依賴不合理，導致一個服務故障影響多個服務不可用，缺少應急預案，整個故障恢復時間比較長，監控告警系統不完善等問題，Google 故障發生幾十分鐘後才感知故障的發生，AWS 的 CloudWatch 處於不可用的狀態。故障不可避免，所有的一切時時刻刻存在著失敗的風險。

![2.png](https://ucc.alicdn.com/pic/developer-ecology/965befe080f54540b9b242c48cda15a4.png)

尤其隨著敏捷開發、DevOps、微服務、雲原生架構和治理的出現，應用的交付能力大大提升，但系統的複雜度也日益增加，在業務快速迭代的同時，如何保障業務持續的高可用性和穩定性面臨著很大的挑戰。混沌工程透過主動注入故障的方式，提前發現系統的薄弱點，推進架構的改進，最終實現業務韌性。

![3.png](https://ucc.alicdn.com/pic/developer-ecology/6e546108b60441d8a443493f7979dee9.png)

打不倒我的必使我強大，建設韌性架構是混沌工程的目標。韌性架構包含兩部分，一部分是韌性系統，比如具備冗餘性、擴充套件性、降級熔斷、故障隔離等，避免級聯故障，構建容災容錯的韌性系統。另一部分是韌性組織，包含高效交付、故障預案、應急響應等組織協同建設。高度韌性的系統也會出現預期之外的故障，所以韌性的組織能彌補韌性系統缺失的部分，透過混沌工程構建極致的韌性架構。

![4.png](https://ucc.alicdn.com/pic/developer-ecology/53e99f75e8f24baaa0056262178baca8.png)

常見的雲原生高可用架構架構基本上是基於多可用區，或者是跨地域級的容災架構，業務應用採用微服務架構下叢集部署，中介軟體具備容錯容災能力等等。從底層設施到上層業務，都存在潛在的故障風險，比如機房斷網、整個可用區不可用、叢集當機、中介軟體節點 crash 等。從可用區到叢集、主機，再到細粒度的請求，故障影響的爆炸半徑逐漸減小，這也是混沌工程原則中非常重要的一點 -- 控制爆炸半徑。控制爆炸半徑的方式一般有兩種：一是環境隔離，透過隔離實驗的機房、叢集等來控制影響面；二是基於實驗工具或平臺自身的場景控制能力，比如 chaosblade 實驗工具，透過實驗引數來控制實驗粒度，比如微服務呼叫延遲，可以控制到單個服務介面、版本，甚至一次請求。下面我們來介紹一下 chaosblade 混沌實驗工具。

![5.png](https://ucc.alicdn.com/pic/developer-ecology/146c74f8cace4b7999c2719473d3d38e.png)

Chaosblade 是一款遵循混沌實驗模型的混沌實驗執行工具，具有場景豐富度高、簡單易用等特點，而且擴充套件場景也特別方便，開源不久便被加入到 CNCF Landspace 中，成為主流的一款混沌工具。chaosblade 是個直接下載解壓即可使用的工具，不需要安裝，它支援的呼叫方式包含 CLI 方式，直接執行 blade 命令，這裡舉個做網路遮蔽的例子：我們新增 -h 引數就可以看到非常完善的命令提示，比如要一個 9520 埠呼叫做網路丟包，它的演練目標是 network；它的 action 是丟包；它的 matcher 就是呼叫遠端的一個服務埠 9520。執行成功後會返回實驗結果，每一個實驗場景我們都會作為一個物件，它會返回一個實驗物件的 UID，此 UID 用於後續的實驗管理，比如銷燬、查詢實驗都是透過此 UID 來做的。要銷燬實驗，也就是恢復實驗，直接執行 blade destroy 命令就可以。

![6.png](https://ucc.alicdn.com/pic/developer-ecology/9f8fd08011b047e9b257ace0a8ae8bf7.png)

Chaosblade 支援多平臺、多語言環境，包含 Linux、Kubernetes、Docker 平臺，以及 Java、NodeJS、C++、Golang 語言應用。共涉及 200 多個場景、3000 多個引數，為使用者提供豐富的場景和實驗引數控制。使用 blade -h 命令可以檢視詳細的使用文件，包含案例和場景、引數介紹。下面我們重點介紹一下 chaosblade 對應用服務場景的支援。

![7.png](https://ucc.alicdn.com/pic/developer-ecology/6e7235881ab7405595c027ca45fd6b43.png)

Chaosblade 支援 Java、C++、Golang、NodeJS 語言應用，其中對 Java 應用的支援能力更豐富，包含 OOM、執行緒池滿、指定執行緒數、CPU 負載、codecache 滿等 JVM 本身的場景，還支援很多常用元件，比如 Druid、Dubbo、Elasticsearch、HBase、HttpClient、Redis、Kafka、Lettuce、MongoDB、MySQL、PostgreSQL、RabbitMQ、RocketMQ、Servlet、Tars、gRPC 等。Java 場景更強大的一個功能是可用指定任意類和方法注入異常、延遲、篡改返回，甚至可以透過自己編寫 Groovy 或 Java 指令碼，實現更加複雜的實驗場景來滿足自身業務實驗需求。還支援鏈路標識識別、請求數限制等能力。Golang 場景是透過編譯時在任意程式碼行注入埋點邏輯來實現，目前支援修改變數值、修改引數值、修改返回值、異常、延遲、記憶體溢位和 Panic 場景。現在，已登記的試用或在使用的企業已經 40 家，其中包含一些深度合作共建的企業使用者。下面我們舉個例子來說明 chaosblade 故障注入的執行流程。

![8.png](https://ucc.alicdn.com/pic/developer-ecology/8a2887cbd82240828ba47a12d45994c0.png)

以雲原生 Dubbo 應用呼叫下游 PetQueryService 服務延遲三秒故障場景為例，我們可以透過 chaosblade 自帶的 blade 工具或 kubectl 以及透過編碼的方式來執行。此處列舉了使用 kubectl 和自身的 blade 工具執行。先看使用 kubectl 執行，透過配置 ChaosBlade 型別的 YAML 檔案，使用 kubectl apply 命令來建立實驗，Kubernetes 會建立一條 chaosblade 資源，後續透過 kubectl delete 命令刪除此諮詢即可恢復實驗。建立好 chaosblade 資源後，chaosblade operator 監聽 chaosblade 資源建立，查詢目標容器，按需透傳場景相關的實驗工具，呼叫 blade 工具在容器內執行實驗。使用 blade 執行，命令如上圖，指定 K8s 下的 dubbo 應用注入延遲故障，透過 process 引數指定應用名、time 引數指定延遲時間、service 引數指定受影響的服務介面、names 引數和 container-names 分別指定 Pod 和 Container 名稱，如果不清楚引數可以新增 -h 來檢視命令幫助。

透過以上案例可以看出 chaosblade 工具使用簡單，而且支援豐富的實驗場景，我們在此工具的基礎上做了 ChaosBlade 品牌升級。

![9.png](https://ucc.alicdn.com/pic/developer-ecology/164910d345e149d7abe613b45f8d378b.png)

我們開源了 chaosblade-box 混沌工程控制檯，可實現混沌實驗平臺化操作，而且支援更多混沌工程實驗工具的託管，比如 litmuschaos 等。品牌升級後，我們更進一步地解決了使用者落地混沌工程的困難度，讓使用者將更多的精力放到推進系統韌性提升上，旨在透過混沌工程幫助企業解決系統雲原生化過程中高可用問題。

![10.png](https://ucc.alicdn.com/pic/developer-ecology/f91275552efc4f3ea9464c8c18154302.png)

Chaosblade-box 是一個面向多叢集、多環境、多語言的雲原生混沌工程平臺。關鍵功能如下所示：

- 實現了實驗工具自動化部署，無需使用者登入到每臺機器部署實驗工具，簡化使用者部署成本。

- 支援實驗工具託管，現在已支援 litmuschaos ，後續會支援更多優秀的實驗工具來滿足各種實驗場景需求。

- 透過提供統一的混沌實驗使用者介面，遮蔽底層故障注入方式，讓使用者在同一個平臺上實現不同工具的實驗。

- 支援實驗目標自動獲取、實驗場景管理等等。

- 支援多個實驗維度，比如主機、Kubernetes、應用，其中 Kubernetes 又包含 Container、Pod、Node 實驗維度。

- 後續會更進一步支援混沌工程閉環，實現穩態定義、實驗執行、穩態評估等，協助使用者構建高可用的雲原生系統。

下面透過頁面截圖來了解一下 chaosblade-box 平臺能力。

![11.png](https://ucc.alicdn.com/pic/developer-ecology/2674151937e943f98b0cd58224ceabe5.png)

![12.png](https://ucc.alicdn.com/pic/developer-ecology/9bc3d82e5f3341e68ff6acd48b4ee7a5.png)

![13.png](https://ucc.alicdn.com/pic/developer-ecology/e2ea74e775dd415e833808305b3bfd9f.png)

![14.png](https://ucc.alicdn.com/pic/developer-ecology/693769c644c84bb1bb209a7c6dc76a90.png)

![15.png](https://ucc.alicdn.com/pic/developer-ecology/8c5700f8340d44dd8687a54a456db251.png)

![16.png](https://ucc.alicdn.com/pic/developer-ecology/8ac6ef67195f4498b0f9e570e9c8ccfc.png)

![17.png](https://ucc.alicdn.com/pic/developer-ecology/2c179194f11543608db219835e81499e.png)

透過上述圖片可以看出 chaosblade-box 平臺整體功能，在託管更多工具場景的基礎上，標準化實驗場景和實驗管控介面，簡化使用者操作，降低使用門檻，提供詳細的白屏化日誌，便於問題跟蹤和排查。接下來我們看下平臺技術架構圖。

![18.png](https://ucc.alicdn.com/pic/developer-ecology/712e8a7aef4d4bab9a452233e6f7c386.png)

透過控制檯頁面可實現 chaosblade、litmus 等已託管的工具部署，按照社群的建立的混沌實驗模型統一實驗場景，根據主機、Kubernetes、應用來劃分目標資源，透過目標管理器來控制，在實驗建立頁面，可以實現白屏化的目標資源選擇。平臺透過呼叫混沌實驗執行來執行不同工具的實驗場景，配合接入 prometheus 監控，可以觀察實驗 metric 指標，後續會提供豐富的實驗報告。
_
_Chaosblade-box 的部署也非常簡單，具體可以檢視：[https://github.com/chaosblade-io/chaosblade-box/releases](https://github.com/chaosblade-io/chaosblade-box/releases)_。

下面我們透過一個殺 Pod 實驗場景來介紹平臺的使用。

![19.png](https://ucc.alicdn.com/pic/developer-ecology/ed6b1bc534ab4ddfa923d2a751544740.png)

首先是部署 chaosblade-box，部署完成後，在實驗列表頁面建立實驗，選擇 Kubernetes Pod 實驗維度，實驗建立共分為四步，前兩步資源選擇和場景選擇是必填項，後兩步監控接入和實驗名稱是非必填項。在 Pods 列表中選擇多個目標 Pods，然後選擇殺 Pods 實驗場景，對接 Prometheus Pod 監控，完成實驗建立。在實驗詳情頁面可以點選執行實驗進入實驗任務詳情頁面，檢視實驗詳細資訊。

![20.png](https://ucc.alicdn.com/pic/developer-ecology/a7866f20c10d4d6caee56eb48539d991.png)

Chaosblade-box 後續規劃重點在託管更多的實驗工具，實現更多工具自動化部署，同時支援更多的語言應用，新增更加複雜的排程策略和流程編排，生成實驗報告，實驗報告分三個階段，一是實驗基礎報告，包含實驗和監控的基本資訊，二是實驗缺陷報告，包含實驗中發現的問題，三是實驗高可用建設報告，根據實驗中發現的問題提出解決方案建議。

_具體的 Roadmap 可詳見：[https://github.com/chaosblade-io/chaosblade-box/wiki/Roadmap](https://github.com/chaosblade-io/chaosblade-box/wiki/Roadmap)。_

ChaosBlade 品牌升級後，專案才剛剛開始，還有很多不完善的地方，歡迎大家下載使用，參與到專案建設中，也可登記企業使用情況到 issue 中，我們線下交流，登記地址：_[https://github.com/chaosblade-io/chaosblade/issues/32](https://github.com/chaosblade-io/chaosblade/issues/32)_。

- **chaosblade 專案地址**：
_[https://github.com/chaosblade-io/chaosblade](https://github.com/chaosblade-io/chaosblade)_

- **chaosblade-box 專案地址**：
_[https://github.com/chaosblade-io/chaosblade-box](https://github.com/chaosblade-io/chaosblade-box)_

面對不可避免的故障，我們造了一個“上帝視角”的控制檯

相關文章