![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/750dd17c5d714c3b8f7cbdb6d045d195.png)

作者 | 穹谷

> **導讀**：從上篇開始，我們進入到了高可用的章節，上篇提到的熔斷能力，是歷年保障大促當天晚上整個系統不被洪峰流量打垮的法寶。本文將重點介紹為什麼我們要做混沌工程以及如何使用 ChaoBlade 工具和 AHAS 平臺快速實施混沌工程。

# 前言

從上篇開始，我們進入到了高可用的章節，上篇提到的熔斷能力，是歷年保障大促當天晚上整個系統不被洪峰流量打垮的法寶，本篇介紹的措施與熔斷有不一樣的地方，一個是線上洪峰來臨時的保護措施，它更多的是流量低峰或者在專門的演練環境中，針對可能遇見的各類故障，採取演練的手段，來窺探對業務的影響；它的主要目的是讓我們自己更加了解自己業務系統的薄弱環節，以便來對症下藥增強系統的高可用能力。

# 為什麼需要混沌工程？

任何一個系統都會有未曾可知的故障出現，拿現代工藝已經很好的磁碟來說，有統計資料的磁碟最低的年故障率都可達到 0.39% 。即便是這麼底層基礎設施，也會有這麼高的不確定性。

尤其當下大部分的服務形態都是分散式架構，在分散式系統架構下，服務間的依賴日益複雜，更很難評估單個服務故障對整個系統的影響；並且請求鏈路長，監控告警的不完善導致發現問題、定位問題難度增大；同時業務和技術迭代快，如何持續保障系統的穩定性和高可用性受到很大的挑戰。

## 1. 雲原生系統挑戰更大

談到雲原生，可以說雲原生是一個理念，主要包含的技術有云設施、容器、微服務、服務網格、Serverless 等技術。雲設施指公有云、專有云和混合雲等，是雲原生系統的基礎設施，基礎實施的故障可能對整個上層業務系統造成很大影響，所以說雲設施的穩定性是非常重要的。

**容器服務的挑戰**可以分兩大類：一類是面向 K8s 服務提供商，服務是否穩定；另一類是面向使用者，配置的擴縮容規則是否有效，實現的 CRD 是否正確，容器編排是否合理等問題。

**分散式服務的挑戰**主要是複雜性，單個服務的故障很難判斷對整個系統的影響；service mesh，sidecar 的服務路由、負載均衡等功能的有效性，還有 sidecar 容器本身的可用性。

**一些新興的部署模式的挑戰**如 serverless，現在基本上都是函式加事件的形式，資源排程是否有效，而且 serverless 服務提供商遮蔽了一些中介軟體，你能掌控的是函式這些服務，那麼你可以透過混沌工程去驗證你函式呼叫的一些配置，比如超時配置、相關的一些降級策略等這些是否合理。

以上技術都有相同的共性，比如彈性可擴充套件、松耦合、容錯性高、還有一些易於管理，便於觀察這些特性。所以說在雲原生時代，透過混沌工程可以更有效的推進系統的“雲原生”化。

## 2. 每個職位都需要懂混沌工程

混沌工程是一種思想，它讓系統中的每個參與者都學會去考慮一件事情：如果所依賴的某服務中斷了服務該怎麼辦？對於以下四類人群而言，意義尤顯突出：

- 對於**架構師**來說，可以驗證系統架構的容錯能力，我們需要面向失敗設計的系統，混沌工程的思想就是踐行這一原則的方式；

- 對於**開發和運維**，可以提高故障的應急效率，實現故障告警、定位、恢復的有效和高效性；

- 對於**測試**來說，可以彌補傳統測試方法留下的空白，之前的測試方法基本上是從使用者的角度去做，而混沌工程是從系統的角度進行測試，降低故障複發率；

- 對於**產品和設計**，透過混沌事件檢視產品的表現，提升客戶使用體驗。所以說混沌工程面向的不僅僅是開發、測試，擁有最好的客戶體驗是每個人的目標，所以實施混沌工程，可以提早發現生產環境上的問題，並且可以以戰養戰，提升故障應急效率和可以使用體驗，逐漸建設高可用的韌性系統。

# 混沌工程實操

在一次完整的演練流程中，需要先做好計劃，對相關的演練計劃有一個行為預期；演練相關計劃的同時，我們推薦的最佳實踐是需要配合有業務的自動化測試，每演練一次需要全方位的跑完自動化測試用例，這樣才能全面的瞭解真正的業務產生時對業務造成的影響：

![1.png](https://ucc.alicdn.com/pic/developer-ecology/c3fcc52f7737486fa22a5a802caaf91a.png)

在上面的圖中描述了一次完整的故障演練需要經過的步驟，其中最重要的一步的實踐是如何“執行預製混沌實驗”？因為這一步需要一個專業的工具，在業內目前最流行的工具是 Netflix 的 Chaos Monkey 和阿里巴巴開源的 [ChaosBlade](https://github.com/chaosblade-io/chaosblade)，我們接下來主要是介紹如何使用 ChaosBlade 來完成一次演練。

### 1. 使用 ChaosBlade 去做

[ChaosBlade](https://github.com/chaosblade-io/chaosblade) 是阿里巴巴一款遵循混沌實驗模型的混沌實驗執行工具，具有場景豐富度高，簡單易用等特點，而且擴充套件場景也特別方便，開源不久就被加入到 CNCF Landspace 中，成為主流的一款混沌工具。目前包含的場景有基礎資源、應用服務、容器服務、雲資源等。ChaosBlade 下載解壓即用，可以透過執行 blade 命令來執行雲原生下微服務的演練場景，下面是模擬 Kubernetes 下微服務中資料庫呼叫延遲故障。

![2.jpeg](https://ucc.alicdn.com/pic/developer-ecology/a51cde919776427a9658fa1ddd5353f1.jpeg)

### 2. 使用 AHAS 故障演練平臺去做

AHAS 故障演練平臺是阿里雲對外部使用者開放的雲產品，使用方式可參考[官方文件](https://help.aliyun.com/document_detail/90327.html)。其底層的故障注入能力大部分來源於 ChaosBlade 實現，另一部分使用自身小程式擴充套件實現。AHAS 相比於 ChaosBlade，除了簡單易用的白屏操作之外，還實現了上層的演練編排、許可權控制、場景管理等，而且還針對微服務新增應用維度演練，簡化演練成本，最佳化演練體驗。

![3.png](https://ucc.alicdn.com/pic/developer-ecology/145600b00e2e4a429125ed6bfc44e1ac.png)

# 結尾

混沌工程是一種主動防禦的穩定性手段，體現的是反脆弱的思想，實施混沌工程不能只是把故障製造出來，需要有明確的驅動目標。我們要選擇合適的工具和平臺，控制演練風險，實現常態化演練。

阿里巴巴內部從最早引入混沌工程解決微服務的依賴問題，到業務服務、雲服務穩態驗證，進一步升級到公共雲、專有云的業務連續性保障，以及在驗證雲原生系統的穩定性等方面積累了比較豐富的場景和實踐經驗；這一些經驗沉澱我們都透過開源產品以及雲產品 [AHAS](https://www.aliyun.com/product/ahas) 一一對外輸出。

相關文章推薦：

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 —— 開發篇》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247491668&idx=1&sn=c9839f78ff31d6f5da285a259d804f53&chksm=fae6eb9bcd91628d28b0db9b53a091132df7535d320aee9c85fea241dc4e964e746b83a69dc8&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 部署篇(開發部署）》](https://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492052&idx=1&sn=8ff93e6f7b398e6a509239910b61b975&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 部署篇(工具部署)》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492264&idx=1&sn=0bb4d0364b42af36886face9f3adec10&chksm=fae6e967cd916071e691a9296282755b771036a4a1182f51dadcbb3a3aebe76a6bdad298b69d&token=888059135&lang=zh_CN&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 線上釋出（可灰度）》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492479&idx=1&sn=ac1463d4cd7b4323590766643d92dcb0&chksm=fae6e8b0cd9161a6d02057ca28971101aec9bc8ee823f0f4d12fc9b691bc8e122e542725f7ac&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 診斷（線上聯調）》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492850&idx=1&sn=03793cf561ceca40d75b50c0c23c708e&chksm=fae6ef3dcd91662b7cd92d07beba3bab05c1ef641bce204b3f9dd80cad55ea7dd1ccee1c2109&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 線上釋出（可監控）》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247494008&idx=1&sn=652adea2451811af1eacd1455c7fe939&chksm=fae6e2b7cd916ba1cbbee83a31f04cd79f0471b62979c26374d291ee89c6f9a24feeaa3f4481&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 線上釋出（可回滾）》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247494202&idx=1&sn=1c22caff3014652c595f5169bff20a10&chksm=fae6e1f5cd9168e37c5dd9ec7d19573c443d8c926309bcde4bd0e57ffa2aee12be697e15cdc2&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 線上釋出（優雅上下線）》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247494244&idx=1&sn=d6b6ff87866a7b29ee7c4e5eb37b3d82&chksm=fae6e1abcd9168bddf4b03d2908d0423b17f3383ce89f6a8349bea06b36ab5fcbd79028d4781&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 高可用（熔斷）》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247494380&idx=2&sn=04dbcc6f5bf25dd2bd1d20d95034f41a&chksm=fae6e123cd916835aa46f18d3098c143fab1fd8931985adc55f3f2226d31fa685fbcf9739543&scene=21#wechat_redirect)

> “[阿里巴巴雲原生](https://mp.weixin.qq.com/s/Jhtd0uvs5cu74C9utX2ybw)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”

Spring Cloud 應用在 Kubernetes 上的最佳實踐 — 高可用（混沌工程）

相關文章