*作者：十眠*

## 概述

穩定性大於一切，因此我們需要有更有效的方式避免線上故障。在發生故障不可避免的假設下，我們需要能夠快速修復，減少線上影響。基於以上這些想法，我們提出了 1-5-10 的快恢目標，所謂 1-5-10 的目標就是是要我們對於線上問題能夠做到 1 分鐘發現，5 分鐘定位，10 分鐘修復。下面將會介紹一些阿里雲上關於故障恢復、診斷的一些最佳實踐。

> 本文摘自 微服務治理技術白皮書 3.9 節

**關注阿里云云原生公眾號，後臺回覆關鍵詞【技術白皮書】即可下載！**

## 1 分鐘發現

### 監控

監控的作用一句話概括就是：發現應用中的問題，並將問題及時告警給技術人員進行處理。監控型別可以分為系統問題的監控與業務問題的監控，系統問題：常見的軟硬體相關問題，比如程式異常，記憶體 fullGC 等，由於沒有業務特徵，監控策略可適用於各個應用。業務問題：在特定業務場景下定義的問題，比如商品無優惠券，權益超發問題等，需要根據業務特徵來定製監控策略。

阿里雲實時應用監控服務 ARMS 能夠自動發現和監控應用程式碼中常見的 Web 框架和 RPC 框架，並統計介面的呼叫量、響應時間、錯誤數等指標。同時可以進一步獲取介面的慢 SQL、MQ 堆積分析報表或者異常分類報表，對錯、慢等常見問題進行更細緻的分析。

ARMS 還提供了業務監控的能力，以程式碼無侵入的方式，視覺化定義業務請求，提供貼合業務的豐富效能指標與診斷能力。從業務視角衡量應用效能和穩定性的新方式，對業務的關鍵交易進行全鏈路的監控。業務監控透過追蹤並採集應用程式中的業務資訊，實時展現業務級的指標，例如業務的響應時長、次數和錯誤率，解決了應用程式和業務表現之間無法對映關聯的難題。

對於監控的要求有以下三點。實時：要求對問題的發現和預警是實時的，縮短問題產生和發現的時延；準確：要求監控和預警是準確的，包括對監控問題的定義，對預警閥值，預警等級，責任人的配置，避免誤報；全面：要求預警資訊是全面的，能夠幫助排查和解決問題。

“不論應用出現任何問題，ARMS 都可以清楚地展示問題出在哪一行程式碼。ARMS 對於我們非常重要，大大縮短了修復故障的時間，顯著提升了使用者體驗。自從用了 ARMS，我們能及時發現和修復問題，再也不會被使用者投訴所困擾。”  —— 華潤萬家

### 告警

當監控發現有問題的時候，就需要透過不同等級的告警將問題及時告警給技術人員進行處理。ARMS 告警管理能從以下幾點來提升系統的運維效率。

-   整合事件後管理更高效。

-   -   告警管理預設支援一鍵化整合阿里雲常見的監控工具，並支援更多的監控工具手動接入，方便統一維護。
    -   事件接入模組穩定，能提供 7x24 小時的無間斷事件處理服務。
    -   處理海量事件資料時可以保證低延時。

-   及時準確地將告警通知給聯絡人。

-   -   配置通知規則，對事件合併後再傳送告警通知，減少運維人員出現通知疲勞的情況。
    -   根據告警的緊急程度選擇郵件、簡訊、電話、釘釘等不同的通知方式，來提醒聯絡人處理告警。
    -   透過升級通知對長時間沒有處理的告警進行多次提醒，保證告警及時解決。

-   幫助您快速便捷地管理告警。

-   -   聯絡人能透過釘釘隨時處理告警。
    -   使用通用告警格式，聯絡人能更好的分析告警。
    -   多個聯絡人透過釘釘協同處理。

-   統計告警資料，實時分析處理情況，改進告警處理效率。

## 5 分鐘定位故障

### 服務例項隔離與診斷

線上上微服務場景中，當服務提供者的某些例項出現異常時，一方面，需要避免服務消費者訪問到異常例項，另一方面，需要保留異常現場，便於後續的問題排查。出於另一個思路考慮，我們都知道 Dump 記憶體在一定程度上會影響我們應用的效能，可能會對我們的線上業務造成影響，我們是否可以在 Dump 記憶體之前將業務流量從該例項上隔離。MSE 治理中心服務例項隔離與診斷功能可以幫助我們將異常例項的流量隔離，一方面支援將來自微服務的流量進行隔離，另一方面支援將來自 K8s Service 的流量進行隔離，可以徹底隔離掉生產環境中的業務流量，然後我們可以結合阿里雲應用實時監控服務 ARMS 所提供的記憶體快照生成能力，及時生成異常例項的線上環境記憶體快照，幫助我們進行後續問題分析與診斷。服務例項隔離與診斷功能能很好地幫助我們應對線上突發的事故（比如記憶體洩露等），提升微服務系統整體穩定性。

-   **實踐**

我們可以在 MSE 服務治理的控制檯看到線上的例項列表。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/64613c1646c6468e8cba007b4cf6d5e3~tplv-k3u1fbpfcp-zoom-1.image "1.png")

選擇特定異常例項，進行服務下線操作，將例項從註冊中心中移除，同時如果我們配置了 MSE 提供的就緒檢查探針，還會將來自 K8s Service 的流量進行隔離，我們可以在事件中心裡檢視對應例項是否下線成功。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/97209aeb871743dd9b9fe66c8404b69a~tplv-k3u1fbpfcp-zoom-1.image "2.png")

進行下線操作後，我們可以透過 MSE 提供的秒級節點監控看到是否還有流量。等流量完全停止後，可透過阿里雲應用監控服務 ARMS 提供的建立記憶體快照功能，給異常例項建立記憶體快照，以便後續進一步的問題排查。

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4e9a01dc022f46aea821cb81ecf9b38a~tplv-k3u1fbpfcp-zoom-1.image "3.png")

點選去建立記憶體快照按鈕，進行記憶體快照建立。

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b6b8eb5cfcf34513a5c1a7087435f0cd~tplv-k3u1fbpfcp-zoom-1.image "4.png")

點選儲存即可建立快照任務。

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ae0db567a1c24544ac1fd95902824eee~tplv-k3u1fbpfcp-zoom-1.image "5.png")

點選儲存後我們看到 172.16.0.200 這個例項已經存在快照

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/81ec21b1d1b14ab5a73700c8fade0589~tplv-k3u1fbpfcp-zoom-1.image "6.png")

進一步根據控制檯的提示，我們分別將 Core File 進行轉儲、分析、檢視

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2887523dc2044dba8204268aa963fc19~tplv-k3u1fbpfcp-zoom-1.image "7.png")

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/987f332b447d43ee93f0493ba3ecf971~tplv-k3u1fbpfcp-zoom-1.image "8.png")

點選檢視後，自動跳轉至 Grace 分析的頁面，我們可以看到記憶體分析的概況，記憶體洩露報表、類載入器等等一系列資訊。透過詳細的記憶體分析資料檢視記憶體佔用的詳細資訊，從而進一步排查記憶體洩漏和記憶體浪費等記憶體問題。

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/52a9b5e69b934a81a712534f540ad641~tplv-k3u1fbpfcp-zoom-1.image "9.png")

![10.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0d8dfd72e066450596a08ee685a8a912~tplv-k3u1fbpfcp-zoom-1.image "10.png")

最後提一下，我們可以透過服務上線恢復隔離的流量。

![11.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/92e92471a2564be0b721bf57a1d5dc6b~tplv-k3u1fbpfcp-zoom-1.image "11.png")

### Arthas 診斷

Arthas 是診斷 Java 領域線上問題的利器，利用位元組碼增強技術，可以在不重啟 JVM 程式的情況下，檢視程式的執行情況。

-   **JVM 概覽**

JVM 概覽支援檢視應用的 JVM 相關資訊，包括 JVM 記憶體、作業系統資訊、變數資訊等，幫助我們瞭解 JVM 的總體情況。

1、JVM 記憶體：JVM 記憶體的相關資訊，包括堆記憶體使用情況、非堆記憶體使用情況、GC 情況等。

![12.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fbfe9992ab6940068b7c3827d75b08d7~tplv-k3u1fbpfcp-zoom-1.image "12.png")

2、作業系統資訊：作業系統的相關資訊，包括平均負載情況，作業系統名稱、作業系統版本、Java 版本等。

![13.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/55ec745b9d9b4e6083029c7683c87fac~tplv-k3u1fbpfcp-zoom-1.image "13.png")

3、變數資訊：變數的相關資訊，包括系統變數和環境變數。

![14.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f7482f232f5b40888f63bf1597289670~tplv-k3u1fbpfcp-zoom-1.image "14.png")

-   **執行緒耗時分析**

執行緒耗時分析支援顯示該應用的所有執行緒和檢視執行緒的堆疊資訊，幫助我們快速定位耗時較高的執行緒。

1、執行緒耗時分析頁籤會實時獲取當前 JVM 程式的執行緒耗時情況，並將相似執行緒聚合。可以檢視執行緒的 ID、CPU 使用率和狀態。

![15.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bbbea1b74d494d79a3a7f03336bf465b~tplv-k3u1fbpfcp-zoom-1.image "15.png")

2、我們可以在目標執行緒右側的操作列，單擊檢視實時堆疊。

![16.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a92978223a6e4a659dff22b628b7d856~tplv-k3u1fbpfcp-zoom-1.image "16.png")

-   **方法執行分析**

方法執行分析支援抓取方法的某一次執行的耗時、入參、返回值等資訊和鑽入，幫助您快速定位導致慢呼叫的根本原因，以及問題線下無法復現或日誌缺失等場景。

![17.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/700da95b43c141c3aba8d243f3968e5a~tplv-k3u1fbpfcp-zoom-1.image "17.png")

如下圖所示，每一次內部方法的執行耗時都會以註釋的方式顯示在原始碼中。

![18.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bec1d057f1314526a7e496f16536b555~tplv-k3u1fbpfcp-zoom-1.image "18.png")

-   **物件檢視器**

物件檢視器用於檢視一些單例物件當前的狀態，用於排查應用狀態異常問題，例如應用配置、黑白名單、成員變數等。

![19.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0b214602f4c943a5891dadaddadcadb0~tplv-k3u1fbpfcp-zoom-1.image "19.png")

-   **實時看板**

實時看板用於檢視系統中用到的關鍵元件的實時狀態，例如檢視資料庫連線池的使用情況、HTTP 連線池的使用情況等，有利於排查資源型別的問題。

如下圖顯示為一個 Druid 連線池的實時狀態資訊，包括基礎配置、連線池狀態、執行耗時分佈等。

![20.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5a7e7fa5671e4209a94ea729adfd72c0~tplv-k3u1fbpfcp-zoom-1.image "20.png")

-   **效能分析**

效能分析支援對 CPU 耗時、記憶體分配等物件進行一定時間的取樣並生成相應的火焰圖，幫助您快速定位應用的效能瓶頸。

![21.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a5956e47731f4440b8195b7270518abe~tplv-k3u1fbpfcp-zoom-1.image "21.png")

## 10 分鐘恢復

### 離群例項摘除

在微服務架構中，當服務提供者的應用的某些例項出現異常，而服務消費者無法感知時會影響服務的正常呼叫，並影響消費者的服務效能甚至可用性。離群例項摘除功能會檢測應用例項的可用性並進行動態調整，以保證服務成功呼叫，從而提升業務的穩定性和服務質量。

![22.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/39c9c02d33ac42eca1a955d74c533bec~tplv-k3u1fbpfcp-zoom-1.image "22.png")

### 服務熔斷與降級

當應用遇到業務高峰期，發現下游的服務提供者遇到效能瓶頸，甚至即將影響業務時。我們可以對部分的服務消費者進行服務熔斷操作，針對持續不穩定呼叫的自動熔斷，從而提升整體服務的穩定性。當應用依賴的下游服務出現不可用的情況，導致業務流量損失。您可以透過配置服務熔斷能力，當下遊服務出現異常時，服務降級使流量可以在呼叫端 "fail fast"，有效防止雪崩。

在業務高峰期，某些下游的服務提供者遇到效能瓶頸，甚至影響業務。我們對部分非關鍵服務消費者配置自動熔斷，當一段時間內的慢呼叫比例或錯誤比例達到一定條件時自動觸發熔斷，後續一段時間服務呼叫直接返回 Mock 的結果，這樣既可以保障呼叫端不被不穩定服務拖垮，又可以給不穩定下游服務一些“喘息”的時間，同時可以保障整個業務鏈路的正常運轉。

![23.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/14c5cadb18b84c52824ab0175e3c6b69~tplv-k3u1fbpfcp-zoom-1.image "23.png")

另外一些場景，服務降級可以幫助我們保障一些重要的服務。一些非關鍵的服務不太穩定，希望在重要活動前臨時降級掉這些弱依賴服務呼叫，把資源保留給其它核心服務，從而保證整體業務的順暢。

![24.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/361b2f63640b49b9a0a6e92848b164c0~tplv-k3u1fbpfcp-zoom-1.image "24.png")

離群例項摘除與服務熔斷、服務降級主要是體現在兩點：

1、自動完成：服務降級是一種運維動作，需要透過控制檯進行配置，並且指定對應的服務名才能做到相應的效果；而離群例項摘除、服務熔斷能力是會主動探測上游節點的存活情況或者服務呼叫的成功異常、慢呼叫等情況，在這條鏈路上做自動的隔離或者熔斷操作，保障服務的質量。

2、摘除粒度：服務降級降級的是（服務+節點 IP），以 Dubbo 舉例子，一個程式會發布以服務介面名（Interface）為服務名的微服務，如果觸發到這個服務的降級，下次將不再呼叫這個節點的此服務，但是還是會呼叫其他服務。但是離群例項摘除是整個節點都不會去嘗試呼叫。

### 流控、擴容、重啟、回滾

-   流量控制：根據流量、併發執行緒數、響應時間等指標，把隨機到來的流量調整成合適的形狀，即流量塑形。透過流控能力，為服務介面配置流控規則，讓容量範圍內的請求透過，多餘的請求被拒絕，相當於安全氣囊的作用。層層防護，在 Nginx/Ingress 閘道器層進行粗粒度保護，在微服務層進行 API、介面、方法、引數粒度控制。避免應用被瞬時的流量高峰沖垮，從而保障應用的高可用性。

![25.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bc66c10136bb440bb9a4158e29e08c60~tplv-k3u1fbpfcp-zoom-1.image "25.png")

-   擴容：水平橫向擴容提升叢集可用性
-   重啟：重新啟動 JVM 程式，從而暫時消除長時間執行累積的問題如記憶體洩露等
-   回滾：消除變更引入的問題

### 基於同可用區優先的一鍵切流

同城的特點是 RT 一般處在一個比較底的延遲（< 3ms 以內），所以在預設情況下，我們可以基於同城的不同可用區搭建起來一個大的區域網，然後把我們應用跨可用區分佈在多個可用區中，以此來應對單可用區出現故障時可以更好地控制故障的影響面。

![26.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/254a98c8b68c45e19a70f7419b2be083~tplv-k3u1fbpfcp-zoom-1.image "26.png")

MSE 服務治理在服務框架層面提供了同機房優先路由的能力，如果目標服務和自己所在可用區相同，則優先將流量路由至和當前同可用區的節點。當某個可用區出現不可用的情況，我們只需在閘道器對流量進行切流，將出故障可用區的流量隔離，即馬上可恢復我們的業務。

## 尾

1-5-10 故障快恢，故障 1 分鐘響應、5 分鐘定位、10 分鐘恢復；只有不斷地面向失敗地設計、基於故障應急方式演練，那麼在真正遇到線上故障的時候我們才可以更加從容地面對故障。我們希望新一代的雲原生微服務能更多地具備系統自愈能力，微服務架構內部可以自動感知外部元件的失效，自動切換至備用鏈路，真正地把故障扼殺在搖籃之中。

MSE 註冊配置中心專業版首購享 9 折優惠，MSE 雲原生閘道器預付費全規格享 9 折優惠。

點選[此處](https://www.aliyun.com/product/aliware/mse)，即享優惠！

線上故障突突突？如何緊急診斷、排查與恢復

相關文章