*作者：草谷*

## 前言

業務大促備戰是企業必做功課之一，今天趁著 99 大促來襲前，談一談如何利用 MSE 的服務自治能力提前發現潛在風險，透過可觀測能力瞭解引擎內部執行狀態，並提供自建 Nacos/ZooKeeper 一鍵遷移上雲服務，幫助業務順利應對大促。

*點選檢視直播回放：*

[*https://yqh.aliyun.com/live/detail/29401*](https://yqh.aliyun.com/live/detail/29401)

## 微服務的挑戰

### 單體到微服務的變化

隨著網際網路的業務快速增長，進而導致系統的架構也在不斷的發生著變化，由最初的單體形態演變到現在最流行的微服務架構；軟體架構設計裡面沒有銀彈，享受著微服務帶來的擴充套件性和效能提升，必然要承受它帶來的一些副作用，總的來說，主要有以下幾點的變化：

-   **呼叫鏈路增加了多跳**

單體應用的業務邏輯在一個節點程式裡面閉環執行完成，微服務架構改造後，不同功能屬性的邏輯拆分成一個個服務部署在獨立的節點之上，要完成一段完整的業務邏輯，需要每個獨立節點互相配合，A->B 變成了 A->B1->B2->B3。

-   **增加了複雜中介軟體的依賴**

微服務架構裡面，RPC 是最基本的技術引入，它包含了：RPC 客戶端（Dubbo/Spring Cloud），註冊中心（Nacos/ZooKeeper/Eureka），如果有事務要求的，還需要依賴一些分散式事務元件如 Seata。

-   **從單兵作戰到多團隊協作**

微服務架構的升級，除了應用系統層面的變化，生產關係也可能產生了變化，以前一個系統由一個人負責，變成了多個服務團隊協作開發，互相支援。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2db014ca127645bc96fd65c4a00633e1~tplv-k3u1fbpfcp-zoom-1.image "1.png")

### 帶來的挑戰

面對微服務架構帶來的變化，給開發者和運維同學帶來了不少挑戰：

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/76806be7c804432fb4984ca59a87694b~tplv-k3u1fbpfcp-zoom-1.image "2.png")

在日常開發和運維過程中，經常會遇到一些如下的典型問題：

-   場景一：服務呼叫失敗，Consumer 日誌顯示沒有可用服務，可明明 Provider 程式正常執行著，是服務沒註冊上去呢？還是註冊中心沒把地址推送到客戶端呢？

-   場景二：Nacos 客戶端在某種極端場景下，出現了異常，排查了半天，是 Nacos 客戶端已知 Bug 導致，需要升級到 xx 穩定版本，但是作為開發/運維的你，每天業務需求那麼多，如何搞定對客戶端版本迭代保持著時刻的關注呢？

-   場景三：業務大促即將來臨，客戶端熱火朝天的擴容以應對激增的流量，突然間註冊配置中心不工作了，原來是達到註冊配置中心額定容量了，需要擴容了，每次都是出現問題才後知後覺，然後提前做好容量規劃呢？

-   場景四：線上註冊配置中心出現 FullGC，重啟又緩解一下，每隔一段時間又出現，排查同學反饋是可能是有客戶端錯用，大量的讀寫資料導致記憶體吃不消，但是又苦於難以找出到底是誰在“搗亂”？

## 服務自治能力

雲原生微服務仍然是目前最熱門的技術架構（[《40%的雲原生開發者專注於微服務領域》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247536858&idx=2&sn=45088fc583f7d00ce95f3861fc3f8b46&chksm=fae65b15cd91d20338a602ebda267b2582791434b29b33855f6f42aa2ec6fd012cb73a1a247b&scene=21#wechat_redirect)），因此解決這部分群體的痛點，能夠給企業帶來最大的價值，這也是 MSE 的初衷。

阿里巴巴從 08 年開始單體架構演進走到現在，有著十幾年的踩坑經驗，也總結出了一套打法；MSE 的服務自治能力 ，目標是幫助使用者快速發現問題，定位問題，解決問題，它主要圍繞以下 3 個方面提供一系列的功能和工具：

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8b4c37e36dd1480b91b7f4b213bd1eeb~tplv-k3u1fbpfcp-zoom-1.image "3.png")

### 可觀測性

可觀測性（Observability）是幫助微服務穩健執行的重要一環：

-   “系統是否還是正常的？”
-   “終端使用者的體驗是否符合預期？”
-   “如何在系統快要出問題之前主動發現系統的風險？”

如果說監控可以告訴我們系統出問題了，那麼可觀測就可以告訴我們系統哪裡出問題了，什麼原因導致的問題。可觀測不但可以判斷系統是否正常，還可以在系統出現問題之前，主動發現系統風險。

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/46d0efcb24824c2294dea3cb747f5928~tplv-k3u1fbpfcp-zoom-1.image "4.png")

-   **監控大盤**

MSE 提供了豐富的監控大盤，無縫整合 ARMS，免費為大家提供了豐富的可觀測能力，可以藉助這些指標，窺探容量情況，儘早發現問題，定位問題：

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/204028649987493f9fb81edd8499c39a~tplv-k3u1fbpfcp-zoom-1.image "5.png")

#### 1. 基礎大盤

提供了基礎設施的一些核心指標，主要如下：

-   JVM 監控
-   記憶體/CPU
-   網路流量

針對這些基礎核心指標，建議至少要把記憶體/CPU 的預警給加上，閥值設定到 60%。

如果你的應用是時延敏感的，需要重點關注下 JVM 監控中的 FullGC 指標，這個會導致程式響應變慢。

網路流量指標，可以用來觀測 SLB 的網路問題，例如流量突然漲到某個點，然後一直橫盤，這時你的客戶端也相應出現連結失敗異常，這個就可能是達到了流量閥值。

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a5e34c8587ce4f76b99492f53ab4eba3~tplv-k3u1fbpfcp-zoom-1.image "6.png")

#### 2. 概覽大盤

概覽大盤的指標，主要的目的是給大家快速展示一些核心的指標，能夠有一個全域性的視角：

-   客戶端分佈
-   當前配置/服務水位
-   連結數
-   配置/服務數

其中，客戶端分佈指標，可以幫助你看到系統中各種客戶端版本的分佈情況，結合 Nacos 的版本使用限制，找到高危版本，推動解決掉客戶端帶來的穩定性風險。

例如：近期 Nacos 釋出了最新的版本使用約束，Nacos 1.4.1 版本有嚴重的 DNS 解析異常問題，可以透過客戶端分佈指標，找到該客戶端分佈的情況，通知對應的業務進行升級。

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/57b888bf5faa4747b0ae1052498ae8ac~tplv-k3u1fbpfcp-zoom-1.image "7.png")

#### 3. 業務大盤-Nacos 服務/配置大盤

MSE 提供的業務大盤裡面的指標，都是精挑細選出來具有代表性的，能夠幫助你全面瞭解註冊配置中心的內部業務規模；大促來臨，公司要求你評估註冊配置中心當前容量規模，你可以透過這些指標資料進行一個全面的分析。Nacos 的使用場景分為註冊中心和配置中心，MSE 根據這 2 個場景單獨設定了大盤：

配置中心指標：

-   配置數量
-   配置監聽數量
-   配置的 TPS/QPS
-   讀寫 RT

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/57482a0f8edf46c6b9952515ea65a138~tplv-k3u1fbpfcp-zoom-1.image "8.png")

註冊中心服務指標：

-   服務提供者/訂閱者數量
-   註冊中心 QPS/TPS
-   註冊中心讀寫 RT
-   推送成功率/耗時/TPS

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/14fe482379ba41bab222312af3e7b84e~tplv-k3u1fbpfcp-zoom-1.image "9.png")

#### 4. ZooKeeper TopN 大盤

TopN 大盤，對外部因素導致了服務端出現異常類的問題定位是非常高效的：

-   Znode 的大小 Top N 排序
-   客戶端對 ZooKeeper 的讀寫 TPS/QPS Top N
-   熱點資料的 TPS/QPS Top N
-   熱點資料的監聽數 Top N

在日常開發中，你大機率遇到過 ZooKeeper FullGC 的場景，但是又不知道是具體什麼原因引起的 GC，可能是 ZooKeeper 在推送大量資料導致，又不確定是哪個熱點資料被訂閱導致的，也可能是有客戶端往 ZooKeeper 裡面寫大資料，又找不到是哪個客戶端寫的？

我們看下 2 個客戶端典型錯用的場景：

1. 戶端錯用寫入了大資料，訂閱者非常多，導致 ZooKeeper 推送大量資料引起了 FullGC：

往/99testWriteBig 路徑下面寫入了大資料，可以透過 Znode 大小 TopN 發現大資料節點

![10.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/04b4f4472a974693bcc07765d24e50d6~tplv-k3u1fbpfcp-zoom-1.image "10.png")

2. 客戶端錯用頻繁讀某 ZK，導致叢集效能壓力增加，響應延時，需要找到這個客戶端：

一個 SessionId 為：0x1030871c8ed0004 的客戶端，頻繁讀取/99testRead 節點，透過客戶端 QPS TopN 大盤，可以找到它，同時也能看到這個當前 Server 中最頻繁讀取的是哪個資料

![11.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a14b0c9d21d94357a7c15fef38e4768f~tplv-k3u1fbpfcp-zoom-1.image "11.png")

-   **指標預警**

MSE 給註冊配置中心提供了核心指標的預警能力，建議把如下的指標都配置上：

-   Nacos 建議配置：

-   -   服務讀寫平均耗時：可以發現效能問題
    -   配置長輪訓連結數：可以發現容量問題
    -   服務數/配置數：可以發現容量問題/客戶端錯用

-   ZooKeeper 建議配置：

-   -   Znode 數：可以發現客戶端錯用
    -   連線數變化率：突降的話服務端節點可能出現了故障
    -   單服務端連結數：可以發現容量問題/客戶端錯用

![12.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6e21178ae5dc4baa987fd3cf6c1b1682~tplv-k3u1fbpfcp-zoom-1.image "12.png")

![13.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/52c371585a70423f98b21ee5d60c50ac~tplv-k3u1fbpfcp-zoom-1.image "13.png")

### 鏈路追蹤

-   **推送軌跡**

推送軌跡，是指註冊配置中心從 server 端到 client 端的一次推送鏈路上的相關資訊展示。推送軌跡可以讓使用者非常方便的查詢到，當開發過程中，出現如下問題，都可以透過推送軌跡快速定位到，極大的提高問題的排查效率：

-   客戶端未收到服務推送
-   服務間呼叫出現異常
-   配置釋出異常了
-   配置修改完發現某臺機器不生效
-   需要檢視配置中心變更及推送事件

![14.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ad8ffb1523df4e0cae31fb48eb1005fe~tplv-k3u1fbpfcp-zoom-1.image "14.png")

MSE - Nacos 註冊中心推送軌跡查詢頁面

![15.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e9043de75c484766a5352632c696d60c~tplv-k3u1fbpfcp-zoom-1.image "15.png")

MSE - Nacos 配置中心推送軌跡配置維度查詢頁面

### 叢集診斷

-   **一鍵診斷**

如果說 MSE 提供的各種監控大盤，是輔助你去發現，定位問題，那麼 MSE 即將提供的一鍵診斷功能，就是自動幫你去掃描發現風險，2 者互相配合輔助，它目前主要從下面 3 個方面去做評估：

![16.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/87dbc6c78e024c44806b4459ab7c7b01~tplv-k3u1fbpfcp-zoom-1.image "16.png")

下圖是一鍵診斷的功能頁面，從上面可以看到目前你當前購買的引擎存在的風險，這些都是根據內建規則給自動掃描出來的，你不用再去人肉進行排查了，並且提供了合理的建議給到你進行改進：

![17.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2b4613d1de6942b79f12ff6ddf1ce1b6~tplv-k3u1fbpfcp-zoom-1.image "17.png")

## 平滑遷移 MSE

上面給大家介紹的 MSE 服務自治功能，後續將繼續完善打磨，提供更多的自治能力，包括事件統計、健康審計等功能，降低註冊和配置中心的問題排查難度、提升可用性。

如果你現在還是自建的註冊配置中心，建議儘快遷移上雲，享受這些企業級服務，MSE 提供了高效的遷移工具 MSE Sync，提供雙向同、自動服務獲取、一鍵同步全部服務等能力，幫助使用者更好的完成 Nacos、Zookeeper 註冊配置中心的遷移。

![18.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c612764a73cf4573b28e52f70c0811a9~tplv-k3u1fbpfcp-zoom-1.image "18.png")

MSE 的官網文件，提供了詳細的 Step by Step 的遷移操作文件：

*《自建 Dubbo ZooKeeper 遷移到 MSE ZooKeeper》*

*<https:>*

*《自建 Dubbo ZooKeeper 註冊中心遷移到 MSE Nacos》*

*<https:>*

*《自建 Dubbo Nacos 註冊中心遷移到 MSE Nacos》*

*<https:>*

如果遷移過程遇到問題或者需要定製，可以聯絡我們提供專家一對一的遷移支援。

## 購買 MSE 享受企業級服務

MSE 提供了 高可用、高效能、安全易用等核心競爭力！

![19.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0d9257c229514c3fa22a309dcb7cf951~tplv-k3u1fbpfcp-zoom-1.image "19.png")

![20.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/54421627fae9432fb0a2fe6509eda172~tplv-k3u1fbpfcp-zoom-1.image "20.png")</https:></https:></https:>

99 大促來襲，利用 MSE 服務自治體系為業務保駕護航

相關文章