*作者：十眠*

## 背景

註冊中心作為承擔服務註冊發現的核心元件，是微服務架構中必不可少的一環。在 CAP 的模型中，註冊中心可以犧牲一點點資料一致性（C），即同一時刻每一個節點拿到的服務地址允許短暫的不一致，但必須要保證可用性（A）。因為一旦由於某些問題導致註冊中心不可用，或者服務連不上註冊中心，那麼想要連線他的節點可能會因為無法獲取服務地址而對整個系統出現災難性的打擊。

### 一個真實的案例

全篇從一個真實的案例說起，某客戶在阿里雲上使用 Kubernetes 叢集部署了許多自己的微服務，由於某臺 ECS 的網路卡發生了異常，雖然網路卡異常很快恢復了，但是卻出現了大面積持續的服務不可用，業務受損。

我們來看一下這個問題鏈是如何形成的？

1.  ECS 故障節點上執行著 Kubernetes 叢集的核心基礎元件 CoreDNS 的所有 Pod，且低版本 Kubernetes 叢集缺少 NodeLocal DNSCache 的特性，導致叢集 DNS 解析出現問題。
1.  該客戶的服務發現使用了有缺陷的客戶端版本（Nacos-client 的 1.4.1 版本），這個版本的缺陷就是跟 DNS 有關——心跳請求在域名解析失敗後，會導致程式後續不會再續約心跳，只有重啟才能恢復。
1.  這個缺陷版本實際上是已知問題，阿里雲在 5 月份推送了 Nacos-client 1.4.1 存在嚴重 bug 的公告，但客戶研發未收到通知，進而在生產環境中使用了這個版本。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/de767d86481b4b848db0a77cb33342f8~tplv-k3u1fbpfcp-zoom-1.image)

**風險環環相扣，缺一不可。**

最終導致故障的原因是服務無法呼叫下游，可用性降低，業務受損。下圖示意的是客戶端缺陷導致問題的根因：

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3f776ec852c44602ada752a82ce1f18a~tplv-k3u1fbpfcp-zoom-1.image)

1.  Provider 客戶端在心跳續約時發生 DNS 異常；
1.  心跳執行緒未能正確地處理這個 DNS 異常，導致執行緒意外退出了；
1.  註冊中心的正常機制是，心跳不續約，30 秒後自動下線。由於 CoreDNS 影響的是整個 Kubernetes 叢集的 DNS 解析，所以 Provider 的所有例項都遇到相同的問題，整個服務所有例項都被下線；
1.  在 Consumer 這一側，收到推送的空列表後，無法找到下游，那麼呼叫它的上游（比如閘道器）就會發生異常。

**回顧整個案例，每一環每個風險看起來發生機率都很小，但是一旦發生就會造成惡劣的影響。服務發現高可用是微服務體系中很重要的一環，當然也是我們時常忽略的點。在阿里內部的故障演練中，這一直是必不可少的一個環節。**

## 面向失敗的設計

由於網路環境的抖動比如 CoreDns 的異常，或者是由於某些因素導致我們的註冊中心不可用等情況，經常會出現服務批次閃斷的情況，但這種情況其實不是業務服務的不可用，如果我們的微服務可以識別到這是一種異常情況（批次閃斷或地址變空時），應該採取一種保守的策略，以免誤推從而導致全部服務出現"no provider"的問題，會導致所有的微服務不可用的故障，並且持續較長時間難以恢復。

站在微服務角度上考慮，我們如何可以切段以上的問題鏈呢？以上的案例看起來是 Nacos-client 低版本造成的問題，但是如果我們用的是 zookeeper、eureka 等註冊中心呢？我們能拍著胸脯說，不會發生以上的問題嗎？面向失敗的設計原則告訴我們，如果註冊中心掛掉了，或者我們的服務連不上註冊中心了，我們需要有一個方式保證我們的服務正常呼叫，線上的業務持續不斷。

本文介紹的是服務發現過程中的高可用的機制，從服務框架層面思考如何徹底解決以上的問題。

### 服務發現過程中的高可用原理解析

#### 服務發現高可用-推空保護

面向失敗的設計告訴我們，服務並不能完全相信註冊中心的通知的地址，當註冊中心的推送地址為空時候，服務呼叫肯定會出 no provider 錯誤，那麼我們就忽略此次推送的地址變更。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7eee598f9f854df9b3399d4b93d5637c~tplv-k3u1fbpfcp-zoom-1.image)

**微服務治理中心**提供推空保護能力

-   預設無侵入支援市面上近五年來的 Spring Cloud 與 Dubbo 框架

-   無關注冊中心實現，無需升級 client 版本

### **服務發現高可用-離群例項摘除**

心跳續約是註冊中心感知例項可用性的基本途徑。但是在特定情況下，心跳存續並不能完全等同於服務可用。
因為仍然存在心跳正常，但服務不可用的情況，例如：

-   Request 處理的執行緒池滿

-   依賴的 RDS 連線異常導致出現大量慢 SQL

-   某幾臺機器由於磁碟滿，或者是宿主機資源爭搶導致 load 很高

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/959218645c7e44d898976dc2ac71d0ee~tplv-k3u1fbpfcp-zoom-1.image)

此時服務並不能完全相信註冊中心的通知的地址，推送的地址中，可能存在一些服務質量低下的服務提供者，因此客戶端需要自己根據呼叫的結果來判斷服務地址的可用性與提供服務質量的好壞，來定向忽略某些地址。

**微服務治理中心**提供離群例項摘除

-   預設無侵入，支援市面上近五年來的 Spring Cloud 與 Dubbo 框架

-   無關注冊中心實現，無需升級 client 版本

-   基於異常檢測的摘除策略：包含網路異常和網路異常 + 業務異常（HTTP 5xx）

-   設定異常閾值、QPS 下限、摘除比例下限

-   摘除事件通知、釘釘群告警

離群例項摘除的能力是一個補充，根據特定介面的呼叫異常特徵，來衡量服務的可用性。

## 動手實踐

### 前提條件

-   已建立 Kubernetes 叢集，請參見建立 Kubernetes 託管版叢集 **[1]** 。

-   已開通 MSE 微服務治理專業版，請參見開通 MSE 微服務治理 **[2]** 。

### 準備工作

#### 開啟 MSE 微服務治理

1、開通微服務治理專業版：

1.  單擊開通 MSE 微服務治理 **[3]** 。
1.  微服務治理**版本**選擇**專業版**，選中**服務協議**，然後單擊**立即開通**。關於微服務治理的計費詳情，請參見價格說明 **[4]** 。

2、安裝 MSE 微服務治理元件：

1.  在容器服務控制檯 **[5]** 左側導航欄中，選擇**市場 > 應用目錄**。
1.  在**應用目錄**頁面搜尋框中輸入 ack-mse-pilot，單擊搜尋圖示，然後單擊元件。
1.  在**詳情**頁面選擇開通該元件的**叢集**，然後單擊**建立**。安裝完成後，在名稱空間 **mse-pilotmse-pilot-ack-mse-pilot** 應用，表示安裝成功。

3、為應用開啟微服務治理：

1.  登入 MSE 治理中心控制檯 **[6]** 。
1.  在左側導航欄選擇**微服務治理中心 > Kubernetes 叢集列表**。
1.  在 **Kubernetes 叢集列表**頁面搜尋目標叢集，單擊搜尋圖示，然後單擊目標叢集**操作**列下方的**管理**。
1.  在**叢集詳情**頁面名稱空間列表區域，單擊目標名稱空間**操作**列下方的**開啟微服務治理**。
1.  在**開啟微服務治理**對話方塊中單擊**確認**。

### **部署 Demo 應用程式**

1.  在容器服務控制檯 **[5]** 左側導航欄中，單擊**叢集**。
1.  在**叢集列表**頁面中，單擊目標叢集名稱或者目標叢集右側**操作**列下的**詳情**。
1.  在叢集管理頁左側導航欄中，選擇**工作負載 > 無狀態**。
1.  在**無狀態**頁面選擇**名稱空間**，然後單擊**使用 YAML 建立資源**。
1.  對模板進行相關配置，完成配置後單擊**建立**。本文示例中部署 sc-consumer、sc-consumer-empty、sc-provider，使用的是開源的 Nacos。

#### 部署示例應用（springcloud）

YAML：

```
    # 開啟推空保護的 sc-consumer
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: sc-consumer
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: sc-consumer
      template:
        metadata:
          annotations:
            msePilotCreateAppName: sc-consumer
          labels:
            app: sc-consumer
        spec:
          containers:
          - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
            - name: spring.cloud.nacos.discovery.server-addr
              value: nacos-server:8848
            - name: profiler.micro.service.registry.empty.push.reject.enable
              value: "true"
            image: registry.cn-hangzhou.aliyuncs.com/mse-demo-hz/demo:sc-consumer-0.1
            imagePullPolicy: Always
            name: sc-consumer
            ports:
            - containerPort: 18091
            livenessProbe:
              tcpSocket:
                port: 18091
              initialDelaySeconds: 10
              periodSeconds: 30
    # 無推空保護的sc-consumer-empty
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: sc-consumer-empty
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: sc-consumer-empty
      template:
        metadata:
          annotations:
            msePilotCreateAppName: sc-consumer-empty
          labels:
            app: sc-consumer-empty
        spec:
          containers:
          - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
            - name: spring.cloud.nacos.discovery.server-addr
              value: nacos-server:8848
            image: registry.cn-hangzhou.aliyuncs.com/mse-demo-hz/demo:sc-consumer-0.1
            imagePullPolicy: Always
            name: sc-consumer-empty
            ports:
            - containerPort: 18091
            livenessProbe:
              tcpSocket:
                port: 18091
              initialDelaySeconds: 10
              periodSeconds: 30
    # sc-provider
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: sc-provider
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: sc-provider
      strategy:
      template:
        metadata:
          annotations:
            msePilotCreateAppName: sc-provider
          labels:
            app: sc-provider
        spec:
          containers:
          - env:
            - name: JAVA_HOME
              value: /usr/lib/jvm/java-1.8-openjdk/jre
            - name: spring.cloud.nacos.discovery.server-addr
              value: nacos-server:8848
            image: registry.cn-hangzhou.aliyuncs.com/mse-demo-hz/demo:sc-provider-0.3
            imagePullPolicy: Always
            name: sc-provider
            ports:
            - containerPort: 18084
            livenessProbe:
              tcpSocket:
                port: 18084
              initialDelaySeconds: 10
              periodSeconds: 30
    # Nacos Server
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nacos-server
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: nacos-server
      template:
        metadata:
          labels:
            app: nacos-server
        spec:
          containers:
          - env:
            - name: MODE
              value: standalone
            image: nacos/nacos-server:latest
            imagePullPolicy: Always
            name: nacos-server
          dnsPolicy: ClusterFirst
          restartPolicy: Always

# Nacos Server Service 配置
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: nacos-server
    spec:
      ports:
      - port: 8848
        protocol: TCP
        targetPort: 8848
      selector:
        app: nacos-server
      type: ClusterIP
```

我們只需在 Consumer 增加一個環境變數 profiler.micro.service.registry.empty.push.reject.enable=true，開啟註冊中心的推空保護（無需升級註冊中心的客戶端版本，無關注冊中心的實現，支援 MSE 的 Nacos、eureka、zookeeper 以及自建的 Nacos、eureka、console、zookeeper 等）

#### **分別給 Consumer 應用增加 SLB 用於公網訪問**

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bf2a74e5b2864ee9ba2f6084d403abc8~tplv-k3u1fbpfcp-zoom-1.image)

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/66775d852a0e4a2dba0af133ba75343f~tplv-k3u1fbpfcp-zoom-1.image)

以下分別使用 {sc-consumer-empty} 代表 sc-consumer-empty 應用的 slb 的公網地址，{sc-consumer} 代表 sc-consumer 應用的 slb 的公網地址。

### 應用場景

下面透過上述準備的 Demo 來分別實踐以下場景

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f2eb9cd484244e97995a5fc67d4cda79~tplv-k3u1fbpfcp-zoom-1.image)

-   編寫測試指令碼

vi curl.sh

```
    while :
    do
            result=`curl $1 -s`
            if [[ "$result" == *"500"* ]]; then
                    echo `date +%F-%T` $result
            else
                    echo `date +%F-%T` $result
            fi

sleep 0.1
    done
```

-   測試，分別開兩個命令列，執行如下指令碼，顯示如下

% sh curl.sh {sc-consumer-empty}:18091/user/rest2022-01-19-11:58:12 Hello from [18084]10.116.0.142!2022-01-19-11:58:12 Hello from [18084]10.116.0.142!2022-01-19-11:58:12 Hello from [18084]10.116.0.142!2022-01-19-11:58:13 Hello from [18084]10.116.0.142!2022-01-19-11:58:13 Hello from [18084]10.116.0.142!2022-01-19-11:58:13 Hello from [18084]10.116.0.142!

% sh curl.sh {sc-consumer}:18091/user/rest2022-01-19-11:58:13 Hello from [18084]10.116.0.142!2022-01-19-11:58:13 Hello from [18084]10.116.0.142!2022-01-19-11:58:13 Hello from [18084]10.116.0.142!2022-01-19-11:58:14 Hello from [18084]10.116.0.142!2022-01-19-11:58:14 Hello from [18084]10.116.0.142!2022-01-19-11:58:14 Hello from [18084]10.116.0.142!

並保持指令碼一直在呼叫，觀察 MSE 控制檯分別看到如下情況

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/80e6bb54bd4a42c9a1d93322a5c2e4e9~tplv-k3u1fbpfcp-zoom-1.image)
![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/546eaf800b7a403ba42aec0a5baadd56~tplv-k3u1fbpfcp-zoom-1.image)
-   將 coredns 元件縮容至數量 0，模擬 DNS 網路解析異常場景。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9146edeeb46e41cf85b37c74c4255b6c~tplv-k3u1fbpfcp-zoom-1.image)

發現例項與 Nacos 的連線斷開且服務列表為空。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/89f0b65a86b845f592f997c9b187188c~tplv-k3u1fbpfcp-zoom-1.image)

-   模擬 DNS 服務恢復，將其擴容回數量 2。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/23339d0b2f0f4b6ebb7da437bcca7e00~tplv-k3u1fbpfcp-zoom-1.image)

### **結果驗證**

在以上過程中保持持續的業務流量，我們發現 sc-consumer-empty 服務出現大量且持續的報錯

2022-01-19-12:02:37 {"timestamp":"2022-01-19T04:02:37.597+0000","status":500,"error":"Internal Server Error","message":"com.netflix.client.ClientException: Load balancer does not have available server for client: mse-service-provider","path":"/user/feign"}2022-01-19-12:02:37 {"timestamp":"2022-01-19T04:02:37.799+0000","status":500,"error":"Internal Server Error","message":"com.netflix.client.ClientException: Load balancer does not have available server for client: mse-service-provider","path":"/user/feign"}2022-01-19-12:02:37 {"timestamp":"2022-01-19T04:02:37.993+0000","status":500,"error":"Internal Server Error","message":"com.netflix.client.ClientException: Load balancer does not have available server for client: mse-service-provider","path":"/user/feign"}

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0cf74708d6df414e98fa488b33cbc914~tplv-k3u1fbpfcp-zoom-1.image)

相比之下，sc-consumer 應用全流程沒有任何報錯

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d611bef0ecb44784a5232f0ea168a327~tplv-k3u1fbpfcp-zoom-1.image)

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a9d71fae46854858aea8681c640eaae5~tplv-k3u1fbpfcp-zoom-1.image)

-   只有重啟了 Provider，sc-consumer-empty 才恢復正常

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a17894106a4746d08594dfeacd6683c0~tplv-k3u1fbpfcp-zoom-1.image)

相比之下，sc-consumer 應用全流程沒有任何報錯

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f9d3993aed614401ba528f558a841aae~tplv-k3u1fbpfcp-zoom-1.image)

#### 後續

我們當發生推空保護後，我們會上報事件、告警至釘釘群，同時建議配合離群例項摘除使用，推空保護可能會導致 Consumer 持有過多的 Provider 地址，當 Provider 地址為無效地址時，離群例項摘除可以對其進行邏輯隔離，保證業務的高可用。

## 尾

保障雲上業務的永遠線上，是 MSE 一直在追求的目標，本文透過面向失敗設計的服務發現高可用能力的分享，以及 MSE 的服務治理能力快速構建起服務發現高可用能力的演示，模擬了線上不可預期的服務發現相關異常發生時的影響以及我們如何預防的手段，展示了一個簡單的開源微服務應用應該如何構建起服務發現高可用能力。

## 相關連結

[1] 建立 Kubernetes 託管版叢集

*<https:>*

[2] 開通 MSE 微服務治理

*<https:>*

[3] 開通 MSE 微服務治理

*<https:>*

[4] 價格說明

*[https://help.aliyun.com/document_detail/170443.htm#concept-2519524](https://help.aliyun.com/document_detail/170443.htm#concept-2519524)*

[5] 容器服務控制檯

*[https://cs.console.aliyun.com](https://cs.console.aliyun.com)*

[6] MSE 治理中心控制檯

*[https://mse.console.aliyun.com](https://mse.console.aliyun.com)*

點選[**此處**](https://www.aliyun.com/product/aliware/mse)，前往 MSE 官網檢視更多！</https:></https:></https:>

如何快速構建服務發現的高可用能力

相關文章