*作者：泮聖偉（十眠）*

## 概要

全鏈路灰度是微服務最核心的功能之一，也一直是雲上客戶在微服務化深入過程中必須具備的功能。全鏈路灰度因為涉及到的技術、場景眾多，如果雲上企業一一自己實現，需要花費大量人力成本對其進行擴充套件與運維。

## 涉及到的技術領域

-   RPC: 微服務之間的路由
- - Java 體系涉及 Spring Cloud，Apache Dubbo 主流微服務框架，多語言涉及 Service Mesh
- - 端雲互聯場景，線上流量 DEBUG。本地透過跳板機將本地服務註冊到註冊中心，希望線上流量滿足路由規則後路由到本地服務對於的例項上再進行 DEBUG，不滿足路由規則的流量路由到線上例項

-   MQ
- -   全鏈路壓測場景下，壓測流量傳送訊息到影子 Topic，壓測流量只訂閱影子 Topic
- -   流量隔離/全鏈路灰度場景下，使用相同 Topic，線上流量訂閱線上訊息，隔離流量只訂閱灰度訊息

-   Database
- -   全鏈路壓測場景下，壓測流量資料落庫到到影子表上
- -   高可用切流的場景下，禁止資料庫操作；單元化下，流量沒有單元標，禁止資料庫操作

-   Redis
- -   全鏈路壓測場景下，壓測流量快取落庫到到影子 KEY 上
- -   高可用切流的場景下，禁止快取操作；單元化下，流量沒有單元標，禁止快取操作

-   分散式任務排程
- -   對於任務排程，灰度環境提交的任務，被排程到灰度環境的機器上執行

-   前端
- -   不同客戶看到的頁面資訊不一致

-   可觀測性
- -   透過可觀測性監控流量走向，檢視流量逃逸情況

## MSE 全鏈路灰度解決方案

目前 MSE 服務治理專業版提供了完整的產品化的全鏈路灰度解決方案，覆蓋 RPC、MQ、可觀測性等絕大多數場景。只要您的架構是基於 Spring Cloud 或者 Dubbo 框架，您的應用無需升級，無需一行程式碼改動，即可玩轉企業級全鏈路灰度功能。

-   全鏈路隔離流量泳道

1) 透過設定流量規則對所需流量進行'染色'，'染色'流量會路由到灰度機器。

2) 灰度流量攜帶灰度標往下游傳遞，形成灰度專屬環境流量泳道，無灰度環境應用會預設選擇未打標的基線環境。

-   端到端的穩定基線環境

未打標的應用屬於基線穩定版本的應用，即穩定的線上環境。當我們將釋出對應的灰度版本程式碼，然後可以配置規則定向引入特定的線上流量，控制灰度程式碼的風險。

-   流量一鍵動態切流

流量規則定製後，可根據需求進行一鍵停啟，增刪改查，實時生效。灰度引流更便捷。

-   可觀測能力

具備泳道級別的單應用可觀測能力

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5cc14f55576f4457a4203cc138c4cef0~tplv-k3u1fbpfcp-zoom-1.image)

同時具備全鏈路應用的可觀測能力，可以從全域性視角觀察流量是否存在逃逸情況。灰沒灰到，一目瞭然。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3c5256641462462b9731d4d11a95cfd8~tplv-k3u1fbpfcp-zoom-1.image)

-   低成本接入，基於 Java Agent 技術實現無需修改一行業務程式碼

MSE 微服務治理能力基於 Java Agent 位元組碼增強的技術實現，無縫支援市面上近5年的所有 Spring Cloud 和 Dubbo 的版本，使用者不用改一行程式碼就可以使用，不需要改變業務的現有架構，隨時可上可下，沒有繫結。只需開啟 MSE 微服務治理專業版，線上配置，實時生效。

-   具備無損上下線能力，使得釋出更加絲滑

應用開啟 MSE 微服務治理後就具備無損上下線能力，大流量下的釋出、回滾、擴容、縮容等場景，均能保證流量無損。
## 如何使用 MSE 全鏈路灰度

接下來將演示全鏈路灰度的能力，我們使用應用的架構由 Ingress-nginx 以及後端的微服務架構（Spring Cloud）來組成，後端呼叫鏈路有3跳，購物車（a），交易中心（b），庫存中心（c），客戶端透過 客戶端或者是 H5 頁面來訪問後端服務，他們透過 Nacos 註冊中心做服務發現。

### 準備工作

#### 開通 MSE 微服務治理專業版

登入 MSE 治理中心控制檯，如果您尚未開通 MSE 微服務治理，請根據提示開通專業版。如果您已經開通了 MSE 微服務治理基礎版，請根據概覽頁中右側的提示，升級到 專業版。

#### 安裝 Ingress-nginx 元件

1.  登入容器服務控制檯 **[1]** 。
1.  在左側導航欄選擇**市場 > 應用目錄。** 
1.  在**應用目錄**頁面搜尋框中輸入 ack-ingress-nginx，單擊![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/532f350b588a4f2f893758a60f7d3690~tplv-k3u1fbpfcp-zoom-1.image)圖示，然後單擊元件。
1.  在**詳情**頁面選擇元件的**名稱空間**為 **kube-system**，然後單擊**建立**。安裝完成後，在名稱空間 **kube-system** 中出現 **ack-ingress-nginx-default-controller** 應用，表示安裝成功。

#### 部署 Demo 應用程式

將下面的檔案儲存到 ingress-gray-demo-deployment-set.yaml 中，並執行 kubectl apply -f ingress-gray-demo-deployment-set.yaml 以部署應用，這裡我們將要部署 A, B, C 三個應用，每個應用分別部署一個基線版本和一個灰度版本。

```
# A 應用 base 版本
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-a
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-a
  template:
    metadata:
      annotations:
        msePilotCreateAppName: spring-cloud-a
      labels:
        app: spring-cloud-a
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-a
        ports:
        - containerPort: 20001
        livenessProbe:
          tcpSocket:
            port: 20001
          initialDelaySeconds: 10
          periodSeconds: 30

# A 應用 gray 版本
---            
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-a-new
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-a-new
  strategy:
  template:
    metadata:
      annotations:
        alicloud.service.tag: gray
        msePilotCreateAppName: spring-cloud-a
      labels:
        app: spring-cloud-a-new
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-a:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-a-new
        ports:
        - containerPort: 20001
        livenessProbe:
          tcpSocket:
            port: 20001
          initialDelaySeconds: 10
          periodSeconds: 30

# B 應用 base 版本
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-b
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-b
  strategy:
  template:
    metadata:
      annotations:
        msePilotCreateAppName: spring-cloud-b
      labels:
        app: spring-cloud-b
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-b
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20002
          initialDelaySeconds: 10
          periodSeconds: 30

# B 應用 gray 版本  
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-b-new
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-b-new
  template:
    metadata:
      annotations:
        alicloud.service.tag: gray
        msePilotCreateAppName: spring-cloud-b
      labels:
        app: spring-cloud-b-new
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-b:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-b-new
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20002
          initialDelaySeconds: 10
          periodSeconds: 30

# C 應用 base 版本
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-c
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-c
  template:
    metadata:
      annotations:
        msePilotCreateAppName: spring-cloud-c
      labels:
        app: spring-cloud-c
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:0.1-SNAPSHOT
        imagePullPolicy: Always
        name: spring-cloud-c
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20003
          initialDelaySeconds: 10
          periodSeconds: 30

# C 應用 gray 版本
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spring-cloud-c-new
spec:
  replicas: 2
  selector:
    matchLabels:
      app: spring-cloud-c-new
  template:
    metadata:
      annotations:
        alicloud.service.tag: gray
        msePilotCreateAppName: spring-cloud-c
      labels:
        app: spring-cloud-c-new
    spec:
      containers:
      - env:
        - name: JAVA_HOME
          value: /usr/lib/jvm/java-1.8-openjdk/jre
        image: registry.cn-shanghai.aliyuncs.com/yizhan/spring-cloud-c:0.1-SNAPSHOT
        imagePullPolicy: IfNotPresent
        name: spring-cloud-c-new
        ports:
        - containerPort: 8080
        livenessProbe:
          tcpSocket:
            port: 20003
          initialDelaySeconds: 10
          periodSeconds: 30

# Nacos Server
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nacos-server
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nacos-server
  template:
    metadata:
      labels:
        app: nacos-server
    spec:
      containers:
      - env:
        - name: MODE
          value: standalone
        image: nacos/nacos-server:latest
        imagePullPolicy: Always
        name: nacos-server
      dnsPolicy: ClusterFirst
      restartPolicy: Always

# Nacos Server Service 配置
---
apiVersion: v1
kind: Service
metadata:
  name: nacos-server
spec:
  ports:
  - port: 8848
    protocol: TCP
    targetPort: 8848
  selector:
    app: nacos-server
  type: ClusterIP
```

針對入口應用 A ，配置兩個 k8s service, spring-cloud-a-base 對應 A 的 base 版本，spring-cloud-a-gray 對應 A 的 gray 版本。

```
apiVersion: v1
kind: Service
metadata:
  name: spring-cloud-a-base
spec:
  ports:
    - name: http
      port: 20001
      protocol: TCP
      targetPort: 20001
  selector:
    app: spring-cloud-a

---
apiVersion: v1
kind: Service
metadata:
  name: spring-cloud-a-gray
spec:
  ports:
    - name: http
      port: 20001
      protocol: TCP
      targetPort: 20001
  selector:
    app: spring-cloud-a-new
```

### 快速構建全鏈路灰度能力

-   泳道為相同版本應用定義的一套隔離環境。只有滿足了流控路由規則的請求流量才會路由到對應泳道里的打標應用。一個應用可以屬於多個泳道，一個泳道可以包含多個應用，應用和泳道是多對多的關係。

-   泳道組：泳道的集合。泳道組的作用主要是為了區分不同團隊或不同場景。

登入 MSE 治理中心控制檯 **[2]** ，找到 **微服務治理中心 > 全鏈路灰度**

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ebd43b27fc754d05914a2b357a1e8f79~tplv-k3u1fbpfcp-zoom-1.image)

可以看到我們需要實現上述描述的能力，我們只需要兩個步驟，建立泳道組與建立泳道

#### 建立泳道組

點選建立泳道組按鈕，並選擇我們泳道組涉及到的後端微服務應用，按照上述 demo 來看就是 A, B, C 三個應用

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/38a11bc69dba412e9bd6767050468eaa~tplv-k3u1fbpfcp-zoom-1.image)

#### 建立泳道

在**全鏈路灰度**頁面上方選擇建立和泳道組時相同的微服務空間，然後底部單擊**點選建立第一個分流泳道**。需要注意的是 加入全鏈路流量控制的應用，將不再支援金絲雀釋出、標籤路由等功能。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/49bfa95d95c14f0ba02a8573b9873602~tplv-k3u1fbpfcp-zoom-1.image)

按照產品的 Step 來，我們分別需要起一個泳道名稱，配置應用標籤，選擇泳道關聯的標籤，去 ACK 控制檯配置 Ingress 的路由規則。

#### 建立完成的泳道

檢視泳道，分別有兩種模式

-   檢視模式

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/730a2cc8b9224ad6b367a0f069e7e49b~tplv-k3u1fbpfcp-zoom-1.image)

-   可編輯模式

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/184de0f4838b4289a4a84072a067b3fc~tplv-k3u1fbpfcp-zoom-1.image)

#### 入口 Ingress 規則

配置入口的 Ingress 規則，訪問 *www.base.com* 路由到 a 應用的 base 版本，訪問 *www.gray.com* 路由到 a 應用的 gray 版本。

```
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: spring-cloud-a-base
spec:
  rules:
  - host: www.base.com
    http:
      paths:
      - backend:
          serviceName: spring-cloud-a-base
          servicePort: 20001
        path: /

---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: spring-cloud-a-gray
spec:
  rules:
  - host: www.gray.com
    http:
      paths:
      - backend:
          serviceName: spring-cloud-a-gray
          servicePort: 20001
        path: /
```

#### 驗證特徵流量路由到目標應用

1.  結果驗證

訪問 *www.base.com* 路由到基線環境

```
curl -H"Host:www.base.com" http://{ingress-ip}/a
A[172.18.144.155] -> B[172.18.144.120] -> C[172.18.144.79]%
```

此時，訪問 *www.gray.com* 路由到灰度環境

```
curl -H"Host:www.gray.com" http://{ingress-ip}/a
Agray[172.18.144.160] -> Bgray[172.18.144.57] -> Cgray[172.18.144.157]%
```

2.  檢視打標應用的流量監控圖。

在**全鏈路灰度**頁面選擇目標泳道組。在涉及應用中選擇對應的應用，即可出現相應的流量檢視

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/38c5b35e9f0d4914bbe24b36a8464112~tplv-k3u1fbpfcp-zoom-1.image)

3.  檢視所有應用監控圖。

除了檢視單個應用的監控圖監控圖外，我們還可以檢視泳道組內所有應用的監控圖。透過比對分析所有應用的監控圖，可以分析出更多有用資訊。

-   可以看出同一時刻，呼叫的是哪些應用。
-   分析流量逃逸問題，判斷逃逸物件。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5ad2708afd0c4954a82882a0482d7695~tplv-k3u1fbpfcp-zoom-1.image)

#### 總結

MSE 服務治理的全鏈路灰度產品化能力還在不斷演進，目前我們支援了 MQ、RPC、可觀測等，後續還會支援 XXL-JOB 等更多的場景，目前我們有如何在 MSE 上實現多語言微服務治理 **[3]** 、使用 Cloud Toolkit 實現微服務的端雲互聯 **[4]** 、基於 Ingress-nginx 閘道器實現全鏈路灰度 **[5]** 、基於 MSE 雲原生閘道器實現全鏈路灰度 **[6]** 、基於自建 Spring Cloud Gateway 或 Zuul 閘道器實現全鏈路灰度 **[7]** 、基於訊息佇列 RocketMQ 版實現全鏈路灰度 **[8]** 、透過 Jenkins 構建 CI/CD 實現金絲雀釋出 **[9]** 、微服務敏捷開發最佳實踐 **[10]** 等全鏈路灰度相關的完整解決方案，隨著使用者場景與實踐的增多，我們的解決方案還會不斷迭代與豐富。

## 典型案例

### 來電科技

> MSE 服務治理幫助我們系統以很低的成本無侵入的方式快速實現了全鏈路灰度能力，進一步提升了我們系統的穩定性，讓我們新需求的迭代上線更加地安心。
>
> -- 來電科技架構師 湯長征

來電科技自 2014 年起開始進入共享充電領域，定義並開創了行業，屬於行業內最早的共享充電企業。主要業務覆蓋充電寶自助租賃、定製商場導航機開發、廣告展示裝置及廣告傳播等服務。來電科技擁有業內立體化產品線，大中小機櫃以及桌上型，目前全國超過 90%的城市實現業務服務落地，註冊使用者超 2 億人，實現全場景使用者需求。

#### 全鏈路灰度落地

來電的業務架構如下，最上層是移動端等使用者介面，自建的 Nginx 閘道器作為接入層，服務層就是各種服務，使用的是 Spring Cloud 與 Dubbo 作為服務框架。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ec314b48a3124c01a86e6e38926949a8~tplv-k3u1fbpfcp-zoom-1.image)

來電科技全鏈路灰度落地的架構如下：

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b314dad7e53446c69ef96d13f74ba3f7~tplv-k3u1fbpfcp-zoom-1.image)

在 Nginx 層配置流量分流的配置，10% 的流量進入灰度環境，90% 的流量進入未打標即線上正式環境，然後經過灰度環境的流量會自動被 MSE 染上對應環境的顏色，從而進行全鏈路的灰度路由，保證流量在灰度環境中閉環，如果沒有灰度環境的機器，比如支付中心只有線上的機器，那麼流量會走線上環境，當我們資料中心有存在灰度環境的機器，那麼灰度流量還會重新回到資料中心的灰度環境中。

## 尾

MSE 的全鏈路灰度能力隨著客戶場景的深入而不斷擴充套件與迭代，只有經過客戶打磨的產品才會愈發歷久彌新，歡迎大家嚐鮮體驗。

### 相關連結

[1] 容器服務控制檯

[https://cs.console.aliyun.com/#/authorize](https://cs.console.aliyun.com/#/authorize)

[2] MSE 治理中心控制檯

[https://mse.console.aliyun.com/?spm=a2c4g.11186623.2.13.f90a6a60WiEx0N#/auth](https://mse.console.aliyun.com/?spm=a2c4g.11186623.2.13.f90a6a60WiEx0N#/auth)

[3] 如何在 MSE 上實現多語言微服務治理

[https://help.aliyun.com/document_detail/184289.html](https://help.aliyun.com/document_detail/184289.html)

[4] 使用 Cloud Toolkit 實現微服務的端雲互聯

[https://help.aliyun.com/document_detail/196920.html](https://help.aliyun.com/document_detail/196920.html)

[5] 基於 Ingress-nginx 閘道器實現全鏈路灰度

[https://help.aliyun.com/document_detail/347790.html](https://help.aliyun.com/document_detail/347790.html)

[6] 基於 MSE 雲原生閘道器實現全鏈路灰度

[https://help.aliyun.com/document_detail/359851.html](https://help.aliyun.com/document_detail/359851.html)

[7] 基於自建 Spring Cloud Gateway 或 Zuul 閘道器實現全鏈路灰度

[https://help.aliyun.com/document_detail/359858.html](https://help.aliyun.com/document_detail/359858.html)

[8] 基於訊息佇列 RocketMQ 版實現全鏈路灰度

[https://help.aliyun.com/document_detail/397318.html](https://help.aliyun.com/document_detail/397318.html)

[9] 透過 Jenkins 構建 CI/CD 實現金絲雀釋出

[https://help.aliyun.com/document_detail/384436.html](https://help.aliyun.com/document_detail/384436.html)

[10] 微服務敏捷開發最佳實踐

[https://help.aliyun.com/document_detail/397319.html](https://help.aliyun.com/document_detail/397319.html)

**點選文末“**[**此處**](https://www.aliyun.com/product/aliware/mse)**”，瞭解更多詳情~**

全鏈路灰度這樣做，新需求迭代上線也能放心乾飯

相關文章