*作者：塗鴉*

## 背景

隨著雲原生技術不斷普及，越來越多的業務應用開始向雲原生架構轉變，藉助容器管理平臺 Kubernetes 的不可變基礎設施、彈性擴縮容和高擴充套件性，助力業務迅速完成數字化轉型。其中，叢集入口流量管理方式在雲原生技術演進過程中逐步通用化、標準化，使用者透過 Kubernetes 定義的 Ingress 資源來管理外部訪問叢集內部服務的方式。

微服務架構下，有一些需求開發，涉及到微服務呼叫鏈路上的多個微服務同時發生了改動，通常每個微服務都會有灰度環境或分組來接受灰度流量，我們希望透過進入上游灰度環境的流量，也能進入下游灰度的環境中，確保1個請求始終在灰度環境中傳遞，即使這個呼叫鏈路上有一些微服務沒有灰度環境，這些應用請求下游的時候依然能夠回到灰度環境中。透過 MSE 提供的全鏈路灰度能力，可以在不需要修改任何您的業務程式碼的情況下，能夠輕鬆實現上述能力。

## Kubernetes 閘道器概述

Kubernetes 叢集對外暴露流量的方式主要分為三種，Node Port、LoadBalancer 以及 Ingress。

對於 Node Port 而言，實現了樸素的埠和後端 Pod 的一一對應，不僅存在單點問題，而且由於埠範圍的限制，一旦後端的服務數量上升，會出現無埠可用的情況；而對於 LoadBalancer 來說，其解決 Node Port 的單點問題和埠數量的問題，奈何它是一個純粹的流量轉發資源，並沒有路由配置能力，也無法管理後端眾多的 Service 應用，所以 Ingress 的誕生就是必然的結果。Ingress 不僅有這天然的路由定義的能力，也扮演者後端眾多 Service 管理者的角色。不過這裡需要提一句，大眾所熟知的 Ingress 資源只是單純的一個 路由 Resource 定義，真正的實現者和執行者其實是具體的 Ingress 標準實現，包括大家所熟知的 Nginx Ingress Controller 都屬於此列。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f37fac012b73422ab2eeabac298eb45b~tplv-k3u1fbpfcp-zoom-1.image "1.png")

在阿里雲 ACK 平臺上，有著眾多 Ingress 的實現方式，其中包括 Nginx-Ingress 、ALB-Ingress 以及最近推出的 MSE-Ingress，本文將講述一種較為通用的基於 MSE 微服務治理的統一方案，在 Ingress 閘道器上實現全鏈路流量灰度。

## 如何實現在 Ingress 上實現全鏈路流量灰度

首先我們要知道在實現全鏈路灰度時所必須具備的要素，然後再在 Ingress 環境中實現這些要素，就能夠實現在 Ingress 閘道器下的全鏈路流量灰度。由歷史經驗可知，我們這裡主要靠標籤路由、節點打標以及流量染色這三個要素去實現。

標籤路由透過對服務下所有節點按照標籤名和標籤值不同進行分組，使得訂閱該服務節點資訊的服務消費端可以按需訪問該服務的某個分組，即所有節點的一個子集。服務消費端可以使用服務提供者節點上的任何標籤資訊，根據所選標籤的實際含義，消費端可以將標籤路由應用到更多的業務場景中。

節點打標，如果是在使用Kubernetes Service作為服務發現的業務系統中，服務提供者透過向ApiServer提交Service資源完成服務暴露，服務消費端監聽與該Service資源下關聯的Endpoint資源，從Endpoint資源中獲取關聯的業務Pod資源，讀取上面的Labels資料並作為該節點的後設資料資訊。所以，我們只要在業務應用描述資源Deployment中的Pod模板中為節點新增標籤即可。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/734a03031d594a07ae55f3962a124a3a~tplv-k3u1fbpfcp-zoom-1.image "2.png")

流量染色是指我們可以在請求的源頭上對流量進行染色，前端在發起請求時根據使用者資訊或者平臺資訊的不同對流量進行打標。如果前端無法做到，我們也可以在微服務閘道器上對匹配特定路由規則的請求動態新增流量標識。此外，流量在鏈路中流經灰度節點時，如果請求資訊中不含有灰度標識，需要自動為其染色，接下來流量就可以在後續的流轉過程中優先訪問服務的灰度版本。

為了實現上面全鏈路灰度三個要素，MSE 微服務治理提出了泳道和泳道組的概念。舉一個例子，我們假設應用的架構由 Nginx-Ingress 以及後端的微服務架構（Spring Cloud）來組成，後端呼叫鏈路有3跳，交易中心，商品中心，庫存中心，客戶端透過客戶端或者是 H5 頁面來訪問後端服務，它們透過 Nacos 註冊中心做服務發現。

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5a9a775c38484cf88a925015310fd10b~tplv-k3u1fbpfcp-zoom-1.image "3.png")

1) 透過設定流量規則對所需流量進行'染色'，'染色'流量會路由到灰度機器。

2) 灰度流量攜帶灰度標往下游傳遞，形成灰度專屬環境流量泳道，無灰度環境應用會預設選擇未打標的基線環境。

進入到 MSE 控制檯的泳道的定義介面裡，我們也可以發現，其對應了全鏈路灰度實現的三要素：

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0d4b0ec4bd1c417aa9a69c0ca7babb10~tplv-k3u1fbpfcp-zoom-1.image "4.png")

## 快速玩轉 Ingress 全鏈路灰度

我們以 ACK Nginx-Ingress 全鏈路為例，快速地體驗如何藉助 MSE 微服務治理，實現 Ingress 的全鏈路流量灰度，總體的步驟如下：

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1cb623d4aab74bb9973e9d0d885c2f66~tplv-k3u1fbpfcp-zoom-1.image "5.png")

我們主要描述下如何將 ACK Ingress Controller 接入到 MSE 微服務中去，只需在 Nginx Ingress Controller 的 ConfigMap 增加下面兩項配置即可：

-   use-mse: true
-   mse-app-name: ingress-canary-test

mse-app-name 為自定義的名稱，此時我們就可以在 MSE 控制檯上看到名為 ingress-canary-test 的阿里雲 Ingress 入口了：

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8830e759502348bfbe11eb8ad1b363e8~tplv-k3u1fbpfcp-zoom-1.image "6.png")

其餘步驟均和 Java 應用的全鏈路灰度步驟一致，具體可以參考以下這篇文章：

> <https:>

待我們配置好泳道規則後，我們打對應特徵的流量就會流入的對應的泳道中去，我們可以在 MSE 控制檯觀察灰度的情況，以便驗證全鏈路灰度功能是不是生效了：

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3282ccdf02c4400d8330bdebe484cef5~tplv-k3u1fbpfcp-zoom-1.image "7.png")

MSE Ingress 是 MSE 團隊自主研發的 Ingress 實現，基於 MSE 雲原生閘道器（同時相容 Ingress 和 Istio）取代 Nginx 來實現流量託管，不僅有著更強大的效能，也有著天然的流量治理與管控基因，其全鏈路灰度的玩法與 ACK Nginx Ingress 基本上一致，具體步驟可以參考以下這篇文章：

> <https:></https:></https:>

構建基於 Ingress 的全鏈路灰度能力

相關文章