![1.png](https://ucc.alicdn.com/pic/developer-ecology/363b1f519b53439f9ffb3366f36a70e0.png)

作者 | 長門

**導讀：**本篇是《SpringCloud 應用在 Kubernetes 上的最佳實踐》系列文章的第七篇，主要介紹了新功能上線時，如何儘快減少對線上使用者的影響？釋出系統需要提供回滾到前一個或前幾個版本的能力，達到快速恢復線上業務的目的。

相關文章推薦：

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 —— 開發篇》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247491668&idx=1&sn=c9839f78ff31d6f5da285a259d804f53&chksm=fae6eb9bcd91628d28b0db9b53a091132df7535d320aee9c85fea241dc4e964e746b83a69dc8&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 部署篇(開發部署）》](https://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492052&idx=1&sn=8ff93e6f7b398e6a509239910b61b975&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 部署篇(工具部署)》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492264&idx=1&sn=0bb4d0364b42af36886face9f3adec10&chksm=fae6e967cd916071e691a9296282755b771036a4a1182f51dadcbb3a3aebe76a6bdad298b69d&token=888059135&lang=zh_CN&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 線上釋出（可灰度）》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492479&idx=1&sn=ac1463d4cd7b4323590766643d92dcb0&chksm=fae6e8b0cd9161a6d02057ca28971101aec9bc8ee823f0f4d12fc9b691bc8e122e542725f7ac&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 診斷（線上聯調）》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492850&idx=1&sn=03793cf561ceca40d75b50c0c23c708e&chksm=fae6ef3dcd91662b7cd92d07beba3bab05c1ef641bce204b3f9dd80cad55ea7dd1ccee1c2109&scene=21#wechat_redirect)

- [《SpringCloud 應用在 Kubernetes 上的最佳實踐 — 線上釋出（可監控）》](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247494008&idx=1&sn=652adea2451811af1eacd1455c7fe939&chksm=fae6e2b7cd916ba1cbbee83a31f04cd79f0471b62979c26374d291ee89c6f9a24feeaa3f4481&scene=21#wechat_redirect)

# 前言

通常一次應用的線上釋出就表示了一次新功能的上線。在上線過程中，可能發生一些非預期的情況，如新版本軟體有 bug，或者功能不達預期，就會影響了線上客戶的使用。為了儘快減少對線上使用者的影響，釋出系統需要提供回滾到前一個或前幾個版本的能力。達到快速恢復線上業務的目的。

從應用的部署變更層次來看，可以分為以下三層：

![2.png](https://ucc.alicdn.com/pic/developer-ecology/4b0661e6964041e3b45daa297867e204.png)

所以對應了以下的回滾場景：

- 回滾應用內的配置，適用於由於應用配置變更導致的問題，此時如果應用能夠實現動態的配置載入，透過回滾配置就能實現業務恢復的目的，否則需要重啟應用；

- 回滾應用程式碼的版本，適用於程式碼修改導致的問題。此時需要回滾程式碼的版本（映象），重啟應用；

- 回滾應用的工作負載與運維配置（基礎設施層）。

# 應用內配置回滾

應用內的配置通常與應用系統需要或業務邏輯配置有關，如配置資料庫的連線資訊，業務規則配置等，配置的變更也很容易造成線上系統的問題，一般的做法是透過 configmap 或 properties 配置檔案來實現，這種情況下很難做到動態推送和回滾的能力，因為回滾需要儲存不同版本的配置。

透過 [分佈配置管理（ACM）](https://www.aliyun.com/product/acm)（EDAS 預設支援）很容易實現配置的集中管理，回滾和灰度，分散式推送，審計等功能。可以在 ACM 或 EDAS 的控制檯上實現一鍵回滾，如下圖所示：

![3.png](https://ucc.alicdn.com/pic/developer-ecology/fe1fa8f3519e4ac4824e7fe0300e0987.png)

# 應用程式碼回滾

Deployment 是一種常見部署的應用的 workload，回滾程式碼其實對應了回滾對應程式碼版本的映象，其實就是對應就是 Deployment 的回滾，Kubernetes 可以透過以下方式支援 Deployment 的回滾。

## Deployment 回滾

在一個標準的 Kubernetes 體系下，如果出現新版本的 pod 不能正常工作，需要將 deployment 回滾到歷史版本，Kubernetes 提供了原生的支援；其原理是在預設情況下，Kubernetes 會將歷史記錄保留在系統中，直接使用使用 rollout 命令回滾即可，如下：

- 回滾到上一個版本

```
kubectl rollout undo deployment.v1.apps/{deployment.name}
```

- 回滾到指定的版本：可以透過`kubectl rollout history`檢視歷史的版本

```
kubectl rollout history  deployment.v1.apps/{deployment.name}
```

- 可以透過以下命令回滾到指定的版本

```
kubectl rollout undo deployment.v1.apps/{deployment.name} --to-revision={version}
```

# EDAS 中應用回滾

而在 EDAS 中，結合了原生的能力做了更豐富的白屏的體驗，我們就釋出過程中和釋出完成後兩個場景分別描述。

## 釋出過程中回滾

釋出過程中回滾是指在應用釋出過程中，就發現了問題，需要將應用回滾到前一個版本。此時的操作就是中斷髮布流程，將已經升級完成後或正在升級的伺服器回滾到前一個版本。

EDAS 在每次變更時候，可以直接中斷髮布流程，一鍵回滾。如下圖所示:

![4.png](https://ucc.alicdn.com/pic/developer-ecology/b6b894a9e5fc4fe7a5a3efb448c10452.png)

另外，EDAS 釋出系統提供單批，分批，金絲雀灰度等多種釋出形式，在分批和金絲雀灰度的釋出的時候，EDAS 還提供不同批次的監控資訊，如系統指標，應用指標，應用異常檢測等能力，提供快速發現問題能力，如果存在問題，可以立即進行回滾。如下圖所示：

![5.png](https://ucc.alicdn.com/pic/developer-ecology/267e89b1906948f8963661d4c75663ca.png)

我們推薦的方式也是在釋出過程中儘量使用分批和金絲雀的能力，以將釋出引起的不可用降至最小。

## 釋出完成後回滾

釋出後回滾是指一次部署過程已經完成，包含部署成功或失敗。這個時候，可以透過部署歷史的版本來實現回滾的功能。EDAS 預設會儲存最多十個部署過的版本，如下圖所示：

![6.png](https://ucc.alicdn.com/pic/developer-ecology/ce8e3c228bef4ca9b206690ef57e1d2f.png)

透過以上的功能，基本上可以覆蓋應用在上線過程中需要回滾的場景。減少由於系統釋出出問題，造成系統功能使用上的影響。

# 應用自動回滾

從上面的介紹，可以看到回滾的操作都是人工進行的，其實在一些場景裡，可以根據一些監控指標，如CPU，load，記憶體等維度，快速發現問題，就能做到自動回滾，可以能夠更快地恢復系統。在 Kubernetes 的體系中，Flagger([https://github.com/weaveworks/flagger](https://github.com/weaveworks/flagger)) 就是能夠實現自動回滾的一個很好的工具。

# 應用工作負載和運維配置回滾

上面介紹了應用內配置和應用程式碼回滾的方式，在常見的變更中，還存在工作負載及運維配置的變更，如更改工作負載的型別，變更 JVM 引數，日誌配置， 彈性伸縮等。其中 JVM 引數等通常可以隨 Deployment 進行回滾，但是類似 Kubernetes service，日誌，彈性伸縮規則等這些基礎設施和運維相關的能力回滾就很難做到了。需要將應用的程式碼，工作負載，運維配置等實現配置化來實現回滾的能力。

這裡推薦阿里巴巴與微軟聯合提出的 OAM（Open Application Model）的規範，它定義了應用的統一交付模型。

![7.png](https://ucc.alicdn.com/pic/developer-ecology/75b73113d89b4f4fbbce44b7422e925a.png)

在 OAM 中，一個應用程式包含以下幾個核心的理念：

- Component：是指應用中的元件，可以是應用執行所依賴的服務如 MySQL 資料庫等，也可以是應用的本身，如 Spring cloud 的服務提供者。可以透過 Component 的定義規範來編寫一個元件；

- Trait：是指應用的運維特徵，描述了應用部署在具體環境中的運維特徵，比如彈性伸縮規則和 Ingress 配置等，這些運維特徵會應用到具體的元件上；

- Applicationconfiguration：是將 Components 和 traits 組裝成一個真正能執行起來應用的定義。這個配置檔案就是 OAM 規範中的一個宣告式 API，透過它就能例項化出對應的，真實執行的應用。

一個 OAM 的應用例子如下：

```
apiVersion: core.oam.dev/v1alpha2
kind: ApplicationConfiguration
metadata:
  name: springcloud-provider-deployment
  annotations:
    version: v1.0.0
    description: "Description of this deployment"
spec:
  components:
    - componentName: springcloud-provider-component
      parameterValues:
        - name: PARAMETER_NAME
          value: SUPPLIED_VALUE
        - name: ANOTHER_PARAMETER
          value: "AnotherValue"
      traits:
        - name: manualscaler.core.oam.dev
          version: v1
          spec:
            replicaCount: 3
      scopes:
        - scopeRef:
            apiVersion: core.oam.dev/v1alpha2
            kind: NetworkScope
            name: example-vpc-network
```

透過 OAM 的 ApplicationConfiguration 這份配置，就能描述線上真正執行的應用，結合能將配置版本化的系統，如 Git，ACM 等，採用對應的 ApplicationConfiguration 的版本，就能實現應用的一鍵回滾。EDAS 裡就是透過 OAM 規範來管理 Kubernetes 的應用，結合 OAM 宣告式 API 的方式，EDAS 裡將會實現多種應用回滾的場景，為線上業務保駕護航。

如果你有任何疑問，可以釘釘搜尋群號：23310022，進入 OAM 專案中文討論群。

# 後續及結語

本章我們介紹了 EDAS 的釋出系統在 EDAS Kubernetes 叢集上進行應用釋出的時候，針對一些異常場景，如何進行快速回滾。但是如果出現問題，如何快速找到問題所在，接下來的文章我們將介紹，在 EDAS 裡透過線上裡聯調來進行問題診斷。

> “[阿里巴巴雲原生](https://mp.weixin.qq.com/s/kN9583v95N7CmbfIZcVB_A)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”

SpringCloud 應用在 Kubernetes 上的最佳實踐 — 線上釋出（可回滾）

相關文章