混合雲應用雙活容災最佳實踐

作者：遠跖

前言

越來越多的企業在數字化轉型和上雲程式中選擇混合雲的形態（雲+自建 IDC 或雲+其他廠商雲）來進行容災建設，一方面不會過度依賴單一雲廠商，另一方面還能充分利用已有的線下 IDC 資源。

MSHA 雲原生多活容災解決方案 [1] ，也釋出了混合雲多活容災產品能力。本文會通過一個業務 Demo 案例，介紹混合雲容災建設的難點，以及如何基於 MSHA 來快速搭建應用雙活架構並具備分鐘級業務恢復能力。

業務混合雲容災實踐

業務背景資訊

A 企業是一個零售行業電商交易平臺，業務系統部署在自建 IDC 機房，存在以下痛點：

業務僅在 IDC 單機房部署，缺少容災能力。
IDC 容量不足，物理機器升級替換週期長，不足以支撐業務的快速發展。

業務在快速發展過程中，多次遇到的容量不足以及故障問題引起了公司高層的重視，決心進行容災能力建設。由於自建 IDC 是公司已有資產且穩定使用多年，同時不希望過度依賴於雲，因此期望建立 IDC+雲的混合雲形態容災架構。

當前應用部署架構

電商交易平臺包含的應用：

frontend：Web 應用，負責和使用者互動。
cartservice：購物車應用，提供購物車新增、儲存和查詢服務。
productservice：商品應用，提供商品、庫存服務。

技術棧：

SpringBoot。
RPC 框架：SpringCloud、Dubbo，註冊中心使用自建的 Nacos、Zookeeper。
資料庫 Redis 和 MySQL。

混合雲容災目標

業務容災需求歸納如下：

雲上雲下互容災，切換 RTO 為分鐘級。 期望雲上雲下相互容災，繼續發揮 IDC 的價值，且不 100% 依賴於雲。面對 IDC 或雲故障場景，關鍵時刻要敢切換、能切換，且切換 RTO 要求小於 10 分鐘。
無資料一致性風險。 雲上雲下的兩個資料中心資料強一致，日常態和容災切換過程中都要避免存在髒寫等資料一致性風險。
一站式管控。 業務容災涉及的技術棧框架和雲產品，需要統一管控、統一運維、統一切換，操作收斂在一站式管控平臺，方便故障場景快速白屏化操作，自動化執行。
實施週期短，改造成本低。 業務存在多個產品線，依賴關係複雜、呼叫鏈路長，且處於高速發展頻繁迭代時期，期望容災建設不會給業務研發團隊帶來改造負擔。

建設難點

流量管理難度高
若採用 DNS 將流量按權重解析到雲上和雲下，存在修改 DNS 解析生效時間長的問題（通常為十分鐘或小時級，參見 DNS 解析生效時間 FAQ [2] ），不能滿足容災切換小於 10 分鐘的要求。
業務應用所依賴的 Redis 和 MySQL，IDC內採用開源自建而云上直接使用雲產品，要實現開源自建+雲產品的容災切換能力難。
容災切換資料質量保障難
容災切換過程中，可能因資料同步延遲導致讀到舊資料，以及切換規則推送到分散式應用節點時間不一致等原因可能造成雲上雲下資料庫同時讀寫而出現髒寫的問題，整個切換過程資料質量保障是個關鍵點，同時也是難點。
無業務程式碼侵入難
要實現 Redis、MySQL 容災切換能力，通常需要業務應用配合改造，對業務程式碼侵入大。

解決方案

結合業務容災需求和混合雲 IDC+雲形態的特點，採用應用雙活架構能夠較好的滿足業務容災訴求。

應用雙活架構

架構簡圖：

架構規範：

選擇離 IDC 物理距離<=200km 的雲上 Region，網路延遲較低（約 5~7ms）。
應用、中介軟體雲上雲下冗餘對稱部署，同時對外提供服務（應用雙活）。
資料庫異地主備，非同步複製備份。應用讀寫同一資料中心的資料庫，避免考慮一致性問題。

詳細方案

應用流量雙活

業務應用雲上雲下對稱部署，並基於 MSHA 接入層叢集，來承接入口 HTTP/HTTPS 流量，按照比例或精準路由規則雲上雲下分流。多活控制檯提供 MSFE 叢集介面白屏化的部署、擴縮容、監控等常規運維能力，以及應對故障場景的分鐘級切流能力。

服務互通和同單元優先呼叫

業務應用需要按業務產品線分批上雲，過程中存在下游應用僅 IDC 部署的情況。利用 MSHA 註冊中心同步功能，可實現雲上雲下服務互通，助力業務上雲。同時基於 MSHA-Agent 的切面能力，在 Dubbo/SpringCloud 服務呼叫時，Consumer 優先呼叫同單元內的Provider，從而避免跨機房呼叫帶來的網路延遲，減小業務請求 RT。

資料同步&資料庫連線切換

資料庫異地主備部署，雲上雲下應用日常態均讀寫雲上 Redis 和 RDS 資料庫，無需考慮資料一致性問題。MSHA 控制檯通過整合 DTS 同步元件，支援雲上雲下的資料同步（非同步複製）。同時基於 MSHA-Agent 切面能力，具備應用資料庫訪問連線的切換能力，雲上 Redis 或 RDS 故障則可將讀寫訪問連線切換到 IDC 內的 Redis 或 MySQL，反之亦然。切換過程中還具備禁防寫能力，避免產生讀到舊資料以及髒寫等資料質量問題。

一站式管控&無業務程式碼侵入

MSHA 控制檯，支援 HTTP、資料庫訪問流量的統一管控、統一切換，操作收斂在一站式管控平臺，方便故障場景快速白屏化操作，自動化執行。同時針對業務應用 MSHA 提供了 Agent 接入方式，無需業務程式碼改造即可獲得相關容災切換能力。

改造內容

應用上雲
選擇跟自建 IDC 較近的阿里雲地域，雲上完全冗餘的部署一套應用、中介軟體和資料庫，以便搭建雲上雲下雙活容災架構。在這個 Demo 案例中，選擇杭州 Region 作為容災單元。
網路打通：
接入 CEN 雲企業網，實現雲上雲下網路互通（詳見多接入方式構建企業級混合雲文件 [3 ] ）。
接入叢集部署和配置：
雲上雲下部署 MSHA 接入層叢集（MSFE），上掛 SLB 用於公網接入以及 MSFE 叢集的負載均衡（參見使用文件 [4 ] ）。
錄入域名、URI 和後端應用地址，從而具備雲上雲下分流和分鐘級切流能力（參見使用文件 [5 ] ）。
應用：
雲上分批部署業務應用。
JAVA 應用安裝 MSHA-Agent，並使用 Nacos 作為管控命令下發通道，從而具備微服務同單元優先呼叫以及資料庫訪問連線切換能力（參見使用文件 [6 ] ）。
中介軟體和資料庫：
雲上部署 MSE 託管 ZK/Nacos 註冊中心、雲資料庫 Redis 和 RDS，建議使用跨可用區部署高可用版本，具備同城雙活容災能力。
若存在某應用僅 IDC 部署的情況，需要配置註冊中心的服務同步（參見使用文件 [7 ] ）。
配置雲資料庫 Redis/RDS 和自建 Redis/MySQL 的資料同步（參見使用文件 [8 ] ）。