跨越雲端，華為雲技術專家分享高效跨雲遷移實踐

华为云开发者联盟發表於2024-06-06

本文分享自華為雲社群《【華為雲Stack】【大架光臨】第18期：跨越雲端，華為雲Stack的高效跨雲遷移實踐》，作者： 大架光臨。

1 背景

在企業雲化的浪潮中，混合多雲已經是企業IT部署的新常態，虛擬機器承載的業務佔據很大的比重。在上雲用雲過程中，客戶出於多雲戰略業務互通需求、成本以及合規要求等考慮，經常面臨虛擬機器跨雲跨池遷移的訴求。相比資料庫遷移、物件儲存遷移以及微服務遷移等技術，虛擬機器遷移是系統級業務遷移，通用性更高，可以適配各類資料庫、中介軟體、甚至是大資料業務，因此在眾多遷雲場景中，一直被廣泛使用。

如圖1所示，使用者遇到的虛擬機器跨雲跨池遷移的主要需求總結如下：

1_zh-cn_image_0000001891212992.png

圖1 跨雲遷移典型業務場景

  • 企業客戶需要將本地資料中心的虛擬機器業務搬遷上雲；

  • 雲廠商IaaS平臺存在一些階梯式演進或跨代際的版本升級，如虛擬化引擎從XEN到KVM等，需要客戶把舊平臺上的存量業務便捷的遷移到新平臺；

  • 企業根據自身業務訴求，採用多雲戰略將不同的業務部署在不同的雲廠商平臺，以期獲得最佳的IT技術組合，這就使得業務在按需最優放置時需要跨雲平滑流動。

跨雲場景兩端雲平臺的管理是相對割裂的，這也導致虛擬機器的跨雲遷移無法像雲內熱遷移一樣無中斷，需要透過和雲平臺解耦的遷移工具來實現。所以，雲提供商需要提供一種適用於虛擬機器資源的跨雲搬遷方案，來解決客戶的問題。

2 跨雲虛擬機器遷移技術

2.1 遷移技術訴求

虛擬機器遷移技術是將虛擬機器從一個計算資源和儲存位置，移至另一計算資源和儲存位置。在多雲多池場景下，遷移兩端的雲資源可能跨區域Region、跨雲平臺，這也使得遷移過程的管理流程、網路通訊相對割裂，給跨雲虛擬機器遷移帶來極大的挑戰。

針對虛擬機器跨雲遷移場景，客戶虛擬機器的遷移主要有三類訴求：

  • 無侵入：遷移系統是否需要在客戶虛擬機器內安裝元件，決定了遷移過程對被遷移主機上執行服務的影響程度，因為如果在虛擬機器內部安裝侵入式的代理元件，必然與客戶服務存在資源搶佔、威脅資料隱私的安全隱患。

  • 低中斷：跨雲遷移過程會導致中斷，導致虛擬機器服務不可用，中斷時間越長，對客戶業務影響越大。對金融以及政企行業客戶，由於其業務的重要性，更是提出分鐘級的中斷時間要求乃至零停機。

  • 高效率：在有限頻寬內，且不影響業務前提下，單個遷移任務傳輸速率越大，遷移效率越高和越能減少遷移需要耗費的總體時間，從而實現高效遷移上雲。

2.2 遷移技術路線

根據是否在客戶虛擬機器內部安裝侵入式元件，虛擬機器的跨雲遷移技術分為兩種技術路線：基於Agent的遷移和Agentless遷移：

1_zh-cn_image_0000001895391650.png

圖2 基於Agent的跨雲遷移

  • 基於Agent的跨雲遷移

基於Agent的跨雲遷移是透過在租戶虛擬機器內部安裝遷移代理元件以讀取磁碟資料實現遷移。如圖2所示，公有云提供商較多采用基於Agent的遷移方案。

基於Agent的遷移技術具有傳輸高效、可靠性高的優勢，但存在兩個缺點：

  1. 租戶虛擬機器OS依賴，需要相容適配不同的作業系統以支援多場景；

  2. 虛擬機器侵入安裝Agent代理元件，與客戶應用共用系統資源，不符合高合規要求客戶需求。

  • Agentless跨雲遷移

在客戶虛擬機器內部不需要安裝遷移代理元件，也不佔用客戶虛擬機器的資源，Agentless遷移透過獨立的虛擬機器承載遷移代理，配合雲平臺編排使得遷移代理掛載並讀取虛擬機器磁碟資料，採用預複製或後複製演算法遷移資料到目的端。該種方案要對客戶虛擬機器無侵入，更符合混合雲客戶對於合規安全的使用訴求。VMware遷移方案採用Agentless路線，透過配置VMware無代理聯結器匯入遷移源來獲取上層虛擬機器的資料，利用VMware虛擬化層的快照、變更塊跟蹤技術從而實現無代理條件下虛擬機器資料的複製遷移。

1_zh-cn_image_0000001895551998.png

圖3 Agentless跨雲遷移

相對於基於Agent的遷移，Agentless遷移技術具有以下優勢：

  • 租戶OS資源無佔用：無需在客戶虛擬機器內按照遷移代理元件，進一步簡化操作，且對虛擬機器有更少的效能影響。

  • 租戶OS安全性高：不在虛擬機器內部進行任何操作，消除客戶對安全的顧慮

  • 租戶OS相容性高：由於不需要在作業系統內部安裝agent，因此不依賴虛擬機器OS內部環境，遷移成功率更高

然而架構沒有銀彈。雖然Agentless遷移架構對租戶OS有較高相容性，但是其是透過整合虛擬化平臺的功能來實現遷移，因此需適配不同的雲平臺和儲存，從雲平臺上的相容性上看，其存在一定複雜性。

3 華為雲Stack跨雲遷移方案

為響應政企客戶的需求，尤其是客戶對雲資源更高的合規監管和資料安全訴求，華為雲Stack為客戶提供了一套最適配政企的虛擬機器跨雲遷移方案CMS (Cloud Migration Station)，透過儲存雙掛遷移、增量遷移、流式遷移等多種遷移技術滿足客戶對無侵入、高效能、低中斷的訴求。

儲存雙掛遷移

當源和目的雲平臺時延條件滿足時，可以直接將源儲存池掛載到目標雲平臺，以實現資料卷無需複製傳輸的虛擬機器跨雲高效遷移。

圖片4.png

圖4 儲存雙掛遷移方案

儲存雙掛遷移要求儲存不變，源和目標Region同機房，對網路環境要求高，透過一套儲存對接源、目的雲平臺，並在目標Region從儲存上“納管”虛擬機器的雲盤，不涉及資料複製，併發場景批次遷移效率高。

增量遷移

在虛擬機器執行時先複製一份全量資料基線到目的端，然後在每輪時間視窗，將產生的髒資料塊增量複製至目的端，最後在遷移視窗期內將虛擬機器停機，完成最後一輪增量複製後在目的端重建虛擬機器。

增量遷移結合華為儲存專有的CBT(Changed Block Tracking)技術能力跟蹤某一時間視窗的髒資料，在同步階段準確快速實現將變更的增量資料遷移到目的端。相比冷遷移，虛擬機器中斷時間縮短2~10倍，卷越大提升越高。同時，增量遷移對網路延時要求不高，且底層儲存不要求同構，因此比較適合遠距離的異構儲存之間的資料遷移。

增量遷移的代價，除了大量資料遷移有一定網路要求以外，還有就是其依賴源端儲存的CBT技術，因此其有更高的硬體相容性要求。同時相比儲存雙掛方案，由於需要最終進行以此停機後的資料增量遷移，因此停機時間會稍長。

圖片5.png

圖5 增量遷移方案

流式遷移

基於後複製演算法先停止源虛擬機器，直接在目的雲平臺啟動虛擬機器，再按需遷移儲存卷資料。這樣在目的端快速拉起虛擬機器接管業務中斷時間最短。同時在虛擬機器執行過程中，利用空閒頻寬資源在後臺傳輸冷資料到目的端儲存卷中。

圖片6.png

圖6 流式遷移方案

儲存卷資料是流式遷移傳輸到目的端，類似影片邊下邊看一樣，虛擬機器無需等全部磁碟資料遷移完成即可啟動。流式遷移是結合華為雲Stack多項關鍵技術實現，效能競爭力業界領先：

  • 儲存無關的IO攔截：攔截虛擬機器IO請求，按需傳輸卷資料，虛擬機器邊跑邊遷，與儲存硬體解耦，實現極致效能的IO熱切換；

  • 磁碟IO預取：根據歷史IO序列預測下一步IO並預取至目的端，磁碟IO快取命中率從40%提升至80%，大幅降低IO未命中導致的跨雲傳輸對業務效能的影響；

  • 多流QoS控制：虛擬機器流式遷移存在實時IO（熱資料）、非實時IO（冷資料）的多流傳輸，實現面向冷熱資料的多流QoS擁塞控制機制，在保證熱資料低時延的前提下，保障虛擬機器的遷移效率。

流式遷移將單虛擬機器停機時間減小到數分鐘常量，中斷影響最小，網路開銷低；而且對底層儲存沒有依賴，對網路延時也沒有依賴，因此非常適合長距離、停機要求時間很短、且不同基於儲存之間的虛擬機器遷移。

不過相比其他遷移技術，流式遷移當然實現也更復雜，而且其中的缺點也包括遷移過程中IO請求未命中本地儲存資料會影響服務效能，以及在目的端磁碟故障等極端場景下RPO不為零。為此，華為雲Stack流式遷移透過高可用機制和實時IO預取技術，以較小的代價保障了跨雲遷移過程中穩定性和服務效能。並首先將流式遷移落地於遷移演練場景，在不中斷業務的前提下，短時間內在目的端快速重建一臺“相同的”客戶虛擬機器進行基礎演練調測，提前識別故障風險。

4 遷移實踐

為解決政企客戶的存量局點演進的問題，CMS遷移平臺實現了以上三種Agentless遷移技術的所有方案，保證存量Region與新建Region間的雲資源遷移，併為使用者提供了自動化的遷移流程。CMS工具支援一鍵式的遷移預檢測、遷移和回滾操作。使用者可在CMS介面透過自動的預遷移檢測，提前在遷移視窗前識別並排除問題以保證遷移順利執行，然後再一鍵發起遷移流程完成業務虛擬機器的跨Region遷移；當驗證出現問題時，可以一鍵回滾，保障客戶業務的優先恢復。

圖片11.png

（1）自動化預檢測和一鍵式遷移

圖片22).png

（2）一鍵式確認和回滾

圖7 CMS自動化遷移實施

CMS搬遷解決方案已經在華為雲Stack的多個局點成功實施，已累計遷移數千臺虛擬機器，涉及數PB的資料，典型實踐如下：

典型案例1：中東某局點是教育行業重點專案，客戶現網部署了兩朵獨立的雲，存量雲面臨生命週期問題，和新建雲架構存在差異，客戶運維成本高。華為雲Stack考慮客戶訴求，採用CMS儲存雙掛遷移方式將客戶的業務從老Region遷移到新Region，並下線利舊裝置，現網僅存一朵雲。CMS遷移工具分6個遷移批次高效完成數百臺虛擬機器遷移，平均遷移速度可達每分鐘1臺，且遷移期間還聯動遷移數百臺VMware虛擬機器，協助客戶完成跨代際的平滑演進。

典型案例2：國內某銀行是金融行業重點專案，客戶現網的兩朵雲分散在不同雲平臺中，運維成本高；而且業務演進難，無法使用高階雲服務。為解決客戶痛點以及滿足客戶業務持續發展訴求，華為雲Stack採用CMS增量遷移方式，分批次完成數千臺虛擬機器遷移，涉及上百TB資料量，虛擬機器遷移成功率100%，平均中斷時間15~20分鐘。滿足了客戶雲架構歸一的訴求，為客戶後期業務持續發展奠定了基礎。

5 總結

在雲端計算多雲時代，華為雲Stack CMS服務提供了一套最適配政企的虛擬機器跨雲搬遷解決方案。儲存雙掛遷移、增量遷移均已商用，並在多個華為雲Stack局點完成遷移實施；流式遷移演練正在推廣使用。CMS基於Agent的跨雲遷移方案在逐步規劃構建，敬請期待。CMS將持續構建多雲遷移競爭力，提升產品易用性，以充分滿足政企客戶對高安全、高效能、低中斷的訴求，助力客戶業務的平滑演進。

cke_66080.png

HDC 2024，6月21日-23日，東莞松山湖，期待與您相見！

更多詳情請關注官網：

中文：https://developer.huawei.com/home/hdc

英文：https://developer.huawei.com/home/en/hdc

點選關注，第一時間瞭解華為雲新鮮技術~

相關文章