13萬張表+數億行程式碼,遷移只需數小時,還是異構資料庫

renke發表於2021-09-11
摘要:而對企業來說,構建統一的資料底座,才能讓資料供應和業務端更高效、更安全、更易共享。隨著技術的日新月異,上雲已非難事,但異構資料庫(轉換資料庫型別)遷移上雲在業界仍是一個巨大的挑戰。

本文分享自華為雲社群《》,原文作者:心機胖 。

當前,雲上辦公,雲上交易,雲上數字運營已成為主流,不把業務部署到雲端,彷彿跟不上時代的步伐。而對企業來說,構建統一的資料底座,才能讓資料供應和業務端更高效、更安全、更易共享。隨著技術的日新月異,上雲已非難事,但異構資料庫(轉換資料庫型別)遷移上雲在業界仍是一個巨大的挑戰。

13萬張表+數億行程式碼,遷移只需數小時,還是異構資料庫

華為集團是多業態、長鏈條、全場景的企業,在20年前就開始使用資料庫,遍佈了研發、供應、財經、行政等領域,有離線場景、實時場景、數倉等使用場景,這些場景使用主流商業資料庫居多,隨著數字化轉型程式加快,在迭代方面,跟不上雲的節奏,於是華為集團流程IT攜手華為雲資料庫尋求雲上轉型。

13萬張表+數億行程式碼,遷移只需數小時,還是異構資料庫

對於擁有海量資料、多種資料庫型別、資料庫專家雲集的華為集團流程IT來說,上雲也並非易事。業界盛行“兩條腿”走路原則,既要多快好省又要安全穩定可靠,當然華為集團也不例外。面臨新的異構資料庫,既希望效能大幅提升,也要安全穩定,於是華為集團流程IT選擇將業務搬遷至華為雲資料庫RDS與GaussDB,而相容性和效能是異構資料庫遷移最大的難題。

13萬張表+數億行程式碼,遷移只需數小時,還是異構資料庫

關山難越,異構資料庫遷移難以逾越的“深坑”

遷移資料庫如同搬家,直接搬不太可行,需要先搬“房子主體”,再搬“房子裡的傢俱”等,其中涉及的遷移問題不僅繁雜,而且不能出差錯。尤其是令人頭疼的相容問題,不但涉及到結構遷移、語法轉換、SQL轉換等複雜操作,對資料庫效能要求也很高。

騰雲而出,華為雲UGO為自動化搬遷而生

13萬張表+數億行程式碼,遷移只需數小時,還是異構資料庫

首先華為雲資料庫聯合華為集團流程IT對業務進行全面評估,華為集團資料庫有數十萬張表,10萬級的儲存過程,儲存過程的程式碼超過億級的程式碼,幾十萬個任務排程,遷移資料量高達數TB。經評估後,應用手動改造工作量巨大,需要成熟的企業級端到端物件遷移或者是評估工具,來提升異構資料庫遷移轉化率。

華為雲推出的資料庫和應用遷移 UGO則為異構資料庫物件遷移和應用遷移而生!透過預遷移評估、自動化語法轉換,幫助使用者提前識別遷移風險,提升遷移效率,最大化降低使用者的資料庫遷移成本。華為雲資料庫給出了三步走的遷移方案,透過華為雲UGO評估並轉換異構資料庫語法進行語法遷移,再透過華為雲資料複製服務DRS基於日誌的實時變化資料捕捉,進行資料遷移,最後透過華為雲DRS資料校驗保證資料一致性。

13萬張表+數億行程式碼,遷移只需數小時,還是異構資料庫

使用的關鍵技術有:1)遷移工作量評估:依據海量業務場景下的實際人力遷移成本作為評估基線,依據大量業務場景自動化遷移過程,累計遷移工作量作為輸入,同時結合程式碼量、轉化率、不相容特性改造難度,方便客戶對遷移工作有一個具體的量化感知。2) 應用SQL遷移:透過採集源庫SQL流量,並進行SQL動態轉換,將資料透過流量模擬回放形式遷移到目標庫中,提供自動錯誤定位和遷移校驗,遷移過程中訂正物件清晰明確。同時,透過對源庫進行遷移評估和SQL翻譯,並且輸出SQL翻譯報告,完成應用改造,最後遷移到目標庫。

13萬張表+數億行程式碼,遷移只需數小時,還是異構資料庫

神速之光,華為雲UGO小時級完成搬遷

華為集團流程IT擁有數TB級別的資料量、數十萬儲存過程,遷移週期從以天為單位縮短至小時級,減少了50%儲存過程改造成本,支撐主流商業資料庫500+個Schema遷移,節省了70%+工作量,遷移套數1000+。

在一般情況下,遷移週期和各方面的評估需要1-2個月的時間,遷移週期也是按天計算,而UGO只需小時級就完成了遷移。華為雲UGO消除了異構資料庫遷移難度大、週期長、成本高等問題,高效的支撐了華為集團流程IT數字化轉型。此外,上雲後實現了資料庫分鐘級擴容、資料秒級入庫,解決了傳統資料庫擴充套件難及資料入庫壓力大的問題,可支撐邏輯庫億級別的資料量。微服務化改造後,預期可支撐2年的業務資料增長。

13萬張表+數億行程式碼,遷移只需數小時,還是異構資料庫

目前,華為雲資料庫應用遷移解決方案順利透過信通院“資料庫應用遷移服務能力”評測,成為國內首批透過該項的商用資料庫遷移方案,成功取得了國內首批評測最高階別的成績。未來,華為雲UGO將會不斷創新,持續構築技術硬實力,為客戶提供更簡單易用、高效可靠的遷移方案。

華為雲UGO火熱公測中,

 

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/430/viewspace-2795990/,如需轉載,請註明出處,否則將追究法律責任。

相關文章