13萬張表+數億行程式碼,遷移只需數小時,還是異構資料庫
摘要:而對企業來說,構建統一的資料底座,才能讓資料供應和業務端更高效、更安全、更易共享。隨著技術的日新月異,上雲已非難事,但異構資料庫(轉換資料庫型別)遷移上雲在業界仍是一個巨大的挑戰。
本文分享自華為雲社群《》,原文作者:心機胖 。
當前,雲上辦公,雲上交易,雲上數字運營已成為主流,不把業務部署到雲端,彷彿跟不上時代的步伐。而對企業來說,構建統一的資料底座,才能讓資料供應和業務端更高效、更安全、更易共享。隨著技術的日新月異,上雲已非難事,但異構資料庫(轉換資料庫型別)遷移上雲在業界仍是一個巨大的挑戰。
華為集團是多業態、長鏈條、全場景的企業,在20年前就開始使用資料庫,遍佈了研發、供應、財經、行政等領域,有離線場景、實時場景、數倉等使用場景,這些場景使用主流商業資料庫居多,隨著數字化轉型程式加快,在迭代方面,跟不上雲的節奏,於是華為集團流程IT攜手華為雲資料庫尋求雲上轉型。
對於擁有海量資料、多種資料庫型別、資料庫專家雲集的華為集團流程IT來說,上雲也並非易事。業界盛行“兩條腿”走路原則,既要多快好省又要安全穩定可靠,當然華為集團也不例外。面臨新的異構資料庫,既希望效能大幅提升,也要安全穩定,於是華為集團流程IT選擇將業務搬遷至華為雲資料庫RDS與GaussDB,而相容性和效能是異構資料庫遷移最大的難題。
關山難越,異構資料庫遷移難以逾越的“深坑”
遷移資料庫如同搬家,直接搬不太可行,需要先搬“房子主體”,再搬“房子裡的傢俱”等,其中涉及的遷移問題不僅繁雜,而且不能出差錯。尤其是令人頭疼的相容問題,不但涉及到結構遷移、語法轉換、SQL轉換等複雜操作,對資料庫效能要求也很高。
騰雲而出,華為雲UGO為自動化搬遷而生
首先華為雲資料庫聯合華為集團流程IT對業務進行全面評估,華為集團資料庫有數十萬張表,10萬級的儲存過程,儲存過程的程式碼超過億級的程式碼,幾十萬個任務排程,遷移資料量高達數TB。經評估後,應用手動改造工作量巨大,需要成熟的企業級端到端物件遷移或者是評估工具,來提升異構資料庫遷移轉化率。
華為雲推出的資料庫和應用遷移 UGO則為異構資料庫物件遷移和應用遷移而生!透過預遷移評估、自動化語法轉換,幫助使用者提前識別遷移風險,提升遷移效率,最大化降低使用者的資料庫遷移成本。華為雲資料庫給出了三步走的遷移方案,透過華為雲UGO評估並轉換異構資料庫語法進行語法遷移,再透過華為雲資料複製服務DRS基於日誌的實時變化資料捕捉,進行資料遷移,最後透過華為雲DRS資料校驗保證資料一致性。
使用的關鍵技術有:1)遷移工作量評估:依據海量業務場景下的實際人力遷移成本作為評估基線,依據大量業務場景自動化遷移過程,累計遷移工作量作為輸入,同時結合程式碼量、轉化率、不相容特性改造難度,方便客戶對遷移工作有一個具體的量化感知。2) 應用SQL遷移:透過採集源庫SQL流量,並進行SQL動態轉換,將資料透過流量模擬回放形式遷移到目標庫中,提供自動錯誤定位和遷移校驗,遷移過程中訂正物件清晰明確。同時,透過對源庫進行遷移評估和SQL翻譯,並且輸出SQL翻譯報告,完成應用改造,最後遷移到目標庫。
神速之光,華為雲UGO小時級完成搬遷
華為集團流程IT擁有數TB級別的資料量、數十萬儲存過程,遷移週期從以天為單位縮短至小時級,減少了50%儲存過程改造成本,支撐主流商業資料庫500+個Schema遷移,節省了70%+工作量,遷移套數1000+。
在一般情況下,遷移週期和各方面的評估需要1-2個月的時間,遷移週期也是按天計算,而UGO只需小時級就完成了遷移。華為雲UGO消除了異構資料庫遷移難度大、週期長、成本高等問題,高效的支撐了華為集團流程IT數字化轉型。此外,上雲後實現了資料庫分鐘級擴容、資料秒級入庫,解決了傳統資料庫擴充套件難及資料入庫壓力大的問題,可支撐邏輯庫億級別的資料量。微服務化改造後,預期可支撐2年的業務資料增長。
目前,華為雲資料庫應用遷移解決方案順利透過信通院“資料庫應用遷移服務能力”評測,成為國內首批透過該項的商用資料庫遷移方案,成功取得了國內首批評測最高階別的成績。未來,華為雲UGO將會不斷創新,持續構築技術硬實力,為客戶提供更簡單易用、高效可靠的遷移方案。
華為雲UGO火熱公測中,
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/430/viewspace-2795990/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 異構資料庫遷移 sql等價改寫資料庫SQL
- 摩杜雲資料庫MySQL,破解異構資料庫遷移難題資料庫MySql
- 從 SQL Server 到 MySQL (一):異構資料庫遷移ServerMySql資料庫
- Oracle資料庫遷移 - 異構傳輸表空間TTS HP-UX遷移至Redhat Linux 7.7Oracle資料庫TTSRedhatLinux
- 資料遷移(1)——通過資料泵表結構批量遷移
- 遷移Oracle資料庫時如何減小停機時間AAOracle資料庫
- 異構資料庫資料遷移 oracle to mysql之oracle sqlloader和mysql load data資料庫OracleMySql
- laravel 資料庫遷移時報錯Laravel資料庫
- 如何在資料庫中儲存小數:FLOAT、DECIMAL還是BIGINT?資料庫Decimal
- 異構資料庫遷移埋下的 9 個大坑怎麼躲開?資料庫
- 資料庫遷移資料庫
- 線上資料遷移,數字化時代的必修課 —— 京東雲資料遷移實踐
- 1.1資料庫物件結構遷移方法資料庫物件
- flask資料庫遷移是什麼意思Flask資料庫
- Linux架構26 playbook實戰, 安裝資料庫, 網站遷移, ansible變數Linux架構資料庫網站變數
- sqlserver 透過壓縮bak檔案實現從伺服器還原資料庫《資料差異數個小時》SQLServer伺服器資料庫
- redis資料庫遷移Redis資料庫
- 資料庫遷移 :理解資料庫
- laravel資料庫遷移Laravel資料庫
- 華為雲UGO:醒醒!你的異構資料庫遷移難題有救了Go資料庫
- 實戰程式碼(二):Springboot Batch實現定時資料遷移Spring BootBAT
- linux mysql資料庫遷移LinuxMySql資料庫
- django資料庫遷移-15Django資料庫
- 用rman遷移資料庫資料庫
- 資料庫遷移手記資料庫
- 遷移MySQL 5.7資料庫MySql資料庫
- 資料庫遷移神器——Flyway資料庫
- dm資料庫遷移命令資料庫
- SQL Server資料庫遷移SQLServer資料庫
- 資料庫調優和資料遷移是如何影響資料庫的RY資料庫
- Masonite 熟悉步驟小記錄 (三、資料庫遷移)資料庫
- 分庫分表—4.資料遷移系統文件
- EF Core 小技巧:遷移已經應用到資料庫,如何進行遷移回退操作?資料庫
- 金航數碼選擇應用 TDengine 時序資料庫,改造現有資料庫架構資料庫架構
- 雲資料庫管理與資料遷移資料庫
- 高速遷移MySQL資料到分散式時序資料庫DolphinDBMySql分散式資料庫
- 效能優化之資料庫篇5-分庫分表與資料遷移優化資料庫
- dnf資料庫備份&遷移資料庫