【入門教程直播第三期】如何完成一次高質量的 OceanBase 資料遷移

OceanBase資料庫發表於2021-12-10

在教程直播前兩期,我們介紹了 OceanBase 的 安裝部署和開發使用入門,戳連結快速瞭解文字版!

1/實戰第一章:OceanBase 資料庫概述

2/實戰第二章:如何部署 OceanBase 社群版章節介紹

3/實戰第三章:如何使用 OceanBase 社群版

針對上一期 的直播內容,先來一波 前情回顧 ——

  • OceanBase 以叢集形態部署執行,提供服務的是租戶。租戶擁有資源,是叢集資源的子集。租戶之間資源隔離(CPU 和記憶體),資料訪問完全隔離。OceanBase 的租戶按需分配,立即申請,後期可以根據業務壓力線上調整(彈性伸縮)。

  • OceanBase 社群版的租戶相容 MySQL,可以使用 MySQL 客戶端工具連線,差別只是在使用者名稱格式上。OceanBase 的租戶使用者名稱完整的格式包含:叢集名、租戶名和使用者名稱(租戶裡的使用者)。客戶端建議連線 OBProxy 來間接訪問 OceanBase 叢集。OceanBase 租戶也支援開源的客戶端 DBeaver(地址:dbeaver.io)、官方客戶端ODC (全稱 OceanBase Developer Center)等。

  • OceanBase 官方客戶端ODC 功能包含連線、資料庫物件管理、資料查詢、資料庫匯出和匯入等。

  • OceanBase 租戶的調優主要通過調整租戶變數(variables)進行。部分變數可以在 OceanBase 叢集內部租戶 sys 裡通過引數(parameter) 調整(帶上 tenant='租戶名') 實現。

  • OceanBase 租戶的獨特的分散式能力包含分割槽表、複製表和表分組技術。分割槽表是水平拆分常用方案,業務只需要指定拆分策略,資料拆分對業務透明,SQL 和事務對業務也完全透明。表分組可以減少關係密切的業務表之間的跨節點請求和事務,複製表能將業務配置表全同步到租戶所有節點上,消除配置表跟分割槽表之間的跨節點查詢。

直播課後,我們學習群內也是互動熱烈!(文末附入群二維碼 /群內專業佈道師團隊,實時答疑解惑/)

【入門教程直播第三期】如何完成一次高質量的 OceanBase 資料遷移

12月9日晚(本週四) 19:30,我們將會推出 OceanBase 社群版教程直播第三期,為大家詳細介紹、一次聊透 OceanBase 的資料遷移。
學習本次課程, 你將瞭解 OceanBase 的常用資料遷移工具、方案及其優缺點,同時打通 MySQL 到 OceanBase 的資料生態。

【入門教程直播第三期】如何完成一次高質量的 OceanBase 資料遷移

眾所周知,資料遷移是絕大多數 DBA、研發、資料從業者的必備技能之一,具有廣泛的應用場景,例如資料庫邏輯升級、機房搬遷切換、資料庫選型替換等。而使用者在選擇使用OceanBase時,碰到的第一類問題往往就是資料遷移,例如:

  • 如何實現 MySQL 與 OceanBase 之間的資料遷移?
  • 大資料量遷移到 OceanBase 時,如何提升遷移速度?
  • OceanBase 如何實現資料平滑遷移,不停機中止業務?
  • OceanBase 增量遷移如何做到最高效(延遲最少)?
  • 如何實現 OceanBase 與 MySQL 的資料雙向實時同步?讓資料可以自由流動到其他上下游系統?

如何實現資料遷移?怎麼實現優秀的資料遷移?在保證資料穩定準確的前提下,我們總結了優秀的資料遷移的 三個特點:

第一,操作簡單。使用者無需投入過多的學習成本,而 OceanBase 的資料遷移相容多種市面上常見的資料庫資料遷移元件:MySQLDUMP,DBCAT,DataX,OBDUMPER,OBLOADER 等。而 OceanBase 也根據以上不同的遷移元件為使用者提供詳細的遷移方案,方案簡單易懂,學習成本低,使用者可根據自身情況選擇。

第二,平滑遷移。對使用者而言,時間就是金錢,如果由於資料遷移,導致業務暫停或者影響業務服務,是很難被使用者接受的。OceanBase 在實現資料遷移的過程中,充分考慮了平滑遷移的問題,立足將業務的影響降到最低。

第三,遷移速度快。遷移速度也是使用者關注的一項重要指標,OceanBase 針對多種不同元件的遷移方案,都對其遷移效能做了分析和調優,羅列遷移過程中的源端、目標端、遷移元件的相關優化點,指導使用者完成高效遷移。

為此,我們的教程團隊根據使用者的實際經驗、場景,提供了多種解決方案:

  • 如何使用 MySQLDUMP 和 MySQL 客戶端離線遷移資料到 OceanBase。MySQLDUMP 的指令碼需要做一些微調;
  • 如何使用 DataX 將所有傳統關係型資料庫(Oracle/MySQL/SQL Server/DB2)、非關係型資料庫(Hadoop/HBase/MongoDB)、NewSQL(分散式MySQL)跟 OceanBase 進行雙向全量資料遷移。簡單易懂,學習成本低,支援並行;
  • 如何使用 Canal 將 MySQL 的資料增量實時同步到 OceanBase 。開源產品的方案,企業也可以參考 Canal 自己定製 MySQL 的增量資料同步方案;
  • 如何使用 OBDUMPER 和 OBLOADER 匯出和匯入 OceanBase 資料。120 億某客戶訂單業務單表資料匯出為多個 csv 檔案耗時 1 小時,多個 csv 檔案分到多臺機器並行匯入到 OceanBase 只要 2小時。

更多精彩,敬請關注 本週四晚19:30的實時直播,我們希望通過這場直播,讓大家理通思緒,少走彎路,從裡到外掌握資料遷移這項基本技能!

還在等什麼?

趕快 掃碼加入直播吧!

釘釘群:32554020

【入門教程直播第三期】如何完成一次高質量的 OceanBase 資料遷移

往期推薦:

OceanBase 原始碼解讀(七):一文讀懂資料庫索引實現原理

參與更多技術交流,請至 OceanBase 社群版 。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69909943/viewspace-2846953/,如需轉載,請註明出處,否則將追究法律責任。

相關文章