【教程直播第 4 期】揭祕資料遷移之 OceanBase CDC & OMS 社群版能力

OceanBase資料庫發表於2021-12-15

上週四, OceanBase 社群版直播教程的第三期為我們詳細解讀了  “如何完成高質量的 OceanBase 資料遷移

實戰第四章:向 OceanBase 資料庫遷移資料

https://open.oceanbase.com/blog/8600172

針對上期直播內容,先來一波 前情回顧, 未收看直播的小夥伴也可以參考以下課程筆記——

  • 介紹了 MySQL 遷移 OceanBase 時的表結構遷移以及注意事項。說明:dbcat 表結構轉換,是後續開源 OMS 工具的一個元件。

  • 介紹了 MySQLDUMP 常用匯出命令和 DataX 常用的讀寫外掛,以及如何使用 MySQLDUMP, DataX 將 MySQL 資料全量同步到 OceanBase。注意,OceanBase 讀寫外掛在預設的二進位制 DataX 包裡不存在,需要編譯安裝後建立對應的目錄並複製相關的 json 檔案, 外掛路徑:target/datax/datax/plugin/reader[writer]/*reader[*writer]/plugin_job_template.json

  • 介紹了 Canal Server 和 Client 的工作原理,以及如何使用 Canal 將 MySQL 資料增量同步到 OceanBase。


12月16日晚(本週四  19:30 們將會推出 OceanBase 社群版直播教程的第四期。

資料遷移之 OceanBase CDC & OMS 社群版能力介紹


不少人可能都會存在如下的疑問:


  • OceanBase 如何實現將 OceanBase 資料同步到 MySQL 上?


  • OceanBase 支援將 OceanBase 資料同步到 kafka 等其他大資料平臺或其他常見關係型資料庫上嗎?


  • 目前 OceanBase CDC 的能力是否支援反向增量同步?

別怕!本期直播來幫忙!你的困惑“有救 了!

提到  OceanBase CDC 能力 ,首先想知道的一定是它能幫我們解決哪些問題,以及我們為什麼需要這種能力。此時,可以設想以下幾個業務場景,不難感受到其重要性。

  1. 上 OceanBase 容易,下 OceanBase 也容易

    在行業中 有句說法“上雲容易下雲難 ,但 OceanBase 不存在這種現象。 使用者可以輕易通過 datax , canal ,(以及即將馬上開源的 OMS )等功能將 MySQL 資料同步到 OceanBase ,同時 OceanBase CDC 提供將增量日誌按事務提交順序向外透 出,供下游進行消費。 如果資料在遷移到 OceanBase 後,我們還想做一個兜底的方案,OceanBase 可快速將資料同步至 MySQL ,以備回切的需要,讓你用的放心。

  2. 一份資料,多維訂閱

    使用 MySQL 時,企業內部可能還有大資料分析系統如 kafka 、Flink 等,通過解析 MySQL binlog(如 maxwell ,canal)等可以做到變更下游使用者訂閱感興趣的資料表,來獲取所需要的分析資料進行處理,不需要把分析流程嵌入到已有系統中,以實現解耦。 現在 OceanBase 也提供了類似的能力,可以打通 OceanBase+oblogproxy+Canal+下游多維訂閱者。

  3. 多叢集資料同步

    OceanBase 提供“兩地三中心 或者“三地五中心 等部署方案,但在跨地域部署的時候, 網路延遲 是一個不可忽略的問題。對於多數派的日誌同步要求,在網路不太理想的情況下,多地部署方案可能並不太合適,企業版裡還支援主備庫等解決方案。那麼在社群版使用者中,有沒有方法可以解決呢?現在我們可以通過 OceanBase CDC 這種能力自己來搭建多叢集之間的資料同步,讓我們的資料更有保障。

學完本期課程, 你還將收穫 如何將  OceanBase 增量資料同步至 MySQL 或其他大資料平臺; 掌握 DataX 調優以及 OceanBase 導數期間記憶體相關的引數調優。

12月16日晚(本週四  19:30,準時相約 OceanBase 社群版教程官方直播間。一個小時為你聊透將 OceanBase 資料同步到 MySQL 的全場景解決方案!

還在等什麼?

趕快 掃碼加入直播吧!

釘釘群:32554020

教程驚喜1: 參與問答互動,我們會在直播間現場發放OBCP考試優惠券,助你早日成為分散式資料庫專家

教程驚喜2: 文章底部 留言,分享你學習課程的心得和體會,小編將選取點贊前5名的讀者贈送OBCP考試優惠券~ 


往期推薦:

資料庫大賽50強之「華東師範大學」:恰同學少年,程式碼激揚!

如何完成一次高質量的 OceanBase 資料遷移

資料庫大賽50強之「中國人民大學」:培養工程性精英人才,共築資料庫美好未來

OceanBase 原始碼解讀(七): 一文讀懂資料庫索引實現原理

參與更多技術交流,請至 OceanBase 社群版 。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69909943/viewspace-2847981/,如需轉載,請註明出處,否則將追究法律責任。

相關文章