【教程直播第 4 期】揭祕資料遷移之 OceanBase CDC & OMS 社群版能力
上週四, OceanBase 社群版直播教程的第三期為我們詳細解讀了 “如何完成高質量的 OceanBase 資料遷移 ”。
實戰第四章:向 OceanBase 資料庫遷移資料
https://open.oceanbase.com/blog/8600172
針對上期直播內容,先來一波 前情回顧, 未收看直播的小夥伴也可以參考以下課程筆記——
-
介紹了 MySQL 遷移 OceanBase 時的表結構遷移以及注意事項。說明:dbcat 表結構轉換,是後續開源 OMS 工具的一個元件。
-
介紹了 MySQLDUMP 常用匯出命令和 DataX 常用的讀寫外掛,以及如何使用 MySQLDUMP, DataX 將 MySQL 資料全量同步到 OceanBase。注意,OceanBase 讀寫外掛在預設的二進位制 DataX 包裡不存在,需要編譯安裝後建立對應的目錄並複製相關的 json 檔案, 外掛路徑:target/datax/datax/plugin/reader[writer]/*reader[*writer]/plugin_job_template.json
-
介紹了 Canal Server 和 Client 的工作原理,以及如何使用 Canal 將 MySQL 資料增量同步到 OceanBase。
12月16日晚(本週四 ) 19:30, 我 們將會推出 OceanBase 社群版直播教程的第四期。
資料遷移之 OceanBase CDC & OMS 社群版能力介紹
不少人可能都會存在如下的疑問:
-
OceanBase 如何實現將 OceanBase 資料同步到 MySQL 上?
-
OceanBase 支援將 OceanBase 資料同步到 kafka 等其他大資料平臺或其他常見關係型資料庫上嗎?
-
目前 OceanBase CDC 的能力是否支援反向增量同步?
別怕!本期直播來幫忙!你的困惑“有救 ”了!
提到 OceanBase CDC 能力 ,首先想知道的一定是它能幫我們解決哪些問題,以及我們為什麼需要這種能力。此時,可以設想以下幾個業務場景,不難感受到其重要性。
-
上 OceanBase 容易,下 OceanBase 也容易
在行業中 有句說法“上雲容易下雲難 ”,但 OceanBase 不存在這種現象。 使用者可以輕易通過 datax , canal ,(以及即將馬上開源的 OMS )等功能將 MySQL 資料同步到 OceanBase ,同時 OceanBase CDC 提供將增量日誌按事務提交順序向外透 出,供下游進行消費。 如果資料在遷移到 OceanBase 後,我們還想做一個兜底的方案,OceanBase 可快速將資料同步至 MySQL ,以備回切的需要,讓你用的放心。
-
一份資料,多維訂閱
使用 MySQL 時,企業內部可能還有大資料分析系統如 kafka 、Flink 等,通過解析 MySQL binlog(如 maxwell ,canal)等可以做到變更下游使用者訂閱感興趣的資料表,來獲取所需要的分析資料進行處理,不需要把分析流程嵌入到已有系統中,以實現解耦。 現在 OceanBase 也提供了類似的能力,可以打通 OceanBase+oblogproxy+Canal+下游多維訂閱者。
-
多叢集資料同步
OceanBase 提供“兩地三中心 ”或者“三地五中心 ”等部署方案,但在跨地域部署的時候, 網路延遲 是一個不可忽略的問題。對於多數派的日誌同步要求,在網路不太理想的情況下,多地部署方案可能並不太合適,企業版裡還支援主備庫等解決方案。那麼在社群版使用者中,有沒有方法可以解決呢?現在我們可以通過 OceanBase CDC 這種能力自己來搭建多叢集之間的資料同步,讓我們的資料更有保障。
學完本期課程, 你還將收穫 如何將 OceanBase 增量資料同步至 MySQL 或其他大資料平臺; 掌握 DataX 調優以及 OceanBase 導數期間記憶體相關的引數調優。
12月16日晚(本週四 ) 19:30,準時相約 OceanBase 社群版教程官方直播間。一個小時為你聊透將 OceanBase 資料同步到 MySQL 的全場景解決方案!
還在等什麼?
趕快 掃碼加入直播吧!
釘釘群:32554020
教程驚喜1: 參與問答互動,我們會在直播間現場發放OBCP考試優惠券,助你早日成為分散式資料庫專家 ~
教程驚喜2: 文章底部 留言,分享你學習課程的心得和體會,小編將選取點贊前5名的讀者贈送OBCP考試優惠券~
參與更多技術交流,請至 OceanBase 社群版 。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69909943/viewspace-2847981/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 教程直播第8期|一文詳解 OceanBase 社群版生態工具 ODP & OCP
- 【入門教程直播第三期】如何完成一次高質量的 OceanBase 資料遷移
- 直播預告|OceanBase 社群版 4.0 全解析
- 中國移動社群生態報告:獨家騰訊QQ資料揭祕“群社交”
- 教程直播第6期 | OceanBase 如何進行 Benchmark 測試及調優
- OMS遷移服務釋出,產品化加速OceanBase商業落地!
- 教程直播第7期|如何對 OceanBase 進行 SQL 診斷和調優SQL
- 資料揭祕“群社交”:2015年中國移動社群生態報告
- MySQL能力全開放,OceanBase 社群版 4.0 正式上線MySql
- OMS 3.4.0 釋出,打造更安全易用的資料遷移體驗
- mysqldump從mysql遷移資料到OceanBaseMySql
- 功能解讀|快速上手 OceanBase 資料遷移服務
- 首發!OceanBase社群版入門教程開課啦!
- 海量資料遷移之資料抽取流程
- 資料庫週刊40丨OceanBase官網上線開發者社群;資料庫遷移經驗;SQL高階知識……資料庫SQL
- fir.im Weekly - 揭祕直播移動 APP 技術實現APP
- 資料湖揭祕—Delta Lake
- 揭祕移動電商背後的資料生存指南——資訊圖
- 海量資料遷移之資料載入流程
- 資料庫遷移之資料泵實驗資料庫
- 【直播預告】優化器及 Flink CDC + OceanBase 全增量一體化資料整合方案優化
- 【OB小藍科創館】3分鐘揭祕 OceanBase 資料庫特性——高可用!資料庫
- 揭祕移動端IT門戶
- 遷移資料.
- Laravel 學習之資料庫遷移Laravel資料庫
- ORM實操之資料庫遷移ORM資料庫
- 【遷移】使用rman遷移資料庫資料庫
- [譯]揭祕基本資料型別資料型別
- 揭祕Oracle資料庫truncate原理Oracle資料庫
- 海量資料遷移之衝突資料篩查
- Angular 4.x HttpModule 揭祕AngularHTTP
- 【資料遷移】使用傳輸表空間遷移資料
- CSS揭祕之《小技巧》CSS
- CSS揭祕之形狀CSS
- Kafka資料遷移Kafka
- 資料庫遷移資料庫
- redis資料遷移Redis
- 轉資料遷移