【入門教程直播第三期】如何完成一次高質量的 OceanBase 資料遷移
在教程直播前兩期,我們介紹了 OceanBase 的 安裝部署和開發使用入門,戳連結快速瞭解文字版!
針對上一期 的直播內容,先來一波 前情回顧 ——
-
OceanBase 以叢集形態部署執行,提供服務的是租戶。租戶擁有資源,是叢集資源的子集。租戶之間資源隔離(CPU 和記憶體),資料訪問完全隔離。OceanBase 的租戶按需分配,立即申請,後期可以根據業務壓力線上調整(彈性伸縮)。
-
OceanBase 社群版的租戶相容 MySQL,可以使用 MySQL 客戶端工具連線,差別只是在使用者名稱格式上。OceanBase 的租戶使用者名稱完整的格式包含:叢集名、租戶名和使用者名稱(租戶裡的使用者)。客戶端建議連線 OBProxy 來間接訪問 OceanBase 叢集。OceanBase 租戶也支援開源的客戶端 DBeaver(地址:dbeaver.io)、官方客戶端ODC (全稱 OceanBase Developer Center)等。
-
OceanBase 官方客戶端ODC 功能包含連線、資料庫物件管理、資料查詢、資料庫匯出和匯入等。
-
OceanBase 租戶的調優主要通過調整租戶變數(variables)進行。部分變數可以在 OceanBase 叢集內部租戶 sys 裡通過引數(parameter) 調整(帶上 tenant='租戶名') 實現。
-
OceanBase 租戶的獨特的分散式能力包含分割槽表、複製表和表分組技術。分割槽表是水平拆分常用方案,業務只需要指定拆分策略,資料拆分對業務透明,SQL 和事務對業務也完全透明。表分組可以減少關係密切的業務表之間的跨節點請求和事務,複製表能將業務配置表全同步到租戶所有節點上,消除配置表跟分割槽表之間的跨節點查詢。
直播課後,我們學習群內也是互動熱烈!(文末附入群二維碼 /群內專業佈道師團隊,實時答疑解惑/)
- 如何實現 MySQL 與 OceanBase 之間的資料遷移?
- 大資料量遷移到 OceanBase 時,如何提升遷移速度?
- OceanBase 如何實現資料平滑遷移,不停機中止業務?
- OceanBase 增量遷移如何做到最高效(延遲最少)?
- 如何實現 OceanBase 與 MySQL 的資料雙向實時同步?讓資料可以自由流動到其他上下游系統?
如何實現資料遷移?怎麼實現優秀的資料遷移?在保證資料穩定準確的前提下,我們總結了優秀的資料遷移的 三個特點:
第一,操作簡單。使用者無需投入過多的學習成本,而 OceanBase 的資料遷移相容多種市面上常見的資料庫資料遷移元件:MySQLDUMP,DBCAT,DataX,OBDUMPER,OBLOADER 等。而 OceanBase 也根據以上不同的遷移元件為使用者提供詳細的遷移方案,方案簡單易懂,學習成本低,使用者可根據自身情況選擇。
第二,平滑遷移。對使用者而言,時間就是金錢,如果由於資料遷移,導致業務暫停或者影響業務服務,是很難被使用者接受的。OceanBase 在實現資料遷移的過程中,充分考慮了平滑遷移的問題,立足將業務的影響降到最低。
第三,遷移速度快。遷移速度也是使用者關注的一項重要指標,OceanBase 針對多種不同元件的遷移方案,都對其遷移效能做了分析和調優,羅列遷移過程中的源端、目標端、遷移元件的相關優化點,指導使用者完成高效遷移。
- 如何使用 MySQLDUMP 和 MySQL 客戶端離線遷移資料到 OceanBase。MySQLDUMP 的指令碼需要做一些微調;
- 如何使用 DataX 將所有傳統關係型資料庫(Oracle/MySQL/SQL Server/DB2)、非關係型資料庫(Hadoop/HBase/MongoDB)、NewSQL(分散式MySQL)跟 OceanBase 進行雙向全量資料遷移。簡單易懂,學習成本低,支援並行;
- 如何使用 Canal 將 MySQL 的資料增量實時同步到 OceanBase 。開源產品的方案,企業也可以參考 Canal 自己定製 MySQL 的增量資料同步方案;
- 如何使用 OBDUMPER 和 OBLOADER 匯出和匯入 OceanBase 資料。120 億某客戶訂單業務單表資料匯出為多個 csv 檔案耗時 1 小時,多個 csv 檔案分到多臺機器並行匯入到 OceanBase 只要 2小時。
還在等什麼?
趕快 掃碼加入直播吧!
釘釘群:32554020
往期推薦:
參與更多技術交流,請至 OceanBase 社群版 。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69909943/viewspace-2846953/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 【教程直播第 4 期】揭祕資料遷移之 OceanBase CDC & OMS 社群版能力
- 2、Entity Framework Core 3.1入門教程-建立資料庫和遷移Framework資料庫
- 如何打造高質量的NLP資料集
- 5 分鐘完成 ZooKeeper 資料遷移
- mysqldump從mysql遷移資料到OceanBaseMySql
- 功能解讀|快速上手 OceanBase 資料遷移服務
- 伺服器資料遷移的方法-硬體不同如何遷移資料伺服器
- docker如何遷移資料目錄Docker
- MongoDB 資料遷移 備份 匯入(自用)MongoDB
- Hbase實用技巧:全量+增量資料的遷移方法
- Kafka資料遷移Kafka
- Harbor資料遷移
- gitlab資料遷移Gitlab
- 資料庫遷移資料庫
- [Database Migration] 記一次未達預期的資料庫遷移Database資料庫
- 【Golang+mysql】記一次mysql資料庫遷移(一)GolangMySql資料庫
- cache資料庫入門教程資料庫
- 資料庫週刊40丨OceanBase官網上線開發者社群;資料庫遷移經驗;SQL高階知識……資料庫SQL
- DbForge Studio for SQL Server入門教程:如何編輯資料SQLServer
- 資料遷移(1)——通過資料泵表結構批量遷移
- 首發!OceanBase社群版入門教程開課啦!
- 高質量前端資源前端
- ABP8.1的資料遷移
- 高途資料平臺遷移與成本治理實踐
- Mysql資料遷移方法MySql
- 【Hive】hive資料遷移Hive
- 【Redis】 redis資料遷移Redis
- redis資料庫遷移Redis資料庫
- congregate遷移gitlab資料Gitlab
- 系統資料遷移
- 資料庫遷移 :理解資料庫
- laravel資料庫遷移Laravel資料庫
- Fastdfs資料遷移方案AST
- 如何保障數倉資料質量?
- 如何做好資料質量管理
- 如何提高企業資料質量
- 亞馬遜宣佈永久關閉 Oracle 資料庫:已完成遷移亞馬遜Oracle資料庫
- 全量、增量資料在HBase遷移的多種技巧實踐