OB導數工具使用經驗分享

海布里_MySQL發表於2024-04-13

一、前言

OBDUMPER/OBLOADER是OceanBase官方推出的資料匯出匯入工具,可以用於OB租戶間的資料遷移,對OB租戶進行邏輯備份。不同於MySQL的MyDumper是C語言開發,OBDUMPER/OBLOADER是由java語言開發,因此它具備跨平臺相容性(x86/arm)。關於OBDUMPER/OBLOADER是一個功能非常豐富的工具,其使用方法在官方文件上面描述的已經很詳細了,包括命令列選項、使用示例、引數調優等。如何使用該工具本文就不再贅述了,可以參考官方文件,本文主要想分享一些我使用這個工具的一些經驗和踩過的坑。

二、旁路匯入

旁路匯入可以大大提升資料匯入的效率,旁路匯入的原理就是使用LOAD DATA /*+ direct */而非INSERT匯入資料,所以需要設定使用者file許可權,開啟secure_file_priv引數,具體可以參考OCEANBASE官方文件的load data部分:https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000218027。加--direct 代表開啟旁路匯入,旁路匯入可以繞過 SQL 層的介面,直接在 data 檔案中直接分配空間並插入資料,從而提高資料匯入的效率。這個和MySQL的load data有點相似,但又不太一樣,OB的load的其實是轉換為insert插入,只有加上hint語法/*+ direct */ 才會開啟旁路匯入。

匯入時遇到一個報錯:'no files are available',需要檢查資料檔案的目錄是否掛載在每個observer下,以及目錄的許可權。

三、表結構匯出效能問題

對於obdumper428之前的版本,在對oracle租戶下大量表的表結構進行匯出時,需要查詢系統檢視反拼語句,而對於ob的系統檢視的效能一直是一個問題,所以這種場景下很容易出現卡死或匯出慢等效能問題。從obdumper428版本開始,支援使用show create table匯出,解決了之前版本需要進行復雜的系統檢視查詢而帶來的效能問題。對於oceanbase oracle 4.0.0之前的版本,使用--no-sys 選項將開啟使用show create table方式匯出;對於oceanbase oracle 4.0.0 及之後的版本,使用新增選項--compact-schema 開啟show create table方式匯出。但需要注意的是使用show create table方式匯出,對於oceanbase oracle 2.2.7~4.0.0版本,無法匯出分割槽表的唯一索引定義。雖然ob的oracle租戶也支援show create table語法,但只能匯出表結構,對於建立索引的語句還是需要透過查詢系統檢視反拼語句。

四、其他注意事項

1. 對於大資料量的表如果要先清除,使用--truncate-table而不用--delete-from-table,避免造成大事務刪除緩慢。生產環境建議手動清空;

2. 匯入匯出時報錯timeout,可以在配置檔案conf裡修改sql執行超時引數:{ob-loader-dumper}/conf/session.config.json ;

3. --all與--table '*'的區別,--all表示所有物件、包括檢視等,--table表示僅匯出表;

4. --thread引數用於設定匯出時的併發數,預設會使用本機的CPU 乘以 2,所以如果是在observer上進行匯出,那一定要設定這個引數在一個合理的值,避免打爆observer的cpu;

下面是在資料遷移時常用的幾個命令:

表結構匯出與匯入
./obdumper -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --ddl --table '*' --thread=8 -f /output
./obloader -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --ddl --table '*' --thread=8 -f /output

資料匯出與匯入
./obdumper -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --csv --table '*' --thread=8 -f /output
./obloader -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** --no-sys -D USERA --csv --table '*' --thread=8 -f /output

表結構與資料匯出匯入
./obdumper -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** -D USERA --ddl --csv --no-sys --table '*' --thread=8 -f /output
./obloader -h xx.x.x.x -P 2883 -u test@mysql#cluster_a -p ****** -D USERA --ddl --csv --no-sys --table '*' --thread=8 -f /output

相關文章