mydumper工作原理

相比mysqldump，其優勢如下：

1 速度快（好多資料都說快10倍，個人持保留意見)；

2 支援多執行緒匯出和匯入myloader；

3 採用守護程式方式執行，可定時掃描和快照binlog(-snapshot-interval)；

4 快速檔案壓縮；

也有稍許不足之處，如mydumper不處理MySQL的檢視，觸發器和儲存過程，因此使用mydumper去匯出schema並不可靠。

實際生產環境中，建議mydumper僅用於匯出資料(使用 --no-schemas )，而通過mysqldump來匯出schema。

mydumper除了為每個表會分別生成table.sql和table-schema.sql，還會生成一個.metadata檔案，記錄dump的開始和結束時間，以及binlog位置資訊。

引數

-long-query-guard：長查詢上限(預設60s)，如果當前資料庫存在執行時間大於此引數的查詢則退出mydumper；

-kill-long-queries：殺死查出的長查詢；

-daemon：啟用守護程式模式；

-snapshot-interval：快照時間間隔，預設60s；

-t, --threads 使用的執行緒數，預設4

-C, --compress-protocol 在mysql連線上使用壓縮

-e, --enable-binlog 啟用二進位制恢復資料

-r, --rows 將表分成多個檔案批次匯出，

1 確定表的行數，依據pk – uk – cardinality最高的索引(show index from table)選擇索引，通過explain select index from table的rows欄位確定行數；

2 已經total_rows和rows將表分成若干分塊，每個分塊可由不同worker並行執行，適用於大表；

安裝

1 安裝cmake，apt-get install cmake；

2 安裝相容包，如apt-get install libglib2.0-dev libmysqlclient15-dev，具體參照官網；

3 下載安裝包並編譯

#wget http://launchpad.net/mydumper/0.2/0.2.3/+download/mydumper-0.2.3.tar.gz

#tar xzvf mydumper-0.2.3.tar.gz

#cd mydumper-0.2.3/

#cmake .

#make

#make install

原理

Mysqldump是個單執行緒工具，只能逐個匯出表，而mydumper支援多執行緒並行匯出；

儘管mydumper主執行緒已經登入進入了mysql，但worker子執行緒必須再登入一次，因為libmysql是執行緒不安全的?

工作流程

1 連線目標資料庫；

2 通過show processlist來判斷是否有長查詢，如果有長查詢則退出dump(通過-long-query-guard指定)，或者使用-kill-long-queries殺掉長查詢；

3 鎖定myisam表，flush tables with read lock；針對innodb table開啟事務，start transaction；

4 建立worker子執行緒；

5 確定候選表，根據類別分別插入innodb_table，non_innodb_table以及table_schemas連結串列(表結構)；

6 將候選表通過g_async_queue_push加入任務佇列(佇列最後元素是thread shutdown)，由worker子執行緒從佇列中讀取表資訊並執行資料匯出

for(;;) {

....

job=(struct job *)g_async_queue_pop(conf->queue);

....

switch (job->type) {

case JOB_DUMP:

....

dump_table_data_file(thrconn, tj->database, tj->table, tj->where, tj->filename);

....

case JOB_DUMP_NON_INNODB:

....

dump_table_data_file(thrconn, tj->database, tj->table, tj->where, tj->filename);

case JOB_SCHEMA:

....

dump_schema_data(thrconn, sj->database, sj->table, sj->filename);

}

當worker讀取到job_shutdown任務時，則會執行如下

case JOB_SHUTDOWN:

g_message("Thread %d shutting down", td->thread_id);

if (thrconn)

mysql_close(thrconn);

g_free(job);

mysql_thread_end();

return NULL;

break;

7 執行unlock tables，處理完myisam表後立即解鎖，以減少鎖定時間；

Main_thread：記錄myisam數量

for (non_innodb_table= g_list_first(non_innodb_table); non_innodb_table; non_innodb_table= g_list_next(non_innodb_table)) {

dbt= (struct db_table*) non_innodb_table->data;

dump_table(conn, dbt->database, dbt->table, &conf, FALSE);

g_atomic_int_inc(&non_innodb_table_counter);

}

child_thread：當佇列中myisam為0時，加入unlock_tables任務

if (g_atomic_int_dec_and_test(&non_innodb_table_counter) && g_atomic_int_get(&non_innodb_done)) {

g_async_queue_push(conf->unlock_tables, GINT_TO_POINTER(1));

}

main_thread：主執行緒讀取unlock_tables任務並執行

g_async_queue_pop(conf.unlock_tables);

g_message("Non-InnoDB dump complete, unlocking tables");

mysql_query(conn, "UNLOCK TABLES");

8 等待worker退出；

Myloader將資料匯入資料庫，原理與mydumper類似。

-queries-per-transaction

-directory

參考資料

http://www.hoterran.info/mydumper_usage

http://blogread.cn/it/article/4071

http://centminmod.com/mydumper.html

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/15480802/viewspace-1465080/，如需轉載，請註明出處，否則將追究法律責任。

mydumper工作原理

相關文章