安裝

1 安裝cmake，apt-get install cmake；

2 安裝相容包，如apt-get install libglib2.0-dev libmysqlclient15-dev，具體參照官網；

3 下載安裝包並編譯

#wget http://launchpad.net/mydumper/0.2/0.2.3/+download/mydumper-0.2.3.tar.gz

#tar xzvf mydumper-0.2.3.tar.gz

#cd mydumper-0.2.3/

#cmake .

#make

#make install

原理

Mysqldump是個單執行緒工具，只能逐個匯出表，而mydumper支援多執行緒並行匯出；

儘管mydumper主執行緒已經登入進入了mysql，但worker子執行緒必須再登入一次，因為libmysql是執行緒不安全的?

工作流程

1  連線目標資料庫；

2  通過show processlist來判斷是否有長查詢，如果有長查詢則退出dump(通過-long-query-guard指定)，或者使用-kill-long-queries殺掉長查詢；

3  鎖定myisam表，flush tables with read lock；  針對innodb table開啟事務，start transaction；

4  建立worker子執行緒；

5  確定候選表，根據類別分別插入innodb_table，non_innodb_table以及table_schemas連結串列(表結構)；

6  將候選表通過g_async_queue_push加入任務佇列(佇列最後元素是thread shutdown)，由worker子執行緒從佇列中讀取表資訊並執行資料匯出

for(;;) {

    ....

    job=(struct job *)g_async_queue_pop(conf->queue);

    ....

    switch (job->type) {

        case JOB_DUMP:

            ....

            dump_table_data_file(thrconn, tj->database, tj->table, tj->where, tj->filename);

            ....

        case JOB_DUMP_NON_INNODB:

            ....

            dump_table_data_file(thrconn, tj->database, tj->table, tj->where, tj->filename);

        case JOB_SCHEMA:

            ....

            dump_schema_data(thrconn, sj->database, sj->table, sj->filename);

}

當worker讀取到job_shutdown任務時，則會執行如下

case JOB_SHUTDOWN:

    g_message("Thread %d shutting down", td->thread_id);

    if (thrconn)

        mysql_close(thrconn);

    g_free(job);

    mysql_thread_end();

    return NULL;

    break;

7  執行unlock tables，處理完myisam表後立即解鎖，以減少鎖定時間；

Main_thread：記錄myisam數量

for (non_innodb_table= g_list_first(non_innodb_table); non_innodb_table; non_innodb_table= g_list_next(non_innodb_table)) {

        dbt= (struct db_table*) non_innodb_table->data;

        dump_table(conn, dbt->database, dbt->table, &conf, FALSE);

        g_atomic_int_inc(&non_innodb_table_counter);

}

child_thread：當佇列中myisam為0時，加入unlock_tables任務

if (g_atomic_int_dec_and_test(&non_innodb_table_counter) && g_atomic_int_get(&non_innodb_done)) {

        g_async_queue_push(conf->unlock_tables, GINT_TO_POINTER(1));

}

main_thread：主執行緒讀取unlock_tables任務並執行

g_async_queue_pop(conf.unlock_tables);

g_message("Non-InnoDB dump complete, unlocking tables");

mysql_query(conn, "UNLOCK TABLES");

8  等待worker退出；

Myloader將資料匯入資料庫，原理與mydumper類似。

-queries-per-transaction

-directory

參考資料

http://www.hoterran.info/mydumper_usage

http://blogread.cn/it/article/4071

http://centminmod.com/mydumper.html

MySQL備份之【mydumper 學習】

      MySQL在備份方面包含了自身的mysqldump工具，但其只支援單執行緒工作，這就使得它無法迅速的備份資料。而 mydumper作為一個實用工具，能夠良好支援多執行緒工作，這使得它在處理速度方面十倍於傳統的mysqldump。其特徵之一是在處理過程中需要對列表加以鎖定，因此如果我們需要在工作時段執行備份工作，那麼會引起DML阻塞。但一般現在的MySQL都有主從，備份也大部分在從上進行，所以鎖的問題可以不用考慮。這樣，mydumper能更好的完成備份任務。

###更新（2016-04-01）###

注意： mydumper的多執行緒備份是基於表的，所以當只有一張表或99張是小表，1張是超級大表，mydumper不如mysqldump，甚至更慢。 其實mydumper是支援對一張表多個執行緒備份的，引數-r。

Mydumper主要特性：是一個針對MySQL和Drizzle的高效能多執行緒備份和恢復工具，開發人員主要來自MySQL,Facebook,SkySQL公司。

    1：輕量級C語言寫的
    2：執行速度比mysqldump快10倍
    3：事務性和非事務性表一致的快照(適用於0.2.2以上版本)
    4：快速的檔案壓縮
    5：支援匯出binlog
    6：多執行緒恢復(適用於0.2.1以上版本)
    7：以守護程式的工作方式，定時快照和連續二進位制日誌(適用於0.5.0以上版本)
    8：開源 (GNU GPLv3)

下載安裝：

環境：Ubuntu 12.04

下載：

wget https://launchpad.net/mydumper/0.5/0.5.2/+download/mydumper-0.5.2.tar.gz

安裝：解壓後，在README中安裝說明

apt-get install cmake make  libglib2.0-dev libmysqlclient15-dev zlib1g-dev libpcre3-dev g++

cmake .


make

  View Code

生成2個工具：mydumper（備份），myloader（匯入），放入到bin目錄下。

引數：

mydumper（0.5.2）：

root@dd:~/mydumper-0.5.2# ./mydumper --help
Usage:
  mydumper [OPTION...] multi-threaded MySQL dumping
Help Options:
  -?, --help                  Show help optionsApplication Options:
  -B, --database              需要備份的庫
  -T, --tables-list           需要備份的表，用逗號分隔
  -o, --outputdir             輸出檔案的目錄
  -s, --statement-size        生成插入語句的位元組數, 預設 1000000，這個引數不能太小，不然會報 Row bigger than statement_size for tools.t_serverinfo
  -r, --rows                  分裂成很多行塊表
  -c, --compress              壓縮輸出檔案
  -e, --build-empty-files     即使表沒有資料，還是產生一個空檔案
  -x, --regex                 正規表示式: 'db.table'
  -i, --ignore-engines        忽略的儲存引擎，用逗號分隔
  -m, --no-schemas            不匯出表結構
  -k, --no-locks              不執行共享讀鎖 警告：這將導致不一致的備份
  -l, --long-query-guard      設定長查詢時間,預設60秒，超過該時間則會報錯：There are queries in PROCESSLIST running longer than 60s, aborting dump

  --kill-long-queries         kill掉長時間執行的查詢
  -b, --binlogs               匯出binlog
  -D, --daemon                啟用守護程式模式
  -I, --snapshot-interval     dump快照間隔時間，預設60s，需要在daemon模式下
  -L, --logfile               日誌檔案
  -h, --host                  The host to connect to
  -u, --user                  Username with privileges to run the dump
  -p, --password              User password
  -P, --port                  TCP/IP port to connect to
  -S, --socket                UNIX domain socket file to use for connection
  -t, --threads               使用的執行緒數，預設4
  -C, --compress-protocol     在mysql連線上使用壓縮協議
  -V, --version               Show the program version and exit
  -v, --verbose               更多輸出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

myloader（0.5.2）：

root@dd:~/mydumper-0.5.2# ./myloader --help
Usage:
  myloader [OPTION...] multi-threaded MySQL loader
Help Options:
  -?, --help                        Show help optionsApplication Options:
  -d, --directory                   備份檔案所在的目錄
  -q, --queries-per-transaction     每次執行查詢數量, 預設1000
  -o, --overwrite-tables            如果表存在則先刪除。這裡注意下，使用該引數，需要備份時候要備份表結構，不然會出問題
  -B, --database                    指定需要還原的資料庫
  -e, --enable-binlog               啟用二進位制恢復資料
  -h, --host                        The host to connect to
  -u, --user                        Username with privileges to run the dump
  -p, --password                    User password
  -P, --port                        TCP/IP port to connect to
  -S, --socket                      UNIX domain socket file to use for connection
  -t, --threads                     使用的執行緒數量，預設4
  -C, --compress-protocol           連線上使用壓縮協議
  -V, --version                     Show the program version and exit
  -v, --verbose                     更多輸出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

###更新（2016-04-01）###

上面介紹的是0.5.2版本，目前版本已經更新到了0.9.1，新增了一些引數，現在對新引數瞭解一下：

mydumper（0.9.1）：

root@op3:/home/zhoujy# mydumper  --help

Usage:

  mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:

  -?, --help                  Show help options

Application Options:

  -B, --database              需要備份的資料庫，一個資料庫一條命令備份，要不就是備份所有資料庫，包括mysql。

  -T, --tables-list           需要備份的表，用逗號分隔。

  -o, --outputdir             備份檔案目錄

  -s, --statement-size        生成插入語句的位元組數，預設1000000，這個引數不能太小，不然會報 Row bigger than statement_size for tools.t_serverinfo

  -r, --rows                  試圖用行塊來分割表，該引數關閉--chunk-filesize

  -F, --chunk-filesize        行塊分割表的檔案大小，單位是MB

  -c, --compress              壓縮輸出檔案

  -e, --build-empty-files     即使表沒有資料，也產生一個空檔案

  -x, --regex                 正規表示式匹配，如'db.table'

  -i, --ignore-engines        忽略的儲存引擎，用逗號分隔 

  -m, --no-schemas            不匯出表結構

  -d, --no-data               不匯出表資料

  -G, --triggers              匯出觸發器

  -E, --events                匯出事件

  -R, --routines              匯出儲存過程

  -k, --no-locks              不執行共享讀鎖 警告：這將導致不一致的備份

  --less-locking              減到最小的鎖在innodb表上.

  -l, --long-query-guard      設定長查詢時間,預設60秒，超過該時間則會報錯：There are queries in PROCESSLIST running longer than 60s, aborting dump

  -K, --kill-long-queries kill掉長時間執行的查詢，備份報錯：Lock wait timeout exceeded; try restarting transaction

  -D, --daemon                啟用守護程式模式

  -I, --snapshot-interval     dump快照間隔時間，預設60s，需要在daemon模式下

  -L, --logfile               使用日誌檔案，預設標準輸出到終端

  --tz-utc                    備份的時候允許備份Timestamp，這樣會導致不同時區的備份還原會出問題，預設關閉，引數：--skip-tz-utc to disable.

  --skip-tz-utc               

  --use-savepoints            使用savepoints來減少採集metadata所造成的鎖時間，需要SUPER許可權

  --success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist

  --lock-all-tables           鎖全表，代替FLUSH TABLE WITH READ LOCK

  -U, --updated-since         Use Update_time to dump only tables updated in the last U days

  --trx-consistency-only      Transactional consistency only

  -h, --host                  The host to connect to

  -u, --user                  Username with privileges to run the dump

  -p, --password              User password

  -P, --port                  TCP/IP port to connect to

  -S, --socket                UNIX domain socket file to use for connection

  -t, --threads               備份執行的執行緒數,預設4個執行緒

  -C, --compress-protocol     在mysql連線上使用壓縮協議

  -V, --version               Show the program version and exit

  -v, --verbose               更多輸出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

加粗部分是新增加的引數。

myloader（0.9.1）：

root@op:~# myloader --help

Usage:

  myloader [OPTION...] multi-threaded MySQL loader

Help Options:

  -?, --help                        Show help options

Application Options:

  -d, --directory                   備份檔案所在的目錄

  -q, --queries-per-transaction     每個事務的query數量, 預設1000

  -o, --overwrite-tables            如果表存在則先刪除，使用該引數，需要備份時候要備份表結構，不然還原會找不到表

  -B, --database                    指定需要還原的資料庫

  -s, --source-db                   還原的資料庫

  -e, --enable-binlog               啟用二進位制日誌恢復資料

  -h, --host                        The host to connect to

  -u, --user                        Username with privileges to run the dump

  -p, --password                    User password

  -P, --port                        TCP/IP port to connect to

  -S, --socket                      UNIX domain socket file to use for connection

  -t, --threads                     使用的執行緒數量，預設4

  -C, --compress-protocol           連線上使用壓縮協議

  -V, --version                     Show the program version and exit

  -v, --verbose                     更多輸出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2

加粗部分是新增加的引數。

測試： 測試基本用法

1:備份

./mydumper -u zjy -p ##### -h 192.168.220.245 -P 3306 -B chushihua -o /home/zhoujy/bak/

備份analyzedxy資料庫到/home/zhoujy/bak/ 目錄中， 檢視是否多執行緒：

| 4937639 | zjy  | 192.168.200.25:34781  | NULL| Query   |      0 | NULL              | show processlist |
| 4937677 | zjy  | 192.168.200.25:34791  | NULL| Query   |     10 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */|
| 4937678 | zjy  | 192.168.200.25:34792  | NULL| Query   |      5 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */|
| 4937679 | zjy  | 192.168.200.25:34793  | NULL| Query   |     10 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */|
| 4937680 | zjy  | 192.168.200.25:34794  | NULL| Query   |     10 | Writing to net    | SELECT /*!40001 SQL_NO_CACHE */|

上面顯示確實是 4個執行緒（預設）在備份，檢視備份檔案：

root:homezhoujybak# ls

分析： mydumper把資料和表結構分開備份，並且把二進位制日誌備份出來單獨放到一個檔案中。

metadata:後設資料 記錄備份開始和結束時間，以及binlog日誌檔案位置。
table data:每個表一個檔案


table schemas:表結構檔案
binary logs: 啟用--binlogs選項後，二進位制檔案存放在binlog_snapshot目錄下
daemon mode:在這個模式下，有五個目錄0，1，binlogs，binlog_snapshot，last_dump。
備份目錄是0和1，間隔備份，如果mydumper因某種原因失敗而仍然有一個好的快照，當快照完成後，last_dump指向該備份。

2：還原： 還原到另一臺伺服器，先建立要還原的資料庫(chushihua)

./myloader -u root -p 123456 -h 192.168.200.25 -P 3307 -B chushihua -d /home/zhoujy/bak/

和備份一樣檢視 是否多執行緒：

| 19 | root        |      | NULL      | Query   |     0 | init  | show   processlist|| 30 | root        |      | chushihua | Query   |     5 | update| INSERT INTO       || 31 | root        |      | chushihua | Query   |     5 | update| INSERT INTO       || 32 | root        |      | chushihua | Query   |     5 | update| INSERT INTO       || 33 | root        |      | chushihua | Query   |     5 | update| INSERT INTO       |

上面顯示確實是 4個執行緒（預設）在還原。

進一步測試： 測試一些常用的引數

1）：備份指定表（-T），並且不要匯出表結構（-m）

./mydumper -u root-p 123456 -h 192.168.220.252 -P 3306 -m -B test -T b,a,c,d,e,g,f,h,i -o /home/zhoujy/bak/zhoujy@zhoujy:~/bak$ ls -lh-rw-rw-r-- 1 zhoujy zhoujy 3.4K 2013-11-14 20:57 test.a.sql-rw-rw-r-- 1 zhoujy zhoujy 1.6M 2013-11-14 20:57 test.b.sql-rw-rw-r-- 1 zhoujy zhoujy 7.8M 2013-11-14 20:57 test.c.sql-rw-rw-r-- 1 zhoujy zhoujy 1.7M 2013-11-14 20:57 test.d.sql-rw-rw-r-- 1 zhoujy zhoujy 303K 2013-11-14 20:57 test.e.sql-rw-rw-r-- 1 zhoujy zhoujy 517K 2013-11-14 20:57 test.f.sql-rw-rw-r-- 1 zhoujy zhoujy 646K 2013-11-14 20:57 test.g.sql-rw-rw-r-- 1 zhoujy zhoujy 394K 2013-11-14 20:57 test.h.sql-rw-rw-r-- 1 zhoujy zhoujy  34K 2013-11-14 20:57 test.i.sql-rw-rw-r-- 1 zhoujy zhoujy   75 2013-11-14 20:57 metadata

 2）壓縮備份檔案（-c），備份binlog（-b），正規表示式備份表（-x）

./mydumper -u root -p 123456 -h 192.168.200.25 -P 3306 -m -c -b --regex=tmp.* -B test  -o /home/zhoujy/bak/drwx------ 2 zhoujy zhoujy 4.0K 2013-11-14 21:16 binlog_snapshot-rw-rw-r-- 1 zhoujy zhoujy  133 2013-11-14 21:16 metadata-rw-rw-r-- 1 zhoujy zhoujy  94K 2013-11-14 21:16 test.tmp_0808.sql.gz-rw-rw-r-- 1 zhoujy zhoujy  75K 2013-11-14 21:16 test.tmp_0809.sql.gz-rw-rw-r-- 1 zhoujy zhoujy  25K 2013-11-14 21:16 test.tmp_0813.sql.gz-rw-rw-r-- 1 zhoujy zhoujy 208K 2013-11-14 21:16 test.tmp_0826.sql.gz-rw-rw-r-- 1 zhoujy zhoujy  915 2013-11-14 21:16 test.tmp_0827.sql.gz-rw-rw-r-- 1 zhoujy zhoujy  901 2013-11-14 21:16 test.tmp_0912.sql.gz-rw-rw-r-- 1 zhoujy zhoujy 2.1K 2013-11-14 21:16 test.tmp_0916.sql.gz-rw-rw-r-- 1 zhoujy zhoujy 622K 2013-11-14 21:16 test.tmp_0918_a.sql.gz-rw-rw-r-- 1 zhoujy zhoujy  28M 2013-11-14 21:16 test.tmp_0918_ff.sql.gz

如上所示，備份檔案已經是壓縮的了（用gzip -d 解壓），並且備份出了tmp.*匹配出來的所有表，二進位制日誌也被備份到了binlog_snapshot檔案中，並且也是被壓縮的。

###更新（2016-04-01）###

新版本里已經 不能備份binlog了，沒有-b引數。這裡說明下 備份指定資料庫的方法： --regex 正則匹配

#指定備份資料庫：備份abc、bcd、cdemydumper -u backup -p 123456  -h 192.168.180.13 -P 3306 -t 3 -c -l 3600 -s 10000000 -e --regex 'abc|bcd|cde' -o bbb/#指定不備份的資料庫：不備份abc、mysql、test，備份其他資料庫 mydumper -u backup -p 123456  -h 192.168.180.13 -P 3306 -t 3 -c -l 3600 -s 10000000 -e --regex '^(?!(abc|mysql|test))' -o bbb/

3）還原，表存在先刪除（-o）：這裡需要 注意，使用該引數，備份目錄裡面需要有表結構的備份檔案。

./myloader -u root -p 123456 -h 192.168.200.25 -P 3306 -o -B test -d /home/zhoujy/bak/

更多的引數效果，請自己測試。

最後測試：用mysqldump和mydumper進行對比測試。

  View Code

測試了2個資料庫：

1：

mysqldump Cost Time ：162s
mydumper Cost Time ：61s

2：

mysqldump Cost Time ：483s
mydumper Cost Time ：337s

從上面的時間來看，mydumper 確實提升了備份資料，還原也同理。

###### 2016-07-20 更新 #######

mydumper支援一張表多個執行緒以chunk的方式批量匯出，引數-r：試圖用行塊來分割表，該引數關閉--chunk-filesize引數。如：

mydumper -u zjy -p xxx  -h 192.168.123.70 -P 3306 -t 5 -c -r 300000 -l 3600 -s 10000000 -B vs -o /home/zhoujy/vs/

表示每個執行緒用300000行塊來分割表，通過show processlist 看到：5個執行緒備份

Sending data       
    `virtual_station`.``      Sending  client  
    `virtual_station`.``  Sending  client  
    `virtual_station`.``               Sending  client  
    `virtual_station`.``              Sending data          `virtual_station`.``

這個可以更好的備份資料庫，不管資料庫裡是否有大表。

總結：

從上面的測試分析中看出mydumper可以提升備份還原的效率，雖然是多執行緒操作，但是提升多少受限於磁碟的IO能力，在使用前做好磁碟IO的評估，大家可以嘗試使用該工具。

更多資訊見：

http://blog.csdn.net/leshami/article/details/46815553

http://www.hoterran.info/mydumper_usage

http://www.ttlsa.com/html/1077.html

http://blog.sina.com.cn/s/blog_534360f5010157rx.html

測試環境說明：

OS Centos 6.4 X86_64  2U 8 Core 24 Threads
MYSQL 5.5.34
備份盤：普通SAS盤 10k 2塊  Raid 1
MYSQL 資料檔案盤：   Intel® SSD DC S3500 Series Raid 1

下載mydumper 原始檔並解壓
wget https://launchpadlibrarian.net/123439581/mydumper-0.5.2.tar.gz

安裝依賴包
yum install cmake glib2-devel  pcre-devel  zlib-devel [mysql-devel 這裡已經安裝過]
 
[root@host105 mydumper-0.5.2]# cmake .    ###這裡cmake 後面有一個點（.）表示當前目錄   

[root@host105 mydumper-0.5.2]# cmake .
省略部分輸出 .. ... 
-- Configuring done
-- Generating done
-- Build files have been written to: /home/lidan/mydumper-0.5.2

看到這cmake基本上就可以說成功了
然後
[root@host105 mydumper-0.5.2]# make&&make install 
 省略部分輸出 .. ... 
[ 80%] Built target mydumper
[100%] Built target myloader
Install the project...
-- Install configuration: ""
-- Installing: /usr/local/bin/mydumper

-- Installing: /usr/local/bin/myloader

之後使用/usr/local/bin/mydumper --help 檢查是否可用

測試資料庫大小220M
 
注意：注意賬號密碼和密碼與選項間的空格是必須的

 單 執行緒無壓縮
[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push -u root -p xxx --binlogs -t 1 -o /data/mysql_bak/

real     0m9.221s
user    0m2.122s

sys     0m0.299s

備份出的檔案大小：190M
drwx------ 2 root root      4096 Mar  8 13:25 binlog_snapshot  --拷貝的binlog檔案（該binlog表示的是備份映象之前的所有binlog）
-rw-r--r-- 1 root root       210 Mar  8 13:25 metadata         --binlog的資訊以及複製到master的位置資訊
rw-r--r-- 1 root root       417 Mar  8 21:00 yiqifa_bs_push.yiqifa_commission_qq-schema.sql  --dump表結構檔案
-rw-r--r-- 1 root root       206 Mar  8 21:00 yiqifa_bs_push.yiqifa_commission_qq.sql    --dump資料檔案
... ...

其中metadata記錄的資訊如下：
SHOW MASTER STATUS:
        Log: mysql-bin.000003
        Pos: 2414
上述表示備份到備份資料庫的binlog檔案和position點

SHOW SLAVE STATUS:
        Host: 192.168.5.112
        Log: mysql-bin.000294
        Pos: 604030830

上述表示備份時間點master的資訊

注意： 這裡Pos表示的是備庫sql_thread 執行到主庫binlog的位置即show slave status 裡的 Exec_Master_Log_Pos

Finished dump at: 2014-03-08 13:25:42

備份期間登陸mysql檢視程式：
有一個查詢執行緒（dump資料），另外還有這兩個模擬slave 匯出binlog的執行緒
 93616 | root        | localhost | NULL           | Binlog Dump |      5 | Master has sent all binlog to slave; waiting for binlog to be updated       | NULL                                                               |
| 93617 | root        | localhost | NULL           | Binlog Dump |      5 | Master has sent all binlog to slave; waiting for binlog to be updated       | NULL                                                               |

2執行緒無壓縮備份
[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push -u root -p xxx --binlogs -t 2 -o /data/mysql_bak/
real     0m8.947s
user    0m2.262s

sys     0m0.284s

 4執行緒無壓縮
[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push -u root -p xxx --binlogs -t 4 -o /data/mysql_bak/
real     0m8.564s
user    0m2.076s
sys     0m0.297s

 6執行緒無壓縮

[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push -u root -p xxx --binlogs -t 6 -o /data/mysql_bak/ 
real    0m9.042s
user    0m2.308s
sys     0m0.322s

 8執行緒無壓縮

[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push -u root -p xxx --binlogs -t 8 -o /data/mysql_bak/ 

real    0m8.432s
user    0m1.964s
sys     0m0.260s
 12執行緒無壓縮
[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push -u root -p xxx --binlogs -t 12 -o /data/mysql_bak/
real    0m9.583s
user    0m2.545s
sys     0m0.359s

總結：

這裡所有的資料都是測試過3-5次然後取平均值（樣本太少，可能還是不準）多執行緒備份隨著執行緒的增加備份速度會相應加快，但是當執行緒增大到一定程度後備份速度反而下降，這個時候主要是磁碟瓶頸，這裡測試在8執行緒下備份速度最優。

需要注意的是：在測試6執行緒的時候幾乎和開啟1個執行緒的備份消耗時間差不多，後來通過show processlist發現當開啟6執行緒的時候實際上只有一個會話在dump資料，但是-v 3 看到的又是6執行緒dump資料不知道這算不算一個bug。

多執行緒備份帶壓縮 後的備份檔案大小 ：36M 壓縮大概為1：6到1:7左右 猜測就是使用gzip 進行的壓縮不過備份效率下降了近50%

8執行緒帶壓縮

[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push -u root -p xxx  --binlogs  -c -t 8 -o /data/mysql_bak/

real     0m16.587s
user    0m11.127s
sys     0m0.179s
real     0m16.757s
user    0m11.320s
sys     0m0.149s

檢視備份後的檔案，可見壓縮其實使用的就是類似gzip的方式，包括binlog在內的檔案都進行壓縮

-rw-r--r-- 1 root root   4671 Mar  8 19:54 mysql-bin.000001.gz
-rw-r--r-- 1 root root 182394 Mar  8 19:54 mysql-bin.000002.gz
-rw-r--r-- 1 root root    673 Mar  8 19:54 mysql-bin.000003.gz
drwx------ 2 root root     4096 Mar  8 19:54 binlog_snapshot
-rw-r--r-- 1 root root      210 Mar  8 19:54 metadata
-rw-r--r-- 1 root root      281 Mar  8 19:54 yiqifa_bs_push.xxxxxxschema.sql.gz   --使用gzip壓縮，可手動gunzip解壓
-rw-r--r-- 1 root root      615 Mar  8 19:54 yiqifa_bs_push.xxxxwebsite.sql.gz

檢視mydumper執行時候的詳細資訊 -v 3

[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push -u root -p xxx --binlogs -e -c -t 2  -v 3 -o /data/mysql_bak/  
** Message: Connected to a MySQL server
** Message: Started dump at: 2014-03-08 21:14:20
** Message: Written master status
** Message: Written slave status
** Message: Thread 1 connected using MySQL connection ID 93732
** Message: Thread 2 connected using MySQL connection ID 93733
** Message: Thread 1 dumping data for `yiqifa_bs_push`.`apply_xxx_website`
** Message: Non-InnoDB dump complete, unlocking tables
** Message: Thread 2 dumping data for `yiqifa_bs_push`.`cpa_xxx_log`
** Messa
** Message: Thread 2 shutting down
** Message: Finished dump at: 2014-03-08 21:14:32

備份過程如果有慢查詢是否Kill 慢查詢：（預設不kill，而是等待60s後如果發現慢查詢還在那麼備份就自己退出）
[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push   -u root -p emarmysqldba --binlogs -e -c -t 2 -v 3 --long-query-guard 2 --kill-long-queries -o /data/mysql_bak/ 
** Message: Connected to a MySQL server

**  (mydumper:25127): WARNING **: Killed a query that was running for 3s  --kill 了一個慢查詢
** Message: Started dump at: 2014-03-08 21:21:54
** Message: Thread 2 shutting down
** Message: Thread 1 shutting down
** Message: Finished dump at: 2014-03-08 21:22:06

被殺掉的查詢：
(user:root  time: 21:21)[db: test]select count(1) ,sleep(30) from test; 
ERROR 2013 (HY000): Lost connection to MySQL server during query

如果只指定了了慢查詢時間（預設60s)但是沒有指定--kill-long-queries 那麼mydumper直接崩潰退出
[root@host105 mysql_bak]# time mydumper -B yiqifa_bs_push   -u root -p emarmysqldba --binlogs -e -c -t 2 -v 3 --long-query-guard 2  -o /data/mysql_bak/

** (mydumper:26620): CRITICAL **: There are queries in PROCESSLIST running longer than 2s, aborting dump,
        use --long-query-guard to change the guard value, kill queries (--kill-long-queries) or use 
        different server for dump

測試備份是否真的需要flush table with read lock：
[root@host105 mysql_bak]# time mydumper -B mysql   -u root -p xxx  --binlogs -m -c  -v 3   -o /data/mysql_bak/ 

部分輸出資訊：
** Message: Thread 2 dumping data for `mysql`.`time_zone_transition_type`
** Message: Thread 2 dumping data for `mysql`.`user`
** Message: Thread 2 connected using MySQL connection ID 97512 (in binlog mode)
** Message: Thread 2 dumping binary log file mysql-bin.000001
** Message: Non-InnoDB dump complete, unlocking tables  --這裡有一個釋放鎖的操作
** Message: Finished dump at: 2014-03-08 21:57:54

另一個會話同時執行的
(user:root  time: 21:57)[db: test]create table a(id int) ;drop table a;
Query OK, 0 rows affected  ( 5.38 sec) -- 阻塞了5秒多，說明確實加了一把全域性的讀鎖

另外，如果備份的資料庫都是innodb引擎的表，因為沒有myisam表需要備份，那麼flush table with read lock 將會很快釋放，所以如果沒有myisam表的備份，那麼你幾乎感覺不到讀鎖的存在。
再者，因為對myisam表備份需要表鎖，所有mydumper會優先處理myisam表，記錄myisam表個數，每處理一個myisam都原子運算元量減一，在myisam表都處理完畢後立即解鎖，儘量減少鎖定的時間，而不是在匯出innodb表資料的時候還在lock myisam表。

測試 -e (預設情況不加-e 如果表沒有記錄將不會匯出，加上-e 沒有資料也會在匯出的時候建立空檔案）
root@host105 mysql_bak]# time mydumper -T user   -u root -p xxx --binlogs  -c 
-e  -v 3   -o /data/mysql_bak/

-rw-r--r-- 1 root root  167 Mar  9 01:26 test.user-schema.sql.gz
-rw-r--r-- 1 root root   78 Mar  9 01:26 test.user.sql.gz   -- 沒有資料依然匯出一個空資料的檔案
 
root@host105 mysql_bak]# time mydumper -T user   -u root -p xxx --binlogs  -c  -v 3   -o /data/mysql_bak/

-rw-r--r-- 1 root root  509 Mar  9 01:30 mysql.user.sql.gz
-rw-r--r-- 1 root root  167 Mar  9 01:30 test.user-schema.sql.gz  -- 不加-e 的話test.user只有表結構檔案

測試 -T （不需要加dbname 字首，表之間用,分隔 ；逗號和表之間不能有空格）和 --regex  (需要dbname字首)
time mydumper   -T user,test -u root -p xxx --binlogs  -c  -v 3   -o /data/mysql_bak/  

-rw-r--r-- 1 root root  624 Mar  9 01:38  mysql.user-schema.sql.gz
-rw-r--r-- 1 root root  121 Mar  9 01:38 test.test.sql.gz
-rw-r--r-- 1 root root  167 Mar  9 01:38  test.user-schema.sql.gz
-rw-r--r-- 1 root root  109 Mar  9 01:38 test.user.sql.gz

 time mydumper    --regex='mysql.user|test.test' -u root -p xxx --binlogs  -c  -v 3   -o /data/mysql_bak/  

-rw-r--r-- 1 root root  624 Mar  9 01:42  mysql.user-schema.sql.gz
-rw-r--r-- 1 root root  509 Mar  9 01:42 mysql.user.sql.gz
-rw-r--r-- 1 root root  235 Mar  9 01:42  test.test2-schema.sql.gz
-rw-r--r-- 1 root root  229 Mar  9 01:42  test.test-schema.sql.gz
-rw-r--r-- 1 root root  121 Mar  9 01:42 test.test.sql.gz

排除yiqifa_bs_push、yiqifa_bs和yiqifa_an及mysql庫，相當於只備份test庫
time mydumper  --regex='^(?!(yiqifa_bs_push|yiqifa_bs|yiqifa_an|mysql))'  -u root -p xxx --binlogs  -c  -v 3   -o /data/mysql_bak/ 
 
-rw-r--r-- 1 root root  235 Mar  9 01:47 test.test2-schema.sql.gz
-rw-r--r-- 1 root root  229 Mar  9 01:47 test.test-schema.sql.gz

測試 --regex 和 -T 的優先順序
time mydumper   --regex='mysql.user'    -T test,user -u root -p xxx --binlogs  -c  -v 3   -o /data/mysql_bak/
-rw-r--r-- 1 root root  624 Mar  9 02:01 mysql.user-schema.sql.gz
-rw-r--r-- 1 root root  509 Mar  9 02:01 mysql.user.sql.gz

可見，--regex的處理在--tables-list(-T)後， 先滿--tables-list再滿足--regex(兩者必須是and的關係否則什麼都不匯出），如下只會dump表user

測試 --snapshot-interval (-I) （必須和 --daemon 一起用）
mydumper    --regex='test.*' -u root -p xxx  -I 1 -D-c  -v 3  -L /tmp/dump.log  -o /data/mysql_bak/
drwx------ 2 root root 4096 Mar  9 02:35   0
drwx------ 2 root root 4096 Mar  9 02:33   1
drwx------ 2 root root 4096 Mar  9 02:38 binlogs
lrwxrwxrwx 1 root root    1 Mar  9 02:33   last_dump -> 1
-rw-r--r-- 1 root root  210 Mar  9 02:17 metadata
-rw-r--r-- 1 root root  235 Mar  9 02:17 test.test2-schema.sql.gz
-rw-r--r-- 1 root root  229 Mar  9 02:17 test.test-schema.sql.gz
-rw-r--r-- 1 root root  121 Mar  9 02:17 test.test.sql.gz
-rw-r--r-- 1 root root  167 Mar  9 02:17 test.user-schema.sql.gz
-rw-r--r-- 1 root root  109 Mar  9 02:17 test.user.sql.gz

設定這兩個引數那麼mydumper會定時 在後臺（這裡每隔 1分鐘）進行一次備份，並且備份檔案目錄會在目錄0,1（last_dump交叉指向0或1目錄）之間進行切換。

 -rows的使用 

設定-rows可以把一個表分成多個檔案。分塊的原則並不是根據-rows設定的行數來決定生成檔案裡包含的函式，而是通過rows和表的總行數計算出要生成的檔案個數，儘量保證每個檔案的大小一致。表的總行數是如何獲得的？首先mydumper會選擇一個索引，順序是pk、uk或者show index from table裡Cardinality最高的一個索引，再通過explain select index from table的rows欄位獲得總行數total_nums（可能不準確），於是第一個檔案就是從select
* from table where index >=1 and index < total_nums/ (int(total_nums/ rows) – 1) + 1。每個分塊可以分到不同的執行緒，所以即便同一個表dump都可以很快加速。

PS:

如果想知道dump映象所在的binlog日誌位置可以:

 cd binlog_snapshot/ root@host105 binlog_snapshot]# ll

total 1076
-rw-r--r-- 1 root root   27736 Mar  9 03:48 mysql-bin.000001
-rw-r--r-- 1 root root 1062832 Mar  9 03:48 mysql-bin.000002
-rw-r--r-- 1 root root    8034 Mar  9 03:48 mysql-bin.000003
解析最後一個日誌就可以知道
mysqlbinlog mysql-bin.000003 
#140309  3:36:27 server id 127105   end_log_pos 8034     Xid = 252012609
COMMIT/*!*/;

而binlog當前的position點為
#140309  3:39:27 server id 127105   end_log_pos 8129     Query   thread_id=99206 exec_time=0     error_code=0
SET TIMESTAMP=1394307567/*!*/;

create table b11111(id int)

故備份檔案裡的binlog映象並不是最新的binlog日誌。

 
mydumper 和mysqldump 效能測試對比 （以及metadata的問題）

需要備份資料庫大小：129G

最後備份檔案（無壓縮）大小：100G

使用mydumper 分別 在4、8、12執行緒下進行備份

[root@host105 mysql_bak]# time mydumper -B yiqifa_bs -u root -pxxx  -t 
4 -o /data/mysql_bak/     
real     11m37.456s
user    17m48.952s
sys     2m52.717s
[root@host105 mysql_bak]# time mydumper -B yiqifa_bs -u root -p xxx  -t 
8 -o /data/mysql_bak/   
real     11m19.416s
user    21m23.441s

sys     3m38.803s

第二次 在凌晨測試

real     7m4.005s
user    17m43.677s
sys     4m40.592s

real      8m25.918s
user    18m53.535s
sys     5m9.220s
[root@host105 mysql_bak]# time mydumper -B yiqifa_bs -u root -p emarmysqldba  -t 
12 -o /data/mysql_bak/   

real     12m14.479s
user    27m20.982s
sys     5m16.919s

使用mysql原生mysqldump進行備份 （備份檔案大小也是100G）
 time mysqldump -uroot -p xxx  yiqifa_bs --opt  --single-transaction >yiqifa_bs.dmp
 
real     50m49.690s
user    33m49.342s

sys     4m27.011s

對比4、8執行緒備份mydumper的備份速度要比原生mysqldump快近 5-7倍。需要特別注意mydumper備份不會對錶加metadata lock，故使用mydumper進行備份期間儘量不要對錶進行ddl操作，否則可能在基於時間點恢復的時候出現 資料不一致的問題。

什麼情況下會導致資料不一致？

比如，在備份期間先對錶t 執行了insert 操作，然後執行alter table t drop name 而此時備份記錄的binlog pos點是在insert 之前的點

當基於時間點恢復的時候因為備份檔案裡T的欄位name 已經被drop 那麼在解析binlog 執行insert的時候就會報列匹配不上的錯誤

這也是為何mysql5.5加入metadata lock的主要原因----防止事物被ddl語句破壞。（讀者可自行測試，我已驗證)

最後，在測試過程中mydumper出現丟失資料的問題，其中有一個表test 裡面含有5條記錄dump出來後資料檔案為空，這個問題有空再找找原因。(後來沒有復現)

另外需要注意的是mydumper 無法備份view和trigger （無論是整庫還是單獨指定庫），不過整庫備份模式下可以備份procedure和function（因為儲存在mysql.proc裡），但是單庫備份依然無法備份procedure和function，希望想使用mydumper進行備份的小夥伴們引起重視。