一、前言
說起MySQL的邏輯備份，一般大家用的最多的是mysqldump，MySQL官方提供的邏輯匯出的工具，簡單易用，可以產生一致性備份。但是mysqldump只能單執行緒匯出，匯出速度有限。為了提升邏輯備份速度，MySQL官方推出了mysqlpump，支援多執行緒匯出，一定程度上提升了匯出速度。但是，mysqlpump只支援表級別的並行匯出，並且對於匯入的場景無法多執行緒並行，速度提升有限。mydumper/myloader是由MySQL、Facebook等公司開發的開源mysql資料匯出匯入工具，多執行緒匯出的並行度不再侷限於表，匯入時同樣也支援多執行緒，大大提升了資料匯出和匯入的速度。作為進階的MySQL DBA，不能只會用mysqldump了，mydumper也應該熟練掌握，本文將分享mydumper的實戰技巧。
二、下載安裝
mydumper採用C語言編寫，可以基於原始碼編譯安裝。此外，官方也提供了rpm包安裝。
mydumper原始碼編譯安裝： 1. 原始碼包下載 https://github.com/mydumper/mydumper/tags 2. 依賴安裝 yum install -y cmake gcc gcc-c++ git make yum install -y glib2-devel openssl-devel pcre-devel zlib-devel libzstd-devel yum install -y mysql-devel 3. 編譯安裝 cmake . make && make install 4. 編譯好後缺少庫檔案 ln -s /usr/local/mysql/lib/libmysqlclient.so.21.2.31 /usr/lib/libmysqlclient.so.21 ln -s /usr/local/mysql/lib/private/libssl.so.1.1 /usr/lib64/libssl.so.1.1 ln -s /usr/local/mysql/lib/private/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1 5.安裝成功 #mydumper -V mydumper v0.15.1-3, built against MySQL 8.0.31 with SSL support
三、常用引數
mydumper常用引數 -B 指定資料庫 -G 匯出trigger -E 匯出event -R 匯出routine -m 只匯出資料，不匯出建庫建表語句 -d 僅僅匯出建表結構和建庫語句 -c 壓縮（gzip） -x 正則，比如備份多個指定的庫：-x 'test|mysql'，比如指定某些庫不參與備份：-x '^(?!(sys|mysql))' -T 指定表，如-T test.t1 -t 併發執行緒數，預設4 -r 定義行數，按此行數對錶進行分塊並行匯出，該選項會使-F失效 -F 定義將表匯出檔案進行分塊的大小，預設單位是 MB -l 設定長查詢的閾值，單位s，預設60s -K 超過-l設定的時間閾值，則kill阻塞備份程序的會話 --less-locking 減少對InnoDB表的加鎖時間 -k, --no-locks 不執行臨時的只讀鎖，會導致備份不一致 --trx-consistency-only 代表本次備份只對事務表做一致性保證 --skip-tz-utc 不加的話，會在dump的時候加上SET TIME_ZONE='+00:00'，對於timestamp欄位需要加上該選項
myloader常用引數 -e 匯入的時候會記錄binlog -t 併發執行緒數，預設也是4 -o 匯入時如果表已存在則drop掉
四、資料遷移實戰
以下是mydumper/myloader在幾個常用資料遷移場景的命令，可以直接複製使用。mydumper預設按表匯出sql檔案，也可以直接拿匯出的sql檔案到資料庫中使用source命令匯入。
1. 全例項匯出與匯入 mydumper -h $host -u $user -p $password -G -E -R -o /backup/dumpfile --less-locking myloader -h $host -u $user -p $password -e -d /backup/dumpfile 2. 單庫匯出與匯入 mydumper -h $host -u $user -p $password -B test2 -o /backup/shemafile --less-locking myloader -h $host -u $user -p $password -e -d /backup/schemafile 3. 指定表匯出與匯入 mydumper -h $host -u $user -p $password -T test.sbtest1 -o /backup/tablefile --less-locking myloader -h $host -u $user -p $password -e -d /backup/tablefile 4. 只導表結構，不導資料 mydumper -h $host -u $user -p $password -B test2 -d -o /backup/ddlfile --less-locking myloader -h $host -u $user -p $password -e -d /backup/ddlfile 5. 只導資料，不導表結構 mydumper -h $host -u $user -p $password -T test.sbtest1 -m -o /backup/datafile --less-locking myloader -h $host -u $user -p $password -e -d /backup/datafile 6. 單表分塊並行匯出，併發度8，按一千萬行對錶分塊並行匯出 mydumper -h $host -u $user -p $password -T test2.sbtest1 -r 10000000 -t 8 -o /backup/tablefile --less-locking myloader -h $host -u $user -p $password -e -d /backup/tablefile
五、其他注意事項
以下是我在使用和研究這個工具中總結的幾點注意事項：
1. 實際應用中線上環境大部分都是主從或mgr架構，在主庫匯入時需要加上-e引數，否則預設是不會記錄binlog，主庫匯入的資料也就不會同步到備庫；
2. -t引數可以設定併發的執行緒數，預設是4。需要注意的是，不加-r或-F引數的情況下，也是按表進行並行匯出匯入。使用-r或-F引數可以將單表進行分塊並行匯出匯入；
3. 匯出時可以加上-c引數對匯出結果進行壓縮，預設是gizp壓縮方式，但會消耗一定的壓縮時間；
4. 實際使用中建議加上--less-locking引數，這將把innodb表和非innodb表的匯出分開，非innodb表導完後先unlock tables再導innodb表，由於實際使用中幾乎很少非innodb表，
這將大大減少全域性讀鎖FTWRL的鎖定時間；
5. mydumper提供了-k引數不加FTWRL鎖，會導致備份不一致。但實際上匯出的時候會把會話的隔離級別設定為REPEATABLE READ，所以理論上對於innodb表的匯出仍然是一致性的；
6. 線上環境建議到備庫操作，畢竟FTWRL對業務可能產生較大的影響；