MySQL 5.7 mysqlpump 備份工具說明

張衝andy發表於2018-10-24
MySql

MySQL5.7之後多了一個備份工具：mysqlpump。它是mysqldump的一個衍生，mysqldump就不多說明了，現在看看mysqlpump到底有了哪些提升，可以檢視 官方文件 ，這裡針對如何使用做下說明。

mysqlpump和mysqldump一樣，屬於邏輯備份，備份以SQL形式的文字儲存。邏輯備份相對物理備份的好處是不關心undo log的大小，直接備份資料即可。它最主要的特點是：

  • 並行備份 資料庫和資料庫中的物件的，加快備份過程。

  • 更好的控制資料庫和資料庫物件（表，儲存過程，使用者帳戶）的備份。

  • 備份使用者賬號作為帳戶管理語句（CREATE USER，GRANT），而不是直接插入到MySQL的系統資料庫。

  • 備份出來直接生成壓縮後的備份檔案。

  • 備份進度指示（估計值）。

  • 重新載入（還原）備份檔案，先建表後插入資料最後建立索引，減少了索引維護開銷，加快了還原速度。

  • 備份可以排除或則指定資料庫。

引數： 絕大部分引數和mysqldump一致，順便複習一下。對於mysqlpump引數會用背景色       標記出來。

1： --add-drop-database ：在建立庫之前先執行刪庫操作。 

DROP DATABASE IF EXISTS `...`;

2： --add-drop-table ：在建表之前先執行刪表操作。 

DROP TABLE IF EXISTS `...`.`...`;

3： --add-drop-user ：在CREATE USER語句之前增加DROP USER， 注意： 這個引數需要和 --users 一起使用，否者不生效。 

DROP USER 'backup'@'192.168.123.%';

4： --add-locks ：備份表時，使用LOCK TABLES和UNLOCK TABLES。 注意： 這個引數不支援並行備份，需要關閉並行備份功能： --default-parallelism =0   

LOCK TABLES `...`.`...` WRITE;
...
UNLOCK TABLES;

5： --all-databases ：備份所有庫，-A。

6： --bind-address ：指定通過哪個網路介面來連線Mysql伺服器（一臺伺服器可能有多個IP），防止同一個網路卡出去影響業務。

7： --complete-insert ：dump出包含所有列的完整insert語句。

8： --compress ： 壓縮客戶端和伺服器傳輸的所有的資料，-C。

9： --compress-output ：預設不壓縮輸出，目前可以使用的壓縮演算法有LZ4和ZLIB。 

shell> mysqlpump --compress-output=LZ4 > dump.lz4
shell> lz4_decompress dump.lz4 dump.txt
shell> mysqlpump --compress-output=ZLIB > dump.zlib
shell> zlib_decompress dump.zlib dump.txt

10： --databases ：手動指定要備份的庫，支援多個資料庫，用空格分隔，-B。

11： --default-character-set ：指定備份的字符集。

12： --default-parallelism ：指定並行執行緒數，預設是2，如果設定成0，表示不使用並行備份。 注意： 每個執行緒的備份步驟是：先create table但不建立二級索引（主鍵會在create table時候建立），再寫入資料，最後建立二級索引。

13： --defer-table-indexes ：延遲建立索引，直到所有資料都載入完之後，再建立索引，預設開啟。若關閉則會和mysqldump一樣：先建立一個表和所有索引，再匯入資料，因為在載入還原資料的時候要維護二級索引的開銷，導致效率比較低。關閉使用引數： --skip--defer-table-indexes 。

14： --events ：備份資料庫的事件，預設開啟，關閉使用--skip-events引數。

15： --exclude-databases ：備份排除該引數指定的資料庫，多個用逗號分隔。類似的還有 --exclude-events 、 --exclude-routines 、 --exclude-tables 、 --exclude-triggers 、 --exclude-users 。 

mysqlpump --exclude-databases=mysql,sys    #備份過濾mysql和sys資料庫mysqlpump --exclude-tables=rr,tt   #備份過濾所有資料庫中rr、tt表mysqlpump -B test --exclude-tables=tmp_ifulltext,tt #備份過濾test庫中的rr、tt表...

注意： 要是隻備份資料庫的賬號，需要新增引數 --users ，並且需要過濾掉所有的資料庫，如： 

mysqlpump --users --exclude-databases=sys,mysql,db1,db2 --exclude-users=dba,backup  #備份除dba和backup的所有賬號。

16： --include-databases ：指定備份資料庫，多個用逗號分隔，類似的還有 --include-events 、 --include-routines 、 --include-tables 、 --include-triggers 、 --include-users ，大致方法使用同15。

17： --insert-ignore ：備份用insert ignore語句代替insert語句。

18： --log-error-file ：備份出現的warnings和erros資訊輸出到一個指定的檔案。

19： --max-allowed-packet ：備份時用於client/server直接通訊的最大buffer包的大小。

20： --net-buffer-length ：備份時用於client/server通訊的初始buffer大小，當建立多行插入語句的時候，mysqlpump 建立行到N個位元組長。

21： --no-create-db ：備份不寫CREATE DATABASE語句。要是備份多個庫，需要使用引數-B，而使用-B的時候會出現create database語句，該引數可以遮蔽create database 語句。

22： --no-create-info ：備份不寫建表語句，即不備份表結構，只備份資料，-t。

23： --hex-blob ： 備份binary欄位的時候使用十六進位制計數法，受影響的欄位型別有BINARY、VARBINARY、BLOB、BIT。

24： --host  ：備份指定的資料庫地址，-h。

25： --parallel-schemas=[ N :] db_list ：指定並行備份的庫，多個庫用逗號分隔，如果指定了N，將使用N個執行緒的地佇列，如果N不指定，將由 --default-parallelism才確認N的值，可以設定多個 --parallel-schemas 。 

mysqlpump --parallel-schemas=4:vs,aa --parallel-schemas=3:pt   #4個執行緒備份vs和aa，3個執行緒備份pt。通過show processlist 可以看到有7個執行緒。mysqlpump --parallel-schemas=vs,abc --parallel-schemas=pt  #預設2個執行緒，即2個執行緒備份vs和abc，2個執行緒備份pt
####當然要是硬碟IO不允許的話，可以少開幾個執行緒和資料庫進行並行備份

26： --password ：備份需要的密碼。

27： --port  ：備份資料庫的埠。

28： --protocol={TCP|SOCKET|PIPE|MEMORY} ：指定連線伺服器的協議。

29： --replace ：備份出來replace into語句。

30： --routines ：備份出來包含儲存過程和函式，預設開啟，需要對  mysql.proc表有檢視許可權。生成的檔案中會包含CREATE PROCEDURE 和 CREATE FUNCTION語句以用於恢復，關閉則需要用--skip-routines引數。

31： --triggers ：備份出來包含觸發器，預設開啟，使用 --skip-triggers 來關閉。

31： --set-charset ：備份檔案裡寫SET NAMES default_character_set 到輸出，此參預設開啟。 -- skip-set-charset禁用此引數，不會在備份檔案裡面寫出set names...

32： --single-transaction ：該引數在事務隔離級別設定成Repeatable Read，並在dump之前傳送start transaction 語句給服務端。這在使用innodb時很有用，因為在發出start transaction時，保證了在不阻塞任何應用下的一致性狀態。對myisam和memory等非事務表，還是會改變狀態的，當使用此參的時候要確保沒有其他連線在使用ALTER TABLE、CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE等語句，否則會出現不正確的內容或則失敗。--add-locks和此參互斥，在mysql5.7.11之前，--default-parallelism大於1的時候和此參也互斥，必須使用--default-parallelism=0。5.7.11之後解決了--single-transaction和--default-parallelism的互斥問題。

33： --skip-definer ：忽略那些建立檢視和儲存過程用到的 DEFINER 和 SQL SECURITY 語句，恢復的時候，會使用預設值，否則會在還原的時候看到沒有DEFINER定義時的賬號而報錯。

34： --skip-dump-rows ：只備份表結構，不備份資料，-d。 注意： mysqldump支援--no-data，mysqlpump不支援--no-data

35： --socket ：對於連線到localhost，Unix使用套接字檔案，在Windows上是命名管道的名稱使用，-S。

36： --ssl ：--ssl引數將要被去除，用 --ssl-mode 取代。關於ssl相關的備份，請看 官方文件 。

37： --tz-utc ：備份時會在備份檔案的最前幾行新增 SET   TIME_ZONE= '+00:00'。 注意： 如果還原的伺服器不在同一個時區並且還原表中的列有timestamp欄位，會導致還原出來的結果不一致。預設開啟該引數，用  --skip-tz-utc 來關閉引數。

38： --user ：備份時候的使用者名稱，-u。

39： --users ：備份資料庫使用者，備份的形式是CREATE USER...，GRANT...，只備份資料庫賬號可以通過如下命令： 

mysqlpump --exclude-databases=% --users    #過濾掉所有資料庫

40： --watch-progress ：定期顯示進度的完成，包括總數表、行和其他物件。該引數預設開啟，用 --skip-watch-progress 來關閉。

使用說明：

mysqlpump的架構如下圖所示 ：

mysqlpump支援基於庫和表的並行匯出，mysqlpump的並行匯出功能的架構為：佇列+執行緒，允許有多個佇列（ --parallel-schemas ？ ），每個佇列下有多個執行緒（N？），而一個佇列可以繫結1個或者多個資料庫（逗號分隔）。 mysqlpump的備份是基於表並行的，對於每張表的匯出只能是單個執行緒的 ，這裡會有個限制是如果某個資料庫有一張表非常大，可能大部分的時間都是消耗在這個表的備份上面，並行備份的效果可能就不明顯。這裡可以利用 mydumper 其是以chunk的方式批量匯出，即 mydumper支援一張表多個執行緒以chunk的方式批量匯出 。但是相對於mysqldump還是有了很大的提升。


來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31383567/viewspace-2217420/，如需轉載，請註明出處，否則將追究法律責任。

相關文章