MySQL使用pt-archiver歸檔歷史資料

feelpurple發表於2018-03-22
MySqlHive
pt-archiver可以將表按照指定條件歸檔到歷史資料庫中，也支援檔案匯出，對於歸檔清理線上歷史資料非常方便。
如果要歸檔表的資料到歷史資料庫的表中，需要預先在歷史資料庫中建立表結構。

(1) 按照條件歸檔表中的歷史資料到歷史資料中，同時在本地生成歸檔檔案

  1. # 在歷史資料庫(192.168.56.102)中建立歸檔表
  2. mysql> CREATE TABLE `emp` (
  3.     -> `id` int(11) NOT NULL,
  4.     -> `name` varchar(15) DEFAULT NULL,
  5.     -> PRIMARY KEY (`id`)
  6.     -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
  7. Query OK, 0 rows affected (0.60 sec)

  9. # 檢視源表
  10. mysql> select * from emp;
  11. +--------+---------+
  12. | id | name |
  13. +--------+---------+
  14. | 10 | Neo |
  15. | 10036 | test |
  16. | 10037 | test |
  17. | 10038 | test |
  18. | 10039 | test |
  19. | 10040 | MySQL01 |
  20. | 10041 | MySQL01 |
  21. | 10042 | MySQL01 |
  22. | 100100 | test |
  23. | 100101 | test |
  24. | 100103 | test |
  25. | 100104 | test |
  26. | 100105 | test |
  27. | 100106 | test |
  28. | 100107 | test |
  29. | 100108 | test |
  30. +--------+---------+

  32. # 歸檔id小於200000的資料到歷史庫和本地檔案
  33. # pt-archiver --source h=192.168.56.101,P=3307,u=neo,p=neo,D=sale,t=emp --dest h=192.168.56.102,P=3306,u=sale,p=sale,D=test,t=emp --where "id<=200000" --charset=utf8 --limit 1000 --commit-each --file '/opt/%Y-%m-%d-%D.%t'

  35. # 檢視源表
  36. mysql> select * from emp where id < 200000;
  37. Empty set (0.05 sec)

  39. # 檢視歷史表
  40. mysql> select * from emp limit 2;
  41. +--------+------+
  42. | id | name |
  43. +--------+------+
  44. | 100100 | test |
  45. | 100101 | test |
  46. +--------+------+
  47. 2 rows in set (0.00 sec)

  49. # 檢視本地歸檔檔案（相當於select ... into匯出）
  50. # cat /opt/2018-03-19-sale.emp
  51. 10    Neo
  52. 10036    test
  53. 10037    test
  54. 10038    test
  55. 10039    test
  56. 10040    MySQL01
  57. 10041    MySQL01
  58. 10042    MySQL01

(2) 清理過期歷史資料

  1. # pt-archiver --source h=192.168.56.101,P=3306,u=neo,p=neo,D=test,t=item_order --where "order_date < '2018-03-01'" --charset=utf8 --purge --limit 1000 --commit-each

  3. # 檢視清理後的表中資料
  4. mysql> select * from item_order where order_date < '2018-03-01';
  5. Empty set (0.00 sec)


來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/26506993/viewspace-2152126/，如需轉載，請註明出處，否則將追究法律責任。

相關文章