MySQL使用pt-archiver歸檔歷史資料
pt-archiver可以將表按照指定條件歸檔到歷史資料庫中,也支援檔案匯出,對於歸檔清理線上歷史資料非常方便。
如果要歸檔表的資料到歷史資料庫的表中,需要預先在歷史資料庫中建立表結構。
(1) 按照條件歸檔表中的歷史資料到歷史資料中,同時在本地生成歸檔檔案
(2) 清理過期歷史資料
如果要歸檔表的資料到歷史資料庫的表中,需要預先在歷史資料庫中建立表結構。
(1) 按照條件歸檔表中的歷史資料到歷史資料中,同時在本地生成歸檔檔案
-
# 在歷史資料庫(192.168.56.102)中建立歸檔表
-
mysql> CREATE TABLE `emp` (
-
-> `id` int(11) NOT NULL,
-
-> `name` varchar(15) DEFAULT NULL,
-
-> PRIMARY KEY (`id`)
-
-> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
-
Query OK, 0 rows affected (0.60 sec)
-
-
# 檢視源表
-
mysql> select * from emp;
-
+--------+---------+
-
| id | name |
-
+--------+---------+
-
| 10 | Neo |
-
| 10036 | test |
-
| 10037 | test |
-
| 10038 | test |
-
| 10039 | test |
-
| 10040 | MySQL01 |
-
| 10041 | MySQL01 |
-
| 10042 | MySQL01 |
-
| 100100 | test |
-
| 100101 | test |
-
| 100103 | test |
-
| 100104 | test |
-
| 100105 | test |
-
| 100106 | test |
-
| 100107 | test |
-
| 100108 | test |
-
+--------+---------+
-
-
# 歸檔id小於200000的資料到歷史庫和本地檔案
-
# pt-archiver --source h=192.168.56.101,P=3307,u=neo,p=neo,D=sale,t=emp --dest h=192.168.56.102,P=3306,u=sale,p=sale,D=test,t=emp --where "id<=200000" --charset=utf8 --limit 1000 --commit-each --file '/opt/%Y-%m-%d-%D.%t'
-
-
# 檢視源表
-
mysql> select * from emp where id < 200000;
-
Empty set (0.05 sec)
-
-
# 檢視歷史表
-
mysql> select * from emp limit 2;
-
+--------+------+
-
| id | name |
-
+--------+------+
-
| 100100 | test |
-
| 100101 | test |
-
+--------+------+
-
2 rows in set (0.00 sec)
-
-
# 檢視本地歸檔檔案(相當於select ... into匯出)
-
# cat /opt/2018-03-19-sale.emp
-
10 Neo
-
10036 test
-
10037 test
-
10038 test
-
10039 test
-
10040 MySQL01
-
10041 MySQL01
- 10042 MySQL01
(2) 清理過期歷史資料
-
# pt-archiver --source h=192.168.56.101,P=3306,u=neo,p=neo,D=test,t=item_order --where "order_date < '2018-03-01'" --charset=utf8 --purge --limit 1000 --commit-each
-
-
# 檢視清理後的表中資料
-
mysql> select * from item_order where order_date < '2018-03-01';
- Empty set (0.00 sec)
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/26506993/viewspace-2152126/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- pt-archiver資料歸檔Hive
- pt-archiver 歸檔資料Hive
- Percona-Toolkit 之 pt-archiver 刪除歷史資料Hive
- pt-archiver結合crontab定時自動歸檔資料Hive
- pt-archiver工具歸檔和恢復資料一例Hive
- MySQL 中如何歸檔資料MySql
- MySQL資料歸檔小工具推薦--mysql_archiverMySqlHive
- 【HIVE】hive 使用shell指令碼跑歷史資料Hive指令碼
- 走進資料的歷史
- mysql架構和歷史MySql架構
- SQL資料庫怎麼進行資料歸檔和歸檔管理?SQL資料庫
- zabbix清除歷史監控資料
- 歷史股票資料的爬取
- python實現股票歷史資料析Python
- 資料庫學習筆記1(資料管理歷史)資料庫筆記
- MySQL版本發展歷史介紹MySql
- 使用SQL SERVER儲存過程實現歷史資料遷移SQLServer儲存過程
- 第1章 下載A股歷史資料
- git 刪除歷史指定檔案Git
- RAC開啟資料庫歸檔資料庫
- UAVStack之檔案資料歸集
- 資料庫MySQL一般查詢日誌或者慢查詢日誌歷史資料的清理資料庫MySql
- 資料儲存(歸檔解檔,沙河儲存)
- SqlServer查詢資料改動歷史記錄SQLServer
- MySQL 對大表做歸檔MySql
- 資料科學的歷史,從洞穴壁畫到大資料資料科學大資料
- pt-archiver實現MySQL定期分表HiveMySql
- Polardb-O資料庫歸檔配置資料庫
- Mysql資料庫使用Navicat Mysql匯入sql檔案報錯MySql資料庫
- 零售資料分析之操作篇9:用歷史聚合計算歷史銷售SKU數
- 如何高效率刪除大表歷史資料
- 幾類歷史資料沉澱的方案過渡
- C/C++ Qt 資料庫與Chart實現歷史資料展示C++QT資料庫
- Oralce資料庫關閉歸檔日誌並且刪除歸檔日誌資料庫
- DM7使用dmrestore工具利用不同資料庫的歸檔恢復資料庫REST資料庫
- MySQL 5.6對大表做歸檔MySql
- Sybase或SQLServer資料庫分批歸檔方案SQLServer資料庫
- iOS歷史(iOS系統發展歷史)iOS