MySQL 對大表做歸檔
方案:為儘量降低對業務影響,決定採取下列方案。
1、在主庫建立 2016、2017、2018、2019的4個歷史表結構。
2、在從庫建立test庫,並建立 2016、2017、2018、2019的4個歷史表結構,在從庫的主表上用insert into語句根據時間欄位把資料插入test庫的2016、2017、2018、2019的歷史表裡面。分拆為2016、2017、2018、2019。
3、用Navicat把 2016、2017、2018、2019匯出為SQL檔案,並生成主表的DELETE語句的TXT檔案。
4、用Python指令碼把 SQL檔案和 TXT檔案進行處理,分批匯入到 2016、2017、2018、2019的4個歷史表,並刪除主錶的歷史資料。
5、對主表進行收縮。
完成歸檔。
1、在主庫建立歷史表的表結構。
CREATE TABLE `upload_order_header_2016` (
`id` bigint(22) NOT NULL AUTO_INCREMENT COMMENT '自增id',
`company` varchar(25) DEFAULT NULL COMMENT '貨主',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
2、從庫建立test庫,同樣建立 歷史表的表結構。
在從庫上用insert into語句把2016年的歷史資料插入test庫的2016年的歷史表。
insert into test.upload_order_header_2016 select * from log_db.upload_order_header
where add_time < unix_timestamp('2017-01-01 00:00:00');
insert into test.upload_order_header_2017 select * from log_db.upload_order_header
where add_time >= unix_timestamp('2017-01-01 00:00:00') and
add_time < unix_timestamp('2018-01-01 00:00:00');
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69979119/viewspace-2719477/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- MySQL 5.6對大表做歸檔MySql
- 表歸檔
- zabbix上對mysql資料庫做分割槽表MySql資料庫
- SQLServer進行表歸檔SQLServer
- MySQL 中如何歸檔資料MySql
- 利用歸檔來做資料檔案的恢復
- mysql分割槽表佔用大量容量處理(最佳化)及歸檔分割槽表MySql
- mysql線上修改表結構大資料表的風險與解決辦法歸納MySql大資料
- Mysql匯入大表檔案時注意修改引數MySql
- MySQL大表設計MySql
- 快速drop mysql大表MySql
- oracle 歸檔/非歸檔Oracle
- 對大表的分析
- 手工rm刪除歸檔日誌對備份歸檔日誌的影響
- MySQL資料歸檔小工具推薦--mysql_archiverMySqlHive
- mysql-proxy+keepalived對mysql做讀寫分離MySql
- MySQL大表優化方案MySql優化
- MySQL 5.7使用pt-online-schema-change對大表加索引MySql索引
- 歸檔
- 大檔案表空間
- MySQL使用pt-archiver歸檔歷史資料MySqlHive
- Oracle歸檔模式和非歸檔模式Oracle模式
- 非歸檔模式改為歸檔模式模式
- 對歸檔模式下CLEAR 未歸檔日誌後恢復資料庫的一點看法模式資料庫
- mysql 大表mysqldump遷移方案MySql
- MySQL大表最佳化方案MySql
- MySQL 5.7使用pt-online-schema-change對大表加欄位MySql
- PostgreSQL的表檔案以及TOAST表檔案對應關係SQLAST
- Mysql資料庫大表最佳化方案和Mysql大表最佳化步驟MySql資料庫
- 使用PHPWord對Word檔案做模板替換PHP
- mysql對資料庫表建索引MySql資料庫索引
- 歸檔日誌多歸檔路徑 duplex
- 更改ORACLE歸檔路徑及歸檔模式Oracle模式
- 改變歸檔模式,顯示歸檔資訊模式
- Oracle 歸檔與非歸檔模式的更改Oracle模式
- Oracle RAC 歸檔與非歸檔切換Oracle
- MySQL innodb表使用表空間物理檔案複製表MySql
- 我在專案中對 MySQL 做的優化MySql優化