MySQL 對大表做歸檔
方案:為儘量降低對業務影響,決定採取下列方案。
1、在主庫建立 2016、2017、2018、2019的4個歷史表結構。
2、在從庫建立test庫,並建立 2016、2017、2018、2019的4個歷史表結構,在從庫的主表上用insert into語句根據時間欄位把資料插入test庫的2016、2017、2018、2019的歷史表裡面。分拆為2016、2017、2018、2019。
3、用Navicat把 2016、2017、2018、2019匯出為SQL檔案,並生成主表的DELETE語句的TXT檔案。
4、用Python指令碼把 SQL檔案和 TXT檔案進行處理,分批匯入到 2016、2017、2018、2019的4個歷史表,並刪除主錶的歷史資料。
5、對主表進行收縮。
完成歸檔。
1、在主庫建立歷史表的表結構。
CREATE TABLE `upload_order_header_2016` (
`id` bigint(22) NOT NULL AUTO_INCREMENT COMMENT '自增id',
`company` varchar(25) DEFAULT NULL COMMENT '貨主',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
2、從庫建立test庫,同樣建立 歷史表的表結構。
在從庫上用insert into語句把2016年的歷史資料插入test庫的2016年的歷史表。
insert into test.upload_order_header_2016 select * from log_db.upload_order_header
where add_time < unix_timestamp('2017-01-01 00:00:00');
insert into test.upload_order_header_2017 select * from log_db.upload_order_header
where add_time >= unix_timestamp('2017-01-01 00:00:00') and
add_time < unix_timestamp('2018-01-01 00:00:00');
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69979119/viewspace-2719477/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- MySQL 5.6對大表做歸檔MySql
- zabbix上對mysql資料庫做分割槽表MySql資料庫
- SQLServer進行表歸檔SQLServer
- MySQL 中如何歸檔資料MySql
- mysql分割槽表佔用大量容量處理(最佳化)及歸檔分割槽表MySql
- 手工rm刪除歸檔日誌對備份歸檔日誌的影響
- MySQL資料歸檔小工具推薦--mysql_archiverMySqlHive
- MySQL 5.7使用pt-online-schema-change對大表加索引MySql索引
- MySQL大表設計MySql
- MySQL使用pt-archiver歸檔歷史資料MySqlHive
- MySQL 5.7使用pt-online-schema-change對大表加欄位MySql
- 對歸檔模式下CLEAR 未歸檔日誌後恢復資料庫的一點看法模式資料庫
- MySQL大表優化方案MySql優化
- oracle歸檔Oracle
- PostgreSQL的表檔案以及TOAST表檔案對應關係SQLAST
- MySQL innodb表使用表空間物理檔案複製表MySql
- 開心檔之MySQL 複製表MySql
- iOS 複雜物件的歸檔與反歸檔iOS物件
- mysql 大表mysqldump遷移方案MySql
- 使用PHPWord對Word檔案做模板替換PHP
- Mysql資料庫大表最佳化方案和Mysql大表最佳化步驟MySql資料庫
- 如何輕鬆歸檔檔案?2種方法輕鬆建立歸檔檔案!
- 【Oracle】歸檔日誌管理-設定歸檔日誌路徑以及歸檔日誌冗餘Oracle
- 刪除歸檔
- MySQL 系統表空間檔案解析MySql
- MySQL對比清除不必要的表MySql
- SharePlex跳過歸檔或從指定歸檔位置開始
- mysql建立表的時候對欄位和表新增COMMENTMySql
- MySQL千萬級大表線上變更表結構MySql
- post 表單大檔案上傳
- MySQL-02.MySQL的資料目錄和表檔案解析MySql
- 歸檔日誌挖掘
- PostgreSQL 歸檔日誌SQL
- oracle歸檔日誌Oracle
- Oracle資料庫分割槽表SPLIT操作導致歸檔瘋漲Oracle資料庫
- 乾貨!MySQL大表優化方案(1)MySql優化
- MySQL 上億大表優化實踐MySql優化
- 檢視mysql哪張表比較大MySql