replace into 導致MASTER/SLAVE的auto_increment值不同
前幾天開發童鞋反饋一個利用load data infile命令匯入資料主鍵衝突的問題,分析後確定這個問題可能是mysql的一個bug,這裡提出來給大家分享下。以免以後有童鞋遇到類似問題百思不得其解,難以入眠,哈哈。廢話少說,進入正題。
拿到問題後,首先檢視現場,發現問題表的中記錄的最大值比自增列的值要大,那麼很明顯,當有記錄進行插入時,自增列產生的值就有可能與已有的記錄主鍵衝突,導致出錯。首先想辦法解決問題,透過人工調大自增列的值,保證大於表內已有的主鍵即可,調整後,導資料正常。問題是解決了,接下來要搞清楚問題原因,什麼操作導致了這種現象的發生呢?
這裡有一種可能,即業務邏輯包含更新自增主鍵的程式碼,由於mysql的update動作不會同時更新自增列值,若更新主鍵值比自增列大,也會導致上述現象:記錄最大值比自增主鍵值大。但開發反饋說這張表僅僅存在load data infile操作,不會進行更新主鍵操作,所以這個解釋行不通。繼續分析,表中含有唯一約束,會不會和唯一約束有關,線下實驗模擬沒有重現。後來想想會不會和主備切換有關係,因為前兩天做過一次主備切換。於是乎,配合主備環境作了測試,果然和主備切換有關係,一切問題的來源都清晰了。
問題發生的前置條件:
1.mysql複製基於row模式
2.innodb表
3.表含有自增主鍵,並且含有唯一約束
4.load data infile 採用replace into語法插入資料【遇到重複唯一約束,直接覆蓋】
問題發生的原理:
1.主庫遇到重複unique約束時,進行replace操作;
2.replace在主庫上面實際變化為delete+insert,但binlog記錄的是update;
3.備庫重做update動作,更新主鍵,但由於update動作不會更新自增列值,導致更新後記錄值大於自增列值
問題重現實驗:
準備工作 |
Create table test_autoinc(id int auto_increment, c1 int,c2 varchar(100),primary key(id),unique key(c1)); insert into test_autoinc(c1,c2) values(1,'abc'); insert into test_autoinc(c1,c2) values(2,'abc'); insert into test_autoinc(c1,c2) values(3,'abcdd'); insert into test_autoinc(c1,c2) values(4,'abcdd'); insert into test_autoinc(c1,c2) values(5,'abcdd'); |
|||
1 |
操作 |
備註 |
Master |
slave |
2 |
檢視自增列值 Show create table test_autoinc\G |
插入5條記錄後,自增列值變為6 |
CREATE TABLE `test_autoinc` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c1` int(11) DEFAULT NULL, `c2` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `c1` (`c1`) ) ENGINE=InnoDBAUTO_INCREMENT=6DEFAULT CHARSET=utf8 |
CREATE TABLE `test_autoinc` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c1` int(11) DEFAULT NULL, `c2` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `c1` (`c1`) ) ENGINE=InnoDBAUTO_INCREMENT=6DEFAULT CHARSET=utf8
|
3 |
檢視錶資料 |
|
id | c1 | c2 ---+------+------ 1 | 1 | abc 2 | 2 | abc 3 | 3 | abcdd 4 | 4 | abcdd 5 | 5 | abcdd |
id | c1 | c2 ---+------+------ 1 | 1 | abc 2 | 2 | abc 3 | 3 | abcdd 4 | 4 | abcdd 5 | 5 | abcdd |
4 |
檢視binlog位置 show master status\G |
記錄當前binlog位點, 後續可以檢視replace動作產生的binlog事件 |
mysql-bin.000038 59242888 |
|
5 |
replace操作 replace into test_autoinc(c1,c2) values(2,'eeee'); |
影響兩條記錄,主庫replace= delete+insert |
Query OK, 2 rows affected (0.00 sec) |
|
6 |
檢視錶資料 |
|
id | c1 | c2 ---+------+------- 1 | 1 | abc 3 | 3 | abcdd 4 | 4 | abcdd 5 | 5 | abcdd 6 | 2 | eeee |
id | c1 | c2 ---+------+------- 1 | 1 | abc 3 | 3 | abcdd 4 | 4 | abcdd 5 | 5 | abcdd 6 | 2 | eeee |
7 |
檢視binlog事件 show binlog events in 'mysql-bin.000038' from 59242888; |
也可以透過mysqlbinlog工具分析日誌,查詢從庫執行的update語句 |
Pos | Event_type ---------+--------------- 59242888 | Query 59242957 | Table_map 59243013 |Update_rows_v1 59243072 | Xid |
|
8 |
檢視自增列值 Show create table |
此時master的自增列為7,而slave的自增列為6,與表內最大值相同 |
CREATE TABLE `test_autoinc` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c1` int(11) DEFAULT NULL, `c2` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `c1` (`c1`) ) ENGINE=InnoDBAUTO_INCREMENT=7 |
CREATE TABLE `test_autoinc` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c1` int(11) DEFAULT NULL, `c2` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`), UNIQUE KEY `c1` (`c1`) ) ENGINE=InnoDBAUTO_INCREMENT=6 |
經過第8步操作後,若發生主備切換,slave提供服務,此時透過自增列插入主鍵6的記錄,就會發生主鍵衝突。
如何解決這個bug?對於replace操作,生成binlog時也生成delete和insert兩個事件而非一個update事件;或者在執行update更新主鍵的同時也更新自增列值。當然了,這個只是純原理分析,具體採用什麼方法解這個問題,要根據mysql內部的實現,避免引入新的問題。這個bug我同事已經提交到社群, ,大家可以看看
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/26250550/viewspace-1259301/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- str_replace導致的注入問題彙總
- 故障分析 | replace into 導致主備不一致
- 故障分析 | MySQL : slave_compressed_protocol 導致 crashMySqlProtocol
- Setup MariaDB Master/Slave Replication for Docker MariaDBASTDocker
- The slave I/O thread stops because master and slave have equal MySQL server UUIDthreadASTMySqlServerUI
- Mysql 5.6 Master和Slave 主備切換MySqlAST
- 分散式資料中的坑(一)Master-Slave架構分散式AST架構
- Mysqldump實現mysql的master-slave主從複製MySqlAST
- mysql slave 跟進 master 的關鍵狀態指標MySqlAST指標
- 資料庫讀寫分離Master-Slave資料庫AST
- 小米10ultra 同樣亮度 ISO不同導致的解析度不同
- Mysql Master-slave複製簡單配置記錄MySqlAST
- MySQL報錯Slave: received end packet from server, apparent master shutdownMySqlServerAPPAST
- 使用etcd選舉sdk實踐master/slave故障轉移AST
- 實屬無奈!Redis 作者被迫修改 master-slave 架構的描述RedisAST架構
- 故障案例:主從同步報錯Fatal error: The slave I/O thread stops because master and slave have equal MySQL server主從同步ErrorthreadASTMySqlServer
- oracle 序列值導致的主鍵衝突問題Oracle
- Elasticsearch 使用不同分詞器導致搜尋排名的問題Elasticsearch分詞
- Innobackupex實現mysql線上搭建master-slave主從複製MySqlAST
- 基於Kubernetes構建企業Jenkins master/slave CI/CD平臺JenkinsAST
- MySQL 主從 AUTO_INCREMENT 不一致問題分析MySqlREM
- 多款軟體 adb 版本不同,導致不能同時使用
- MySQ 資料庫主從同步安裝與配置詳解(Master/Slave)資料庫主從同步AST
- 手把手教你寫一個自己的 master-slave 架構的 TCP 伺服器AST架構TCP伺服器
- Session物件改變請求頭值導致的401錯誤Session物件
- 009-時間不同步導致Sentinel監控異常
- 伺服器不同的故障導致資料丟失都怎麼解決的伺服器
- 不同Node版本導致的Date建構函式問題及解決方法函式
- Double型別數值相加導致精度缺失問題型別
- jenkins slave節點上的job構建記錄 都只會在master伺服器JenkinsAST伺服器
- MySQL:show slave status 關鍵值和MGRrelay log的清理策略MySql
- 使用interface化解一場因作業系統不同導致的編譯問題作業系統編譯
- Redis for linux原始碼&叢集(cluster)&主從(master-slave)&哨兵(sentinel)安裝配置RedisLinux原始碼AST
- 1.MongoDB 2.7主從複製(master –> slave)環境基於時間點的恢復MongoDBAST
- 導致IP被封的原因
- 不同型別的Syslinux 引導型別Linux
- CentOS中MySQL5.6 資料庫主從(Master/Slave)同步安裝與配置詳解CentOSMySql資料庫AST
- Replace
- 淺複製導致的bug