MySQL 8 新特性之自增主鍵的持久化

iVictor發表於2018-05-30
MySql持久化

自增主鍵沒有持久化是個比較早的bug，這點從其在官方bug網站的id號也可看出（https://bugs.mysql.com/bug.php?id=199）。由Peter Zaitsev（現Percona CEO）於2003年提出。歷史悠久且臭名昭著。 


首先，直觀的重現下。

mysql> create table t1(id int auto_increment primary key);
Query OK, 0 rows affected (0.01 sec)

mysql> insert into t1 values(null),(null),(null);
Query OK, 3 rows affected (0.01 sec)
Records: 3  Duplicates: 0  Warnings: 0

mysql> select * from t1;
+----+
| id |
+----+
|  1 |
|  2 |
|  3 |
+----+
3 rows in set (0.00 sec)

mysql> delete from t1 where id=3;
Query OK, 1 row affected (0.36 sec)

mysql> insert into t1 values(null);
Query OK, 1 row affected (0.35 sec)

mysql> select * from t1;
+----+
| id |
+----+
|  1 |
|  2 |
|  4 |
+----+
3 rows in set (0.01 sec)

 

雖然id為3的記錄刪除了，但再次插入null值時，並沒有重用被刪除的3，而是分配了4。
 
刪除id為4的記錄，重啟資料庫，重新插入一個null值。
 
mysql> delete from t1 where id=4;
# service mysqld restart
mysql> insert into t1 values(null);
Query OK, 1 row affected (0.00 sec)

mysql> select * from t1;
+----+
| id |
+----+
|  1 |
|  2 |
|  3 |
+----+
3 rows in set (0.00 sec)

 

可以看到，新插入的null值分配的是3，按照重啟前的操作邏輯，此處應該分配5啊。
 
這就是自增主鍵沒有持久化的bug。究其原因，在於自增主鍵的分配，是由InnoDB資料字典內部一個計數器來決定的，而該計數器只在記憶體中維護，並不會持久化到磁碟中。當資料庫重啟時，該計數器會通過下面這種方式初始化。
SELECT MAX(ai_col) FROM table_name FOR UPDATE;

 

MySQL 8.0的解決思路
 
將自增主鍵的計數器持久化到redo log中。每次計數器發生改變，都會將其寫入到redo log中。如果資料庫發生重啟，InnoDB會根據redo log中的計數器資訊來初始化其記憶體值。為了儘量減小對系統效能的影響，計數器寫入到redo log中，並不會馬上重新整理。具體可參考：https://dev.mysql.com/worklog/task/?id=6204
 
 
因自增主鍵沒有持久化而出現問題的常見場景：
1. 業務將自增主鍵作為業務主鍵，同時，業務上又要求主鍵不能重複。
2. 資料會被歸檔。在歸檔的過程中有可能會產生主鍵衝突。
 
所以，強烈建議不要使用自增主鍵作為業務主鍵。刨除這兩個場景，其實，自增主鍵沒有持久化的問題並不是很大，遠沒有想象中的”臭名昭著“。
 
最後，給出一個歸檔場景下的解決方案，
 
建立一個儲存過程，根據table2（歸檔表）自增主鍵的最大值來初始化table1（線上表）。這個儲存過程可放到init_file引數指定的檔案中，該檔案中的SQL會在資料庫啟動時執行。
DELIMITER ;;
CREATE PROCEDURE `auto_increment_fromtable2`(IN table1 VARCHAR(255), IN table2 VARCHAR(255))
BEGIN
set @qry = concat(`SELECT @max1 := (`id` + 1) FROM ``,table1,`` ORDER BY `id` DESC LIMIT 1;`);
    prepare stmt from @qry;
execute stmt;
deallocate prepare stmt;
    set @qry = concat(`SELECT @max2 := (`id` + 1) FROM ``,table2,`` ORDER BY `id` DESC LIMIT 1;`);
    prepare stmt from @qry;
execute stmt;
deallocate prepare stmt;
IF @max1 < @max2 THEN
    set @qry = concat(`alter table ``,table1,`` auto_increment=`,@max2);prepare stmt from @qry;execute stmt;deallocate prepare stmt;
SELECT `updated` as `status`;
else
SELECT `no update needed` as `status`;
END IF;
END ;;
DELIMITER ;

 

相關文章