Mysql加鎖過程詳解(8)-理解innodb的鎖(record,gap,Next-Key lock)

crazyYong發表於2017-11-02

 

 

Record lock

單條索引記錄上加鎖,record lock鎖住的永遠是索引,而非記錄本身,即使該表上沒有任何索引,那麼innodb會在後臺建立一個隱藏的聚集主鍵索引,那麼鎖住的就是這個隱藏的聚集主鍵索引。所以說當一條sql沒有走任何索引時,那麼將會在每一條聚集索引後面加X鎖,這個類似於表鎖,但原理上和表鎖應該是完全不同的。

Gap lock

在索引記錄之間的間隙中加鎖,或者是在某一條索引記錄之前或者之後加鎖,並不包括該索引記錄本身。gap lock的機制主要是解決可重複讀模式下的幻讀問題,關於幻讀的演示和gap鎖如何解決了幻讀。關於這一塊,先給出幾個定義

快照讀:

簡單的select操作,沒有lock in share mode或for update,快照讀不會加任何的鎖,而且由於mysql的一致性非鎖定讀的機制存在,任何快照讀也不會被阻塞。但是如果事務的隔離級別是SERIALIZABLE的話,那麼快照讀也會被加上共享的next-key鎖,本文不對SERIALIZABLE隔離級別做敘述。

當前讀:

官方文件的術語叫locking read,也就是insert,update,delete,select..in share mode和select..for update,當前讀會在所有掃描到的索引記錄上加鎖不管它後面的where條件到底有沒有命中對應的行記錄。當前讀可能會引起死鎖。

意向鎖:

innodb的意向鎖主要使用者多粒度的鎖並存的情況。比如事務A要在一個表上加S鎖,如果表中的一行已被事務B加了X鎖,那麼該鎖的申請也應被阻塞。如果表中的資料很多,逐行檢查鎖標誌的開銷將很大,系統的效能將會受到影響。為了解決這個問題,可以在表級上引入新的鎖型別來表示其所屬行的加鎖情況,這就引出了“意向鎖”的概念

舉個例子,如果表中記錄1億,事務A把其中有幾條記錄上了行鎖了,這時事務B需要給這個表加表級鎖,如果沒有意向鎖的話,那就要去表中查詢這一億條記錄是否上鎖了。如果存在意向鎖,那麼假如事務A在更新一條記錄之前,先加意向鎖,再加X鎖,事務B先檢查該表上是否存在意向鎖,存在的意向鎖是否與自己準備加的鎖衝突,如果有衝突,則等待直到事務A釋放,而無須逐條記錄去檢測。事務B更新表時,其實無須知道到底哪一行被鎖了,它只要知道反正有一行被鎖了就行了。


說白了意向鎖的主要作用是處理行鎖和表鎖之間的矛盾,能夠顯示“某個事務正在某一行上持有了鎖,或者準備去持有鎖”

 

下文之知乎大神觀點:https://www.zhihu.com/question/51513268

innodb的意向鎖有什麼作用?
mysql官網上對於意向鎖的解釋中有這麼一句話
“The main purpose of IX and IS locks is to show that someone is locking a row, or going to lock a row in the table.”
意思是說加意向鎖的目的是為了表明某個事務正在鎖定一行或者將要鎖定一行。
那麼,意向鎖的作用就是“表明”加鎖的意圖,可是為什麼要表明這個 意圖呢?
如果僅僅鎖定一行僅僅需要加一個鎖,那麼就直接加鎖就好了,這裡要表明加鎖意圖的原因是因為要鎖定一行不僅僅是要加一個鎖,而是要做一系列操作嗎? 作者:尹發條地精 我最近也在看這個,我說一下我的理解
①在mysql中有表鎖,LOCK TABLE my_tabl_name READ; 用讀鎖鎖表,會阻塞其他事務修改表資料。LOCK TABLE my_table_name WRITe; 用寫鎖鎖表,會阻塞其他事務讀和寫。
②Innodb引擎又支援行鎖,行鎖分為共享鎖,一個事務對一行的共享只讀鎖。排它鎖,一個事務對一行的排他讀寫鎖。
③這兩中型別的鎖共存的問題考慮這個例子:
事務A鎖住了表中的一行,讓這一行只能讀,不能寫。之後,事務B申請整個表的寫鎖。如果事務B申請成功,那麼理論上它就能修改表中的任意一行,這與A持有的行鎖是衝突的。
資料庫需要避免這種衝突,就是說要讓B的申請被阻塞,直到A釋放了行鎖。

資料庫要怎麼判斷這個衝突呢?
step1:判斷表是否已被其他事務用表鎖鎖表
step2:判斷表中的每一行是否已被行鎖鎖住。
注意step2,這樣的判斷方法效率實在不高,因為需要遍歷整個表。
於是就有了意向鎖。在意向鎖存在的情況下,事務A必須先申請表的意向共享鎖,成功後再申請一行的行鎖。在意向鎖存在的情況下,
上面的判斷可以改成
step1:不變
step2:發現表上有意向共享鎖,說明表中有些行被共享行鎖鎖住了,因此,事務B申請表的寫鎖會被阻塞。

注意:申請意向鎖的動作是資料庫完成的,就是說,事務A申請一行的行鎖的時候,資料庫會自動先開始申請表的意向鎖,不需要我們程式設計師使用程式碼來申請。

總結:為了實現多粒度鎖機制(白話:為了表鎖和行鎖都能用)

 

 

不可重複讀:

指的是在同一個事務中,連續幾次快照讀,讀取的記錄應該是一樣的

不可重複讀的演示較為簡單,本文不做討論。

幻讀:

指的是在一個事務A中執行了一個當前讀操作,而另外一個事務B在事務A的影響區間內insert了一條記錄,這時事務A再執行一個當前讀操作時,出現了幻行。這和不可重複讀的主要區別就在與事務A中一個是快照讀,一個當前讀;並且事務B中一個是任何的dml操作,一個只是insert。比如在A中select * from test where id<10 lock in share mode結果集為(1,2,3),這時在B中對test表插入了一條記錄4,這時在A中重新查詢結果集就是(1,2,3,4),和事務A在第一次查詢出來的結果集不一致,這裡的4就是幻行。

演示條件:由於可重讀的隔離級別下,預設採用Next-Key Locks,就是Record lock和gap lock的結合,即除了鎖住記錄本身,還要再鎖住索引之間的間隙,所以這個gap lock機制預設開啟,並不會產生幻行,那麼我們要演示幻行的話,要麼將隔離級別改為read-commited,要麼在REPEATABLE-READ模式下禁用掉gap lock,這裡我們採用的是第二種方式。


幻讀的演示

在演示之前又引入了innodb_locks_unsafe_for_binlog引數,該引數可以禁用gap lock。

innodb_locks_unsafe_for_binlog:靜態引數,預設為0,表示啟動gap lock,如果設定為1,表示禁用gap lock,這時mysql就只有record lock了,不過值得注意的是,即使了設定了1,關於外來鍵和唯一鍵重複檢查方面用到的gap lock依舊有效。這時可以簡單地理解成事務的隔離級別退化成可重複讀,然後兩者應該還是有所區別的。建議是不要隨便設定,我們這裡設定只是做個簡單的幻讀演示,mysql後續的版本可能都會廢棄掉這個引數了。


session 1 先將myid>95的記錄加一個當前讀
mysql> show create table test_gap_lock\G
*************************** 1. row ***************************
       Table: test_gap_lock
Create Table: CREATE TABLE `test_gap_lock` (
  `id` int(11) NOT NULL,
  `name` varchar(100) DEFAULT NULL,
  `myid` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uniq_name` (`name`),
  KEY `idex_myid` (`myid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1 row in set (0.00 sec)
mysql> begin;
mysql> select * from test_gap_lock where myid>95 for update;
+----+------------+------+
| id | name       | myid |
+----+------------+------+
|  1 | jiang      |   99 |
|  2 | hubingmei  |   99 |
|  5 | hubingmei4 |  100 |
+----+------------+------+
3 rows in set (0.00 sec)


session 2  這時session 2插入myid=98的記錄成功了。
insert into test_gap_lock values(6,'jiang2',98);
Query OK, 1 row affected (0.00 sec)


session 1 這時session 1再次檢視時發現記錄myid=98的記錄已經存在了,這條記錄就是幻行。
mysql> select * from test_gap_lock where myid>95 for update;
+----+------------+------+
| id | name       | myid |
+----+------------+------+
|  1 | jiang      |   99 |
|  2 | hubingmei  |   99 |
|  5 | hubingmei4 |  100 |
|  6 | jiang2     |   98 |
+----+------------+------+
4 rows in set (0.00 sec)

gap lock機制解決幻讀問題演示

條件:我們再把innodb_locks_unsafe_for_binlog值改回預設值0,並且tx_isolation為REPEATABLE-READ,演示時務必explain下,確保該sql走了非唯一索引idx_myid(因為如果測試資料較少的話,可能優化器直接走全表掃描,那就導致鎖住所有記錄,無法模擬出gap鎖)

演示範例 1(非唯一索引+範圍當前讀)

mysql> show create table test_gap_lock\G
*************************** 1. row ***************************
       Table: test_gap_lock
Create Table: CREATE TABLE `test_gap_lock` (
  `id` int(11) NOT NULL,
  `name` varchar(100) DEFAULT NULL,
  `myid` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uniq_name` (`name`),
  KEY `idex_myid` (`myid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1 row in set (0.00 sec)


session 1 先explain確保session的當前讀sql執行走了索引idx_myid
mysql> begin;
Query OK, 0 rows affected (0.00 sec)
mysql> explain select * from test_gap_lock where myid>100 for update;
+----+-------------+---------------+-------+---------------+-----------+---------+------+------+-----------------------+
| id | select_type | table         | type  | possible_keys | key       | key_len | ref  | rows | Extra                 |
+----+-------------+---------------+-------+---------------+-----------+---------+------+------+-----------------------+
|  1 | SIMPLE      | test_gap_lock | range | idex_myid     | idex_myid | 5       | NULL |    2 | Using index condition |
+----+-------------+---------------+-------+---------------+-----------+---------+------+------+-----------------------+
1 row in set (0.00 sec)
mysql>  select * from test_gap_lock where myid>100 for update;
+----+------------+------+
| id | name       | myid |
+----+------------+------+
|  5 | hubingmei4 |  101 |
| 98 | test       |  105 |
+----+------------+------+
2 rows in set (0.00 sec)


session 2 先插入myid=56的成功,因為鎖住的間隙是myid>100,56不在該範圍內;再插入myid=109時,會一直卡住直到session 1commit,rollback或者直接鎖等待超時,在鎖等待超時前在session 1中執行同樣的sql,得到的結果依舊只有id=5,98的記錄,這樣就避免了幻讀問題
mysql> insert into test_gap_lock values(999,'test2',56);
Query OK, 1 row affected (0.00 sec)
mysql> insert into test_gap_lock values(123,'test4',109);
ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction



演示範例2(非唯一索引+等值當前讀)

mysql> select * from test_gap_lock;
+-----+------------+------+
| id  | name       | myid |
+-----+------------+------+
|   1 | jiang      |   98 |
|   2 | hubingmei  |   99 |
|   5 | hubingmei4 |  101 |
|   6 | jiang2     |  100 |
|   7 | jiang22    |   70 |
|  67 | jiang222   |   80 |
|  98 | test       |  105 |
| 123 | test4      |  109 |
| 999 | test2      |   56 |
+-----+------------+------+
9 rows in set (0.00 sec)
session 1
mysql> begin;
Query OK, 0 rows affected (0.00 sec)
mysql> explain delete from test_gap_lock where myid=100;
+----+-------------+---------------+-------+---------------+-----------+---------+-------+------+-------------+
| id | select_type | table         | type  | possible_keys | key       | key_len | ref   | rows | Extra       |
+----+-------------+---------------+-------+---------------+-----------+---------+-------+------+-------------+
|  1 | SIMPLE      | test_gap_lock | range | idex_myid     | idex_myid | 5       | const |    2 | Using where |
+----+-------------+---------------+-------+---------------+-----------+---------+-------+------+-------------+
1 row in set (0.00 sec)
mysql> delete from test_gap_lock where myid=100;
Query OK, 2 rows affected (0.00 sec)


session 2 插入myid=99的記錄依舊阻塞,存在gap鎖;插入myid=97的記錄成功
mysql> insert into test_gap_lock values(676,'gap recored test',99);
ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction
mysql> insert into test_gap_lock values(675,'gap recored test1',97);
Query OK, 1 row affected (0.00 sec)

範例3(主鍵索引+範圍當前讀)



mysql> select * from test_gap_lock ;
+-----+------------+------+
| id  | name       | myid |
+-----+------------+------+
|   1 | jiang      |   98 |
|   2 | hubingmei  |   98 |
|   5 | hubingmei4 |  100 |
|   6 | jiang2     |  100 |
|   7 | jiang22    |   70 |
|  67 | jiang222   |   80 |
|  98 | test       |  105 |
| 123 | test4      |  109 |
| 999 | test2      |   56 |
+-----+------------+------+
9 rows in set (0.00 sec)
session 1 
mysql> begin;
Query OK, 0 rows affected (0.00 sec)
mysql> explain select * from test_gap_lock where id > 100 for update;
+----+-------------+---------------+-------+---------------+---------+---------+------+------+-------------+
| id | select_type | table         | type  | possible_keys | key     | key_len | ref  | rows | Extra       |
+----+-------------+---------------+-------+---------------+---------+---------+------+------+-------------+
|  1 | SIMPLE      | test_gap_lock | range | PRIMARY       | PRIMARY | 4       | NULL |    2 | Using where |
+----+-------------+---------------+-------+---------------+---------+---------+------+------+-------------+
1 row in set (0.00 sec)
mysql>  select * from test_gap_lock where id > 100 for update;
+-----+-------+------+
| id  | name  | myid |
+-----+-------+------+
| 123 | test4 |  109 |
| 999 | test2 |   56 |
+-----+-------+------+
2 rows in set (0.00 sec)


session 2(id=3可插入;id=108無法插入,存在gap lock;id=123的記錄無法select..in share mode,因為該記錄上存在record lock;id=125可以被select..in share mode和update,這點比較奇怪,應該這也算是當前讀,不過後來檢視官方文件得知,gap鎖只會阻塞insert操作,因為gap間隙中是不存在任何記錄的,除了insert操作,其他的操作結果應該都等價於空操作,mysql就不去阻塞它了)
mysql> insert into test_gap_lock values(108,'gap lock test3',123);
ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction
mysql> insert into test_gap_lock values(3,'gap lock test3',123);
Query OK, 1 row affected (0.00 sec)
mysql> select * from test_gap_lock where id=125 lock in share mode;
Empty set (0.00 sec)
mysql> explain select * from test_gap_lock where id=125 lock in share mode;
+----+-------------+-------+------+---------------+------+---------+------+------+-----------------------------------------------------+
| id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra                                               |
+----+-------------+-------+------+---------------+------+---------+------+------+-----------------------------------------------------+
|  1 | SIMPLE      | NULL  | NULL | NULL          | NULL | NULL    | NULL | NULL | Impossible WHERE noticed after reading const tables |
+----+-------------+-------+------+---------------+------+---------+------+------+-----------------------------------------------------+
1 row in set (0.00 sec)
mysql> update test_gap_lock set myid=12345 where id=125;
Query OK, 0 rows affected (0.00 sec)
Rows matched: 0  Changed: 0  Warnings: 0



gap lock的內部加鎖原理

gap lock的前置條件:

1 事務隔離級別為REPEATABLE-READ,innodb_locks_unsafe_for_binlog引數為0,且sql走的索引為非唯一索引

2 事務隔離級別為REPEATABLE-READ,innodb_locks_unsafe_for_binlog引數為0,且sql是一個範圍的當前讀操作,這時即使不是非唯一索引也會加gap lock

gap lock的加鎖步驟

針對上面的範例1(非唯一索引+範圍當前讀)和範例3(主鍵索引+範圍當前讀)比較好理解,那為什麼範例2(非主鍵索引+等值當前讀)為什麼也會產生gap lock,這要從btree 索引的原理講起,我們都知道,btree索引是按照順序排列的,並且innodb存在主鍵聚集索引,本人繪圖能力有限,已範例2的加鎖過程分析舉例,手寫加鎖過程如下圖


從圖中的資料組織順序可以看出,myid=100的記錄有兩條,如果加gap鎖就會產生三個間隙,分別是gap1(98,100),gap2(100,100),gap3(100,105),在這三個開區間(如果我高中數學沒記錯的話)內的myid數值無法插入,顯然gap1還有(myid=99,id=3)(myid

=99,id=4)等記錄,gap2無實際的間隙,gap3還有(myid=101,id=7)等記錄。並且,在myid=100的兩條記錄上加了record lock,也就是這兩條資料業務無法被其他session進行當前讀操作(範例三可以看出)


Next-Key Locks

在預設情況下,mysql的事務隔離級別是可重複讀,並且innodb_locks_unsafe_for_binlog引數為0,這時預設採用next-key locks。所謂Next-Key Locks,就是Record lock和gap lock的結合,即除了鎖住記錄本身,還要再鎖住索引之間的間隙。

下面我們針對大部分的SQL型別分析是如何加鎖的,假設事務隔離級別為可重複讀

select .. from  

不加任何型別的鎖

select...from lock in share mode

在掃描到的任何索引記錄上加共享的(shared)next-key lock,還有主鍵聚集索引加排它鎖 

select..from for update

在掃描到的任何索引記錄上加排它的next-key lock,還有主鍵聚集索引加排它鎖 

update..where   delete from..where

在掃描到的任何索引記錄上加next-key lock,還有主鍵聚集索引加排它鎖 

insert into..

簡單的insert會在insert的行對應的索引記錄上加一個排它鎖,這是一個record lock,並沒有gap,所以並不會阻塞其他session在gap間隙裡插入記錄。不過在insert操作之前,還會加一種鎖,官方文件稱它為insertion intention gap lock,也就是意向的gap鎖。這個意向gap鎖的作用就是預示著當多事務併發插入相同的gap空隙時,只要插入的記錄不是gap間隙中的相同位置,則無需等待其他session就可完成,這樣就使得insert操作無須加真正的gap lock。想象一下,如果一個表有一個索引idx_test,表中有記錄1和8,那麼每個事務都可以在2和7之間插入任何記錄,只會對當前插入的記錄加record lock,並不會阻塞其他session插入與自己不同的記錄,因為他們並沒有任何衝突。

假設發生了一個唯一鍵衝突錯誤,那麼將會在重複的索引記錄上加讀鎖。當有多個session同時插入相同的行記錄時,如果另外一個session已經獲得改行的排它鎖,那麼將會導致死鎖。

insert導致的死鎖現象演示1

mysql> show create table t1\G
*************************** 1. row ***************************
       Table: t1
Create Table: CREATE TABLE `t1` (
  `i` int(11) NOT NULL DEFAULT '0',
  PRIMARY KEY (`i`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1 row in set (0.00 sec)

session 1 

mysql> begin;
Query OK, 0 rows affected (0.00 sec)
mysql> INSERT INTO t1 VALUES(1);
Query OK, 1 row affected (0.00 sec)


session 2 這時session2一直被卡住

mysql> begin;
Query OK, 0 rows affected (0.00 sec)
mysql> INSERT INTO t1 VALUES(1);


session 3 這時session3也一直被卡住

mysql> begin;

Query OK, 0 rows affected (0.00 sec)

mysql> INSERT INTO t1 VALUES(1);


session 1 這時我們回滾session1

mysql> rollback;
Query OK, 0 rows affected (0.00 sec)


發現session 2的insert成功,而session3檢測到死鎖回滾

session 2 Query OK, 1 row affected (28.87 sec)

session 3  ERROR 1213 (40001): Deadlock found when trying to get lock; try restarting transaction

 死鎖原因分析:

首先session1插入一條記錄,獲得該記錄的排它鎖,這時session2和session3都檢測到了主鍵衝突錯誤,但是由於session1並沒有提交,所以session1並不算插入成功,於是它並不能直接報錯吧,於是session2和session3都申請了該記錄的共享鎖,這時還沒獲取到共享鎖,處於等待佇列中。這時session1 rollback了,也就釋放了該行記錄的排它鎖,那麼session2和session3都獲取了該行上的共享鎖。而session2和session3想要插入記錄,必須獲取排它鎖,但由於他們自己都擁有了共享鎖,於是永遠無法獲取到排它鎖,於是死鎖就發生了。如果這時session1是commit而不是rollback的話,那麼session2和session3都直接報錯主鍵衝突錯誤。檢視死鎖日誌也是一目瞭然



insert導致的死鎖現象2

另外一個類似的死鎖是session1刪除了id=1的記錄並未提交,這時session2和session3插入id=1的記錄。這時session1 commit了,session2和session3需要insert的話,就需要獲取排它鎖,那麼死鎖也就發生了;session1 rollback,則session2和session3報錯主鍵衝突。這裡不再做演示。


INSERT ... ON DUPLICATE KEY UPDATE

這種sql和insert加鎖的不同的是,如果檢測到鍵衝突,它直接申請加排它鎖,而不是共享鎖。

replace

replace操作如果沒有檢測到鍵衝突的話,那麼它的加鎖策略和insert相似;如果檢測到鍵衝突,那麼它也是直接再申請加排它鎖

INSERT INTO T SELECT ... FROM S WHERE ...


在T表上的加鎖策略和普通insert一致,另外還會在S表上的相關記錄上加共享的next-key lock。(如果是可重複讀模式,則不會加鎖)

CREATE TABLE ... SELECT ...

在select的表上加共享的next-key lock

自增id的加鎖策略

當一張表的某個欄位是自增列時,innodb會在該索引的末位加一個排它鎖。為了訪問這個自增的數值,需要加一個表級鎖,不過這個表級鎖的持續時間只有當前sql,而不是整個事務,即當前sql執行完,該表級鎖就釋放了。其他session無法在這個表級鎖持有時插入任何記錄。

外來鍵檢測的加鎖策略

如果存在外來鍵約束,任何的insert,update,delete將會檢測約束條件,將會在相應的記錄上加共享的record lock,無論是否存在外來鍵衝突。

 

相關文章