【Mysql】metadata lock鎖

小亮520cl發表於2016-07-04
原文地址:http://blog.itpub.net/26250550/viewspace-1071987/
metadata lock的超時時間是lock_wait_timeout,並不是innodb_lock_wait_timeout

MySQL 5.5.3版本中引入了Metadata lock: DDL語句打破了事務的隔離級別
    在5.5.3版本之前,MySQL事務對於表結構後設資料(Metadata)的鎖定是語句(statement)粒度的, 即語句執行完成後,不管事務是否可以完成,其表結構就可以被其他會話更新掉!
    引入Metadata lock後,表結構後設資料(Metadata)的鎖定變成了事務(transaction)粒度的,即只有事務結束時才會釋放Metadata lock。

    現象:
        顯式開啟事務後start transaction; 該事務內的query語句(包含select)會佔用相關表的metadata lock(profile:Opening tables階段)
        導致DDL語句被阻塞,因為獲取不到表的metadata lock

MySQL 5.6.6版本後 最佳化
    metadata lock不阻塞DDL語句,但原有session再訪問此表時會返回Error資訊“Table definition has changed, please retry transaction”

案列

  1. session1
  2. mysql> start transaction;
    Query OK, 0 rows affected (0.00 sec)


    mysql> select * from test1 where id=1;    
    +------+------+
    | id   | name |
    +------+------+
    |    1 | 1    |
    +------+------+
    1 row in set (0.00 sec)


  3. session2

    1. mysql> set profiling=on;
    2. Query OK, 0 rows affected (0.00 sec)

    3. mysql> alter table test1 add column c2 int;
    4. ---堵塞

    5. mysql> show full processlist;
      +----+------+-----------+------+---------+------+---------------------------------+-------------------------------------+
      | Id | User | Host      | db   | Command | Time | State                           | Info                                |
      +----+------+-----------+------+---------+------+---------------------------------+-------------------------------------+
      |  4 | root | localhost | test | Sleep   |   10 |                                 | NULL                                |
      |  5 | root | localhost | test | Query   |    6 | Waiting for table metadata lock | alter table test1 add column c2 int |  
      |  6 | root | localhost | NULL | Query   |    0 | NULL                            | show full processlist               |
      +----+------+-----------+------+---------+------+---------------------------------+-------------------------------------+

      我們可以看到ALTER TABLE會應Metadata lock而阻塞。一旦Session 1中的事務提交或者回滾,即釋放了table1表的Metadata lock,Session2的操作立即可以執行
    6. ctrl+c掉後我們檢視profile執行計劃


    7. mysql> show profile for query 6;
      +----------------------+----------+
      | Status               | Duration |
      +----------------------+----------+
      | starting             | 0.000045 |
      | checking permissions | 0.000005 |
      | checking permissions | 0.000005 |
      | init                 | 0.000007 |
      | Opening tables       | 0.000061 |
      | System lock          | 0.000008 |
      | setup                | 0.000018 |
      | creating table       | 0.002776 |
      | After create         | 0.000063 |
      | copy to tmp table    | 0.000312 |
      | rename result table  | 1.459601 |   
      | query end            | 0.000031 |
      | closing tables       | 0.000285 |
      | freeing items        | 0.002271 |
      | cleaning up          | 0.000073 |
      +----------------------+----------+
      15 rows in set (0.00 sec)

      可以看到,卡住的那一步是在rename result table,MySQL後臺將ALTER儲存變成連續操作“建立臨時新表->插入老表的資料->臨時新表取到老表(RENAME)”,即實際的變化老表的操作在RENAME階段才發生。而這一步即是被阻塞的那一步。所以可以確認,Metadata lock影響到的是要真實修改表結構的動作。(回想:和pt-osc那節,一個select未執行完,alter 修改表結構產生metadata lock一個道理)

      基於此,我們可以驗證ALTER TABLE,RENAME TABLE,DROP TABLE都會被Metadata lock影響,驗證步驟與上類似,省略。

      值得注意的是,建立一個已存在的表也會被Metadata lock影響。如果在一個事務中用到了表A的Metadata lock(如SELECT了該表)且事務未完成,那麼建立同名的表也會被卡住。所參考的文章中提及這一點。有興趣可參看:  ,這裡不作討論。

      metadata lock的另一個副作用:如上例中,ALTER TABLE應metadata lock被阻塞後,這導致後續其他事務針對該表的SELECT也會被阻塞!即ALTER TABLE的操作會影響到其他SELECT操作。根據上述示例:

      Session2 mysql> alter table table1 add column c1 int;

      此步一直處於等待狀態時,新會話中查詢table1。

      Session3 mysql> select * from test1;  #一直等待

      Session4 mysql>show full processlist;
      mysql> show full processlist;
      +----+------+-----------+------+---------+------+---------------------------------+-------------------------------------+
      | Id | User | Host      | db   | Command | Time | State                           | Info                                |
      +----+------+-----------+------+---------+------+---------------------------------+-------------------------------------+
      |  4 | root | localhost | test | Sleep   | 1857 |                                 | NULL                                |
      |  5 | root | localhost | test | Query   |  504 | Waiting for table metadata lock | select * from test1                 |
      |  6 | root | localhost | NULL | Query   |    0 | NULL                            | show full processlist               |
      |  8 | root | localhost | test | Query   |  511 | Waiting for table metadata lock | alter table test1 add column c2 int |
      +----+------+-----------+------+---------+------+---------------------------------+-------------------------------------+

      Session1 mysql> commit; 

      第一個會話提交後,Session2、Session3也成功執行。看看Session3的select在哪個步驟需要等待:

      Session3 mysql> show profile;
      +——————————–+———–+
      | Status                         | Duration  |
      +——————————–+———–+
      | starting                       |  0.000018 |
      | Waiting for query cache lock   |  0.000003 |
      | checking query cache for query |  0.000037 |
      | checking permissions           |  0.000007 |
      | Opening tables                 | 22.502591 |
      | System lock                    |  0.000013 |
      | Waiting for query cache lock   |  0.000024 |
      | init                           |  0.000022 |
      | optimizing                     |  0.000009 |
      | statistics                     |  0.000011 |
      | preparing                      |  0.000015 |
      | executing                      |  0.000003 |
      | Sending data                   |  0.000036 |
      | end                            |  0.000009 |
      | query end                      |  0.000005 |
      | closing tables                 |  0.000006 |
      | freeing items                  |  0.000007 |
      | Waiting for query cache lock   |  0.000003 |
      | freeing items                  |  0.000015 |
      | Waiting for query cache lock   |  0.000002 |
      | freeing items                  |  0.000002 |
      | storing result in query cache  |  0.000004 |
      | logging slow query             |  0.000002 |
      | logging slow query             |  0.000028 |
      | cleaning up                    |  0.000003 |
      +——————————–+———–+

      可以看到SELECT語句首先檢查查詢快取,沒有命中,然後在Opening tables階段卡住。

      這引出了另一個特點,基於上述場景,如果後續的SELECT能夠在查詢快取中命中,那麼不會被ALTER TABLE卡住,因為不需要Opening tables操作。命中快取SELECT的SHOW PROFILE如下:

      mysql>  show profile;
      +——————————–+———-+
      | Status                         | Duration |
      +——————————–+———-+
      | starting                       | 0.000017 |
      | Waiting for query cache lock   | 0.000004 |
      | checking query cache for query | 0.000006 |
      | checking privileges on cached  | 0.000004 |
      | checking permissions           | 0.000007 |
      | sending cached result to clien | 0.000011 |
      | logging slow query             | 0.000002 |
      | cleaning up                    | 0.000003 |
      +——————————–+———-+
      8 rows in set (0.00 sec)






遺留問題1.為什麼第二次查詢,記錄沒有發生變化,但結果集返回空?

這個問題在進行了討論,確認原因是:

MySQL中ALTER操作實際後臺是“建立新表”->”複製老表資料”->”RENAME新表成老表”。InnoDB引擎針對客戶端的REPEATABLE READ隔離級別,採用的是基於多版本(Multi-version)功能的”一致性讀”,即在事務中第一個查詢時,獲取的是當時版本的表的快照,而ALTER操作後實際是建立的新表,這個新表對於之前的快照而言是沒有資料的,所以第二次查詢新表基於快照的資料,返回空。在MySQL 5.6.6版本後,這樣的第二個查詢會返回Error資訊“Table definition has changed, please retry transaction”。詳細請看這裡

遺留問題2.為什麼沒有鎖等待超時??

我們知道InnoDB行鎖的等待時間超過innodb_lock_wait_timeout就會報超時錯誤。這裡的metadata lock一直等待著,為什麼沒有超時呢?其實metadata lock的超時設定是另一個系統變數lock_wait_timeout。

lock_wait_timeout控制著所有涉及到metadata lock的操作,包括DML and DDL,以及在表、檢視、儲存過程、儲存函式上的操作,以及LOCK TABLES、FLUSH TABLES WITH READ LOCK、HANDLER等。

lock_wait_timeout的預設設定時一年,可以動態設定,根據實際場景進行調整。

大量參考:
http://www.mysqlperformanceblog.com/2013/02/01/implications-of-metadata-locking-changes-in-mysql-5-5/

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29096438/viewspace-2121451/,如需轉載,請註明出處,否則將追究法律責任。

相關文章