詳解MySQL慢日誌(上)query_time\start_time\lock_time 的坑

神諭丶發表於2017-11-15


詳解MySQL慢日誌(下) 選項 引數篇:
http://blog.itpub.net/29773961/viewspace-2147352/


〇 long_query_time

場景:
如下圖,該圖為部分 binlog擷取:
9:42:25 後,還有幾個6:35:30的event


但是這些event如圖中最後一條。
exec_time為11216,但並未被記錄到slow log中。

long_query_time 為一個MySQL選項引數。
這個引數不用說了,記錄超過執行時間超過該值以上的SQL。
但這個坑在於:是按真正執行的時間(real time),不包括等待鎖的時間。

舉個簡單的例子:
如果long_query_time設定為1秒
一個insert被lock了10秒,執行只耗了0.5秒,那麼不會被記錄到慢日誌。


測試,以下分為三個會話,分別被命名為 lock>query>slow_log>,下同:


  1. lock > FLUSH TABLE WITH READ LOCK ;
  2. Query OK , 0 rows affected ( 0 . 00 sec )

  3. query > SET profiling = 1 SESSION long_query_time = 0 . 5 ;
  4. Query OK , 0 rows affected , 1 warning ( 0 . 00 sec )


  5. query > INSERT INTO t0 SELECT null , create_time , uuid FROM t1 LIMIT 1 ;
  6. { 此時hang住 }

  7. lock > UNLOCK TABLE ;

  8. query > { 返回 }
  9. Query OK , 1 row affected ( 9 . 42 sec )
  10. Records: 1  Duplicates: 0  Warnings: 0

此處看到,整條SQL花費了9.42秒完成,其中包括長時間的鎖等待。



再看一下具體的profile:

  1. query > SHOW PROFILES ;
  2. + - - - - - - - - - - + - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  3. | Query_ID | Duration    | Query                                                                     |
  4. + - - - - - - - - - - + - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  5. | 1          | 9 . 41687900 | INSERT INTO t0 SELECT null , create_time , uuid FROM t1 LIMIT 1 |
  6. + - - - - - - - - - - + - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  7. 1 row in set , 1 warning ( 0 . 00 sec )

  8. query > SHOW PROFILE FOR QUERY 1 ;
  9. + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - +
  10. | Status                          | Duration |
  11. + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - +
  12. | starting                          | 0 . 000101 |
  13. | checking permissions         | 0 . 000009 |
  14. | checking permissions            | 0 . 000005 |
  15. | Opening tables                 | 0 . 000016 |
  16. | Waiting for global read lock | 9 . 412835 |
  17. | Opening tables                 | 0 . 000540 |
  18. | init                             | 0 . 000033 |
  19. | System lock                    | 0 . 000014 |
  20. | optimizing                      | 0 . 000006 |
  21. | statistics                      | 0 . 000020 |
  22. | preparing                       | 0 . 000016 |
  23. | executing                        | 0 . 000004 |
  24. | Sending data                     | 0 . 000241 |
  25. | end                                   | 0 . 000006 |
  26. | query end                        | 0 . 002504 |
  27. | closing tables                 | 0 . 000012 |
  28. | freeing items                     | 0 . 000025 |
  29. | logging slow query            | 0 . 000009 |
  30. | Opening tables                     | 0 . 000113 |
  31. | System lock                     | 0 . 000362 |
  32. | cleaning up                         | 0 . 000011 |
  33. + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - +
  34. 21 rows in set , 1 warning ( 0 . 00 sec )

可以看到,等待全域性讀鎖花了9.412835s,總執行時間約為9.42。

再在slow_log表中查一下……什麼都沒有:

  1. slow_log > SELECT start_time , query_time , lock_time , sql_text FROM mysql . slow_log ;
  2. Empty set ( 0 . 00 sec )



  1. query > SELECT 9 . 41687900-9 . 412835 ;
  2. + - - - - - - - - - - - - - - - - - - - - - +
  3. | 9 . 41687900-9 . 412835 |
  4. + - - - - - - - - - - - - - - - - - - - - - +
  5. | 0 . 00404400           |
  6. + - - - - - - - - - - - - - - - - - - - - - +
  7. 1 row in set ( 0 . 00 sec )


tips:
此時SQL執行時間為0.00404400s,故沒有被記錄到slow log中。
也可以解釋圖中,某些event執行了3個小時,但又無法在slow log中查詢到。




〇 lock_time與query_time
為slow log中所記錄的兩個屬性:
lock_time:waiting for xxx lock的時間
query_time:real time + lock time的總時間

  1. query > SET SESSION long_query_time = 0 ;
  2. Query OK , 0 rows affected ( 0 . 00 sec )

  3. lock > LOCK TABLE test . t0 WRITE ;
  4. Query OK , 0 rows affected ( 0 . 00 sec )

  5. query > SELECT * FROM t0 LIMIT 1 ;
  6. { 此時hang住 }

  7. lock > LOCK TABLE test . t0 WRITE ;
  8. Query OK , 0 rows affected ( 0 . 00 sec )

  9. query > { 返回 }
  10. + - - - - + - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  11. | id | create_time          | uuid                                          |
  12. + - - - - + - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  13. | 2   | 2017-11-14 15:13:33 | 994e4592-93b4-11e7-bff9-525400b3819a |
  14. + - - - - + - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  15. 1 row in set ( 28 . 89 sec )

  16. slow_log > SELECT start_time , query_time , lock_time , sql_text FROM mysql . slow_log ;
  17. + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  18. | start_time                   | query_time        | lock_time       | sql_text                                |
  19. + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  20. | 2017-11-15 17:13:12 . 252836 | 00:00:28 . 894675 | 00:00:28 . 894516 | SELECT * FROM t0 LIMIT 1           |
  21. + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +

可以看到做一個簡單查詢,query_time也很長:
實際上query_time記錄的是lock_time + real time。

query_time ≥ lock_time




〇 start_time
為slow log中所記錄的屬性:
start_time:看字面意思很容易會被誤認為“sql開始的時間”…
但實際上記錄的是sql結束的時間。


測試一下:

  1. query > SET SESSION long_query_time = 0 ;
  2. Query OK , 0 rows affected ( 0 . 00 sec )

  3. query > SELECT sysdate ( ) , sleep ( 8 ) , sysdate ( ) ;
  4. + - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - +
  5. | sysdate ( )           | sleep ( 8 ) | sysdate ( )               |
  6. + - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - +
  7. | 2017-11-15 17:05:15 | 0         | 2017-11-15 17:05:23 |
  8. + - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - +
  9. 1 row in set ( 8 . 00 sec )


可以看到,該sql開始時間是17:05:15,結束時間是17:05:23
那麼記錄在slow log中,實際上是:

  1. slow_log > SELECT start_time , query_time , lock_time , sql_text FROM mysql . slow_log ;
  2. + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  3. | start_time                  | query_time       | lock_time        | sql_text                               |
  4. + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  5. | 2017-11-15 17:05:23 . 633771 | 00:00:08 . 000359 | 00:00:00 . 000000 | SELECT sysdate ( ) , sleep ( 8 ) , sysdate ( )   |
  6. + - - - - - - - - - - - - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
  7. 1 row in set ( 0 . 00 sec )


可以看到,start_time實際上是sql執行完成的時間。
真正的開始時間計算的方法也很簡單:
start_time - query_time 即為sql真正開始的時間。


tips:
一般OLTP場景下,大部分query_time都會很短。
但在某些糟糕的場景下,如某一條OLAP語句執行時間很長,如30分鐘。
如果需要確認在某個時段的sql,在查詢slow log時指定錯誤的start_time,可能就無法找到合適的sql了。



作者微信公眾號(持續更新)


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29773961/viewspace-2147315/,如需轉載,請註明出處,否則將追究法律責任。

相關文章