MySQL：一次timestamp時區轉換導致的問題

---

水平有限，如果有誤請諒解。

---

這個問題是一個朋友遇到的@風雲，並且這位朋友已經得出了近乎正確的判斷，這位下面進行一些描述。

歡迎關注我的《深入理解MySQL主從原理 32講 》，如下：

一、問題展示

下面是問題當時的系統負載如下：

我們可以看到40.4%sy 正是系統呼叫負載較高的表現，隨即朋友採集了perf如下：

接下來朋友採集了pstack給我，我發現大量的執行緒處於如下狀態下：

Thread 38 (Thread 0x7fe57a86f700 (LWP 67268)):
#0  0x0000003dee4f82ce in __lll_lock_wait_private () from /lib64/libc.so.6
#1  0x0000003dee49df8d in _L_lock_2163 () from /lib64/libc.so.6
#2  0x0000003dee49dd47 in __tz_convert () from /lib64/libc.so.6
#3  0x00000000007c02e7 in Time_zone_system::gmt_sec_to_TIME(st_mysql_time*, long) const ()
#4  0x0000000000811df6 in Field_timestampf::get_date_internal(st_mysql_time*) ()
#5  0x0000000000809ea9 in Field_temporal_with_date::val_date_temporal() ()
#6  0x00000000005f43cc in get_datetime_value(THD*, Item***, Item**, Item*, bool*) ()
#7  0x00000000005e7ba7 in Arg_comparator::compare_datetime() ()
#8  0x00000000005eef4e in Item_func_gt::val_int() ()
#9  0x00000000006fc6ab in evaluate_join_record(JOIN*, st_join_table*) ()
#10 0x0000000000700e7e in sub_select(JOIN*, st_join_table*, bool) ()
#11 0x00000000006fecc1 in JOIN::exec() ()

我們可以注意一下__tz_convert 這正是時區轉換的證據。

二、關於timestamp簡要說明

timestamp：佔用4位元組，內部實現是新紀元時間（1970-01-01 00:00:00）以來的秒，那麼這種格式在展示給使用者的時候就需要做必要的時區轉換才能得到正確資料。下面我們通過訪問ibd檔案來檢視一下內部表示方法，使用到了我的兩個工具innodb和bcview，詳細參考 https://www.jianshu.com/p/719f1bbb21e8。

timestamp的內部表示

建立一個測試表

mysql> show variables like '%time_zone%';
+------------------+--------+
| Variable_name    | Value  |
+------------------+--------+
| system_time_zone | CST    |
| time_zone        | +08:00 |
+------------------+--------+
mysql> create table tmm(dt timestamp);
Query OK, 0 rows affected (0.04 sec)
mysql> insert into tmm values('2019-01-01 01:01:01');
Query OK, 1 row affected (0.00 sec)

我們來檢視一下內部表示如下：

[root@gp1 test]# ./bcview tmm.ibd 16 125 25|grep 00000003
current block:00000003--Offset:00125--cnt bytes:25--data is:000001ac3502000000070d52c80000002f01105c2a4b4d0000

整理一下如下：

• 000001ac3502：rowid
• 000000070d52：trx id
• c80000002f0110：roll ptr
• 5c2a4b4d：timestamp型別的實際資料十進位制為1546275661

我們使用Linux命令如下：

[root@gp1 ~]# date -d @1546275661
Tue Jan  1 01:01:01 CST 2019

因為我的Linux也是CST +8時區這裡資料也和MySQL中顯示一樣。下面我們調整一下時區再來看看取值如下：

mysql> set time_zone='+06:00';
Query OK, 0 rows affected (0.00 sec)
mysql> select * from tmm;
+---------------------+
| dt                  |
+---------------------+
| 2018-12-31 23:01:01 |
+---------------------+
1 row in set (0.01 sec)

這裡可以看到減去了2個小時，因為我的時區從+8變為了+6。

三、timestap轉換

在進行新紀元時間（1970-01-01 00:00:00）以來的秒到實際時間之間轉換的時候MySQL根據引數time_zone的設定有兩種選擇：

• time_zone：設定為SYSTEM的話，使用sys_time_zone獲取的OS會話時區，同時使用OS API進行轉換。對應轉換函式 Time_zone_system::gmt_sec_to_TIME
• time_zone：設定為實際的時區的話，比如‘+08:00’，那麼使用使用MySQL自己的方法進行轉換。對應轉換函式 Time_zone_offset::gmt_sec_to_TIME

實際上Time_zone_system和Time_zone_offset均繼承於Time_zone類，並且實現了Time_zone類的虛擬函式進行了重寫，因此上層呼叫都是Time_zone::gmt_sec_to_TIME。

注意這種轉換操作是每行符合條件的資料都需要轉換的。

四、問題修復方案

我們從問題棧幀來看這個故障使用的是 Time_zone_system::gmt_sec_to_TIME 函式進行轉換的，因此可以考慮如下：

• time_zone：設定為指定的時區，比如‘+08:00’。這樣就不會使用OS API進行轉換了，而轉為MySQL自己的內部實現 呼叫 Time_zone_offset::gmt_sec_to_TIME函式。
• 使用datetime代替timestamp，新版本datetime為5個位元組，只比timestamp多一個位元組。

五、備用棧幀

• time_zone=‘SYSTEM’轉換棧幀

  #0  Time_zone_system::gmt_sec_to_TIME (this=0x2e76948, tmp=0x7fffec0f3ff0, t=1546275661) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/tztime.cc:1092
  #1  0x0000000000f6b65c in Time_zone::gmt_sec_to_TIME (this=0x2e76948, tmp=0x7fffec0f3ff0, tv=...) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/tztime.h:60
  #2  0x0000000000f51643 in Field_timestampf::get_date_internal (this=0x7ffe7ca66540, ltime=0x7fffec0f3ff0)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/field.cc:6014
  #3  0x0000000000f4ff49 in Field_temporal_with_date::val_str (this=0x7ffe7ca66540, val_buffer=0x7fffec0f4370, val_ptr=0x7fffec0f4370)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/field.cc:5429
  #4  0x0000000000f11d7b in Field::val_str (this=0x7ffe7ca66540, str=0x7fffec0f4370) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/field.h:866
  #5  0x0000000000f4549d in Field::send_text (this=0x7ffe7ca66540, protocol=0x7ffe7c001e88) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/field.cc:1725
  #6  0x00000000014dfb82 in Protocol_text::store (this=0x7ffe7c001e88, field=0x7ffe7ca66540)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/protocol_classic.cc:1415
  #7  0x0000000000fb06c0 in Item_field::send (this=0x7ffe7c006ec0, protocol=0x7ffe7c001e88, buffer=0x7fffec0f4760)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/item.cc:7801
  #8  0x000000000156b15c in THD::send_result_set_row (this=0x7ffe7c000b70, row_items=0x7ffe7c005d58)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/sql_class.cc:5026
  #9  0x0000000001565758 in Query_result_send::send_data (this=0x7ffe7c006e98, items=...) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/sql_class.cc:2932
  #10 0x0000000001585490 in end_send (join=0x7ffe7c007078, qep_tab=0x7ffe7c0078d0, end_of_records=false)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/sql_executor.cc:2925
  #11 0x0000000001582059 in evaluate_join_record (join=0x7ffe7c007078, qep_tab=0x7ffe7c007758)
  

• time_zone=‘+08:00’轉換棧幀

#0  Time_zone_offset::gmt_sec_to_TIME (this=0x6723d90, tmp=0x7fffec0f3ff0, t=1546275661) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/tztime.cc:1418
#1  0x0000000000f6b65c in Time_zone::gmt_sec_to_TIME (this=0x6723d90, tmp=0x7fffec0f3ff0, tv=...) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/tztime.h:60
#2  0x0000000000f51643 in Field_timestampf::get_date_internal (this=0x7ffe7ca66540, ltime=0x7fffec0f3ff0)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/field.cc:6014
#3  0x0000000000f4ff49 in Field_temporal_with_date::val_str (this=0x7ffe7ca66540, val_buffer=0x7fffec0f4370, val_ptr=0x7fffec0f4370)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/field.cc:5429
#4  0x0000000000f11d7b in Field::val_str (this=0x7ffe7ca66540, str=0x7fffec0f4370) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/field.h:866
#5  0x0000000000f4549d in Field::send_text (this=0x7ffe7ca66540, protocol=0x7ffe7c001e88) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/field.cc:1725
#6  0x00000000014dfb82 in Protocol_text::store (this=0x7ffe7c001e88, field=0x7ffe7ca66540)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/protocol_classic.cc:1415
#7  0x0000000000fb06c0 in Item_field::send (this=0x7ffe7c006ec0, protocol=0x7ffe7c001e88, buffer=0x7fffec0f4760)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/item.cc:7801
#8  0x000000000156b15c in THD::send_result_set_row (this=0x7ffe7c000b70, row_items=0x7ffe7c005d58)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/sql_class.cc:5026
#9  0x0000000001565758 in Query_result_send::send_data (this=0x7ffe7c006e98, items=...) at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/sql_class.cc:2932
#10 0x0000000001585490 in end_send (join=0x7ffe7c007078, qep_tab=0x7ffe7c0078d0, end_of_records=false)
    at /root/mysqlall/percona-server-locks-detail-5.7.22/sql/sql_executor.cc:2925
#11 0x0000000001582059 in evaluate_join_record (join=0x7ffe7c007078, qep_tab=0x7ffe7c007758)