### 一、問題來源
問題來自一位朋友，如下：
![image.png](https://upload-images.jianshu.io/upload_images/7398834-f694b4bc14178902.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
mysql客戶端無法登陸，檢視伺服器負載沒有發現高負載資訊。透過pstack檢視執行緒棧資訊，沒有發現異常資訊。

###  二、問題診斷和解決

一般來講出現這種情況，我們會使用pstack看看新建立的執行緒為在什麼函式上卡主了，然後很容易就能找到原因。但是出現這個問題過後，當mysql發起連線後卡主後，使用pstack檢視mysqld服務端的程式，發現根本就沒有執行緒與之進行互動，因此mysqld懷疑監聽執行緒是不是出了什麼問題，因此對mysql客戶端連線程式進行了pstack發現如下：
```
#0  0x00007f262e7889c0 in __connect_nocancel () from /lib64/libpthread.so.0
#1  0x0000000000435123 in inline_mysql_socket_connect (src_file=0x504490 "../../mysql-8.0.20/vio/viosocket.cc", src_line=1054, len=110, addr=0x7fffb38daa20, mysql_socket=...) at ../../mysql-8.0.20/include/mysql/psi/mysql_socket.h:647
#2  vio_socket_connect (vio=0x110d2c0, addr=addr@entry=0x7fffb38daa20, len=len@entry=110, nonblocking=<optimized out="">, timeout=-1, connect_done=connect_done@entry=0x7fffb38da9ef) at ../../mysql-8.0.20/vio/viosocket.cc:1054
#3  0x0000000000422ad6 in csm_begin_connect (ctx=0x7fffb38daad0) at ../../mysql-8.0.20/sql-common/client.cc:250
#4  0x000000000041fe99 in mysql_real_connect (mysql=mysql@entry=0xaf16a0 <mysql>, host=host@entry=0x0, user=user@entry=0x10defc0 "root", passwd=passwd@entry=0x10deff0 "xsh0923", db=db@entry=0x0, port=<optimized out="">, unix_socket=0x10e0860 "/data/mysql3306/tmp/mysql.sock", client_flag=66560) at ../../mysql-8.0.20/sql-common/client.cc:5600
#5  0x000000000040ddb6 in sql_real_connect (silent=0, password=0x10deff0 "xsh0923", user=0x10defc0 "root", database=0x0, host=0x0) at ../../mysql-8.0.20/client/mysql.cc:4515
#6  sql_connect (host=0x0, database=0x0, user=0x10defc0 "root", password=0x10deff0 "xsh0923", silent=<optimized out="">) at ../../mysql-8.0.20/client/mysql.cc:4670
#7  0x000000000040968b in main () at ../../mysql-8.0.20/client/mysql.cc:1326
#8  0x00007f262ce3e495 in __libc_start_main () from /lib64/libc.so.6
#9  0x000000000040a4e1 in _start () at ../../mysql-8.0.20/include/my_alloc.h:86

```
實際上mysql卡主connect函式上面如下：
![image.png](https://upload-images.jianshu.io/upload_images/7398834-cc2666a077c1fccb.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

因此mysql客戶端和mysqld服務端都還沒有建立好連線，netstat檢視如下：
```
unix  2      [ ACC ]     STREAM     LISTENING     8584712  29676/mysqld         /tmp/mysqlx.sock
unix  7      [ ACC ]     STREAM     LISTENING     8584713  29676/mysqld         /data/mysql3306/tmp/mysql.sock
unix  2      [ ]         STREAM     CONNECTING    0        -                    /data/mysql3306/tmp/mysql.sock
unix  2      [ ]         STREAM     CONNECTING    0        -                    /data/mysql3306/tmp/mysql.sock
unix  2      [ ]         STREAM     CONNECTING    0        -                    /data/mysql3306/tmp/mysql.sock
大量connecting狀態的連線
```
然後做了strace mysqld的監聽執行緒的操作，得到的結果如下：
![image.png](https://upload-images.jianshu.io/upload_images/7398834-37cbfa314625278e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

正常的情況下這裡應該是poll和accept然後開啟新的（或者從快取執行緒中拿一個）執行緒來處理互動資訊了。但是這裡我們可以清晰的看到出現了SIGSTOP訊號。隨即檢視正mysqld執行緒的狀態如下：
![image.png](https://upload-images.jianshu.io/upload_images/7398834-ccad9fccfdf00221.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
所有的執行緒都處於T狀態下，這個狀態正是由於資訊SIGSTOP引起的。因此我們發一個SIGCONT訊號給mysqld程式就好了如下：
```
kill -18 29676
```

### 三、關於訊號

下面是我學習訊號的時候一些筆記。

在Linux中訊號是一種由核心處理的一種軟中斷機制，他滿足簡單、不能攜帶大量資訊、並且要滿足一定條件才會傳送等特徵。訊號會經歷如下過程：
- 產生-->阻塞訊號集-->未決訊號集-->訊號遞達-->訊號處理方式

首先訊號的產生可以有多種方式比如我們經常用的kill命令就是發起訊號的一種手段如下：
```
[root@mgr4 8277]# kill -l
 1) SIGHUP       2) SIGINT       3) SIGQUIT      4) SIGILL       5) SIGTRAP
 6) SIGABRT      7) SIGBUS       8) SIGFPE       9) SIGKILL     10) SIGUSR1
11) SIGSEGV     12) SIGUSR2     13) SIGPIPE     14) SIGALRM     15) SIGTERM
16) SIGSTKFLT   17) SIGCHLD     18) SIGCONT     19) SIGSTOP     20) SIGTSTP
21) SIGTTIN     22) SIGTTOU     23) SIGURG      24) SIGXCPU     25) SIGXFSZ
26) SIGVTALRM   27) SIGPROF     28) SIGWINCH    29) SIGIO       30) SIGPWR
31) SIGSYS      34) SIGRTMIN    35) SIGRTMIN+1  36) SIGRTMIN+2  37) SIGRTMIN+3
38) SIGRTMIN+4  39) SIGRTMIN+5  40) SIGRTMIN+6  41) SIGRTMIN+7  42) SIGRTMIN+8
43) SIGRTMIN+9  44) SIGRTMIN+10 45) SIGRTMIN+11 46) SIGRTMIN+12 47) SIGRTMIN+13
48) SIGRTMIN+14 49) SIGRTMIN+15 50) SIGRTMAX-14 51) SIGRTMAX-13 52) SIGRTMAX-12
53) SIGRTMAX-11 54) SIGRTMAX-10 55) SIGRTMAX-9  56) SIGRTMAX-8  57) SIGRTMAX-7
58) SIGRTMAX-6  59) SIGRTMAX-5  60) SIGRTMAX-4  61) SIGRTMAX-3  62) SIGRTMAX-2
63) SIGRTMAX-1  64) SIGRTMAX
```

我們經常的按鍵也可以產生
- Ctrl+c 2)SIGINT
- Ctrl+\ 3)SIGQUIT
- Ctrl+z 4)SIGTSTP

當然還有很多其他觸發方式比如硬體異常，raise函式，abort函式，alarm函式等等
其次是阻塞訊號集，阻塞訊號集能夠對想除(9/19號訊號以外)的訊號進行遮蔽，如果遮蔽後訊號自然不會到達 遞達 狀態，也就談不上處理了。透過sigprocmask函式進行阻塞訊號集的設定，但之前必須要設定sigset_t 集合，透過sigaddset、sigdelset、sigemptyset、sigfillset等函式設定。
未決訊號集是不能被操作的，只能被獲取透過sigpending函式獲取，但是他和阻塞訊號集一起可以控制訊號的遞達。
訊號遞達後就需要處理訊號，預設的行為上面都列舉了，但是訊號(9/19號訊號以外)是可以被捕獲改變其處理方式的，我們可以自定義函式作為某個訊號的處理方式，這可以透過signal函式和sigaction函式進行捕獲和處理，sigaction函式相對複雜需要有一個struct sigaction的結構體變數，其中包含了sa_handler\sa_mask\sa_flags\sa_siaction 成員，這裡不做解釋可以自行檢視Linux man page。
上面是單程式下的訊號處理方式，在多執行緒下，執行緒之間公用處理方式，但是可以有不同的訊號遮蔽集，在多執行緒下一般採用設定統一的訊號遮蔽字和訊號處理方式使用pthread_mask函式繼承到各個執行緒，同時使用sigwait/sigwaitinfo等函式設定一個單獨的訊號處理執行緒來進行統一處理，MySQL就是這樣處理的。MySQL實際上有一個訊號處理執行緒，
```
|     36 |         1927 | sql/signal_handler              |    NULL | BACKGROUND | NULL   | NULL         |
```
如果需要了解可以參考如下文章：
http://blog.itpub.net/7728585/viewspace-2142060/

### 四、pstack和SIGSTOP

這裡簡單提一下pstack抓取執行緒棧的時候會觸發一個SIGSTOP訊號，因為pstack實際上呼叫的就是gdb的如下命令：
```
/usr/bin/gdb --quiet -nx /proc/8277/exe 8277
thread apply all bt
輸出所有執行緒資訊
```
gdb通常會發起SIGSTOP訊號來停止程式的執行，因此我們線上上執行pstack命令的時候一定要小心，pstack可能導致你的MySQL停止執行一小會，特別是高壓力執行緒很多負載很高的情況下，可能需要很長的時候，**pstack應該作為線上重要資料庫最後不得已而為之的診斷方式**。
如下我們使用pstack 來獲取mysqld的棧，執行一開始就關閉視窗，此時我們的mysqld已經處於停止狀態如下：
![image.png](https://upload-images.jianshu.io/upload_images/7398834-196cce5fc1c0e010.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

因此使用pstack一定要格外小心。一般來講從庫執行緒不多壓力不大重要性不高可以使用pstack進行資訊採集。當然也可以手動發起SIGSTOP訊號來達到測試效果。

![image.png](https://upload-images.jianshu.io/upload_images/7398834-0c522dbd69b96de4.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

### 五、捕獲所有的訊號
下面一個小程式碼可以捕獲所有的訊號供測試：

```
#include <signal.h>
#include <stdio.h>
#include <stdlib.h>
#include "unistd.h"

void handler(int sig)
{
  printf("get signal %d\n",sig);
}

void test()
{
 ;
}

int main(void)
{
  struct sigaction s;
  int* a=NULL;
  int  i=0;

a=(int*)calloc(32,sizeof(int));

for(i=0;i<32;i++)
  {
    *(a+i) = (i+1);
  }
  
  s.sa_handler=handler;

for(i=0;i<32;i++)
  {
   sigaction(*(a+i),&s,NULL); //捕獲前32號訊號，但是9和19訊號不能改變處理行為
  }
 
  while(1)
  {
    test();
    sleep(1);
  }
 
 return 0;
}
```

---
本文首發於微信公眾號：老葉茶館（imysql_wx）</stdlib.h></stdio.h></signal.h></optimized></optimized></mysql></optimized>

MySQL：一個奇怪的hang案例

相關文章