公眾號 MySQL學習

###一、問題來源
這是一位朋友給我的一個截圖，說show slave status一直處於Wating for Slave workers to free pending events狀態，這個庫是MTS從庫，版本為5.7.25

![image.png](https://upload-images.jianshu.io/upload_images/7398834-9041e43c7f636efc.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

###二、關於等待
我曾經在我的主從原理系列中（已經成書）解釋過大部分協調執行緒的等待，如下：

- “Waiting for dependent transaction to commit”

由於協調執行緒判定本事務由於last commit大於current\_lwm因此不能並行回放，協調執行緒處於等待，大事務會加劇這種情況。

- “Waiting for slave workers to process their queues”

由於沒有空閒的工作執行緒，協調執行緒會等待。這種情況說明理論上的並行度是理想的，但是可能是引數slave\_parallel\_workers設定不夠。當然設定工作執行緒的個數應該和伺服器的配置和負載相結合考慮。

- “Waiting for Slave Worker queue”

由於工作執行緒的任務佇列已滿，協調執行緒會等待。這種情況前面說過是由於一個事務包含了過多的Event並且工作執行緒應用Event的速度趕不上協調執行緒分配Event的速度，導致了積壓並且超過了16384個Event。

但是對於Wating for Slave workers to free pending events等待，只是簡單的提及了可能涉及到big event，這裡想說的就是實際上這個等待可能和兩方面有關：

1. 如果涉及到big event，那麼要求worker執行緒當前沒有積壓的event正在執行
2. 如果不是big event，那麼需要判斷當前worker執行緒積壓的event大小加上本次進入worker執行緒對列的event大小之和不能超過引數slave_pending_jobs_size_max的大小

什麼是big event呢？很簡原始碼判斷如下：
```
 bool big_event= (ev_size > rli->mts_pending_jobs_size_max);
```

遇到這種問題應該在日誌中能夠看到
```
2020-10-28T14:07:49.522388+08:00 14 [Note] Multi-threaded slave statistics for channel '': seconds elapsed = 676;.....waited due the total size 的大小不為0。
```
###三、判斷的維度

這裡我們簡單考慮一下判斷一下可以進入worker執行緒佇列的維度。首先我們說對於woker執行緒佇列來講他有一個固定的大小也就是積壓不能超過16384個event，這裡我們還明白來，這些積壓的event還不能太大，如果太大就會出現Wating for Slave workers to free pending events等待，因此總結一下：

- 如果協調執行緒發現分配的woker執行緒積壓的event個數超過了 16384個event，那麼進入Waiting for Slave Worker queue等待
- 如果協調執行緒發現分配的worker執行緒積壓的event的大小超過了slave_pending_jobs_size_max設定的大小，那麼進入Wating for Slave workers to free pending events等待

當然這是從個數和大小兩個不同的維度來判斷的，如果一個大事務，我們知道這樣的事務會形成很多8K左右的event（比如一次delete了1000W的資料），那麼如果只用個數來判斷那麼就是積壓的event大小最多達到（8K*16384=128M），實際上我們的引數slave_pending_jobs_size_max 預設為16M，這種情況下可能協調執行緒會先觸發Wating for Slave workers to free pending events等待。

因此不管是觸發了Waiting for Slave Worker queue等待還是Wating for Slave workers to free pending events等待，我們都需要檢查一下worker執行緒回放event的效率是不是遇到了問題。

###四、關於原始碼等待

函式入口append_item_to_jobs
- 關於等待，如下：
```
  bool big_event= (ev_size > rli->mts_pending_jobs_size_max);
  /*
    C waits basing on *data* sizes in the queues.
    If it is a big event (event size is greater than
    slave_pending_jobs_size_max but less than slave_max_allowed_packet),
    it will wait for all the jobs in the workers's queue to be
    completed. If it is normal event (event size is less than
    slave_pending_jobs_size_max), then it will wait for
    enough empty memory to keep the event in one of the workers's
    queue.
    NOTE: Receiver thread (I/O thread) is taking care of restricting
    the event size to slave_max_allowed_packet. If an event from
    the master is bigger than this value, IO thread will be stopped
    with error ER_NET_PACKET_TOO_LARGE.
  */
  while ( (!big_event && new_pend_size > rli->mts_pending_jobs_size_max)//條件1
          || (big_event && rli->mts_pending_jobs_size != 0 ))//條件2
  {
    rli->mts_wq_oversize= TRUE;
    rli->wq_size_waits_cnt++; // 增加由於big event或者積壓大小過多導致的等待次數
    thd->ENTER_COND(&rli->pending_jobs_cond, &rli->pending_jobs_lock,
                    &stage_slave_waiting_worker_to_free_events, &old_stage);//進入等待狀態
    mysql_cond_wait(&rli->pending_jobs_cond, &rli->pending_jobs_lock);//等待條件變數
    mysql_mutex_unlock(&rli->pending_jobs_lock);
    thd->EXIT_COND(&old_stage);
    if (thd->killed)
      return true;
    if (rli->wq_size_waits_cnt % 10 == 1)
      sql_print_information("Multi-threaded slave: Coordinator has waited "
                            "%lu times hitting slave_pending_jobs_size_max; "
                            "current event size = %zu.",
                            rli->wq_size_waits_cnt, ev_size);
    mysql_mutex_lock(&rli->pending_jobs_lock);
    new_pend_size= rli->mts_pending_jobs_size + ev_size;
  }

```

- 關於喚醒，如下：
當woker執行緒執行完event後，會進行減去執行完event size的操作如下，入口函式remove_item_from_jobs:

```
減去執行完event size
rli->mts_pending_jobs_size-= ev->common_header->data_written;

喚醒
  /* coordinator can be waiting */
  if (rli->mts_pending_jobs_size < rli->mts_pending_jobs_size_max &&
      rli->mts_wq_oversize)  // TODO: unit/general test wq_oversize
  {
    rli->mts_wq_oversize= FALSE;
    mysql_cond_signal(&rli->pending_jobs_cond);
  }

```

MySQL：關於Wating for Slave workers to free pending events等待

相關文章