Mysql Innodb中的Linux native非同步I/O(一) 記憶體結構的初始化

水平有限，有誤請指出

一、前言

在5.7中Innodb非同步I/O的記憶體結構發生了一些變化特別是非同步I/O陣列和以前的結構體不同變為了類叫做AIO類但是換湯不換藥只是將一些方法進行了封裝，而非同步i/o實際的請求放到了Slot結構體它們分別對應了5.6 os_aio_array_t和os_aio_slot_t，這裡不準備詳細介紹每一個屬性的含義，因為在核心月報中淘寶已經給出,5.7基本也是一樣的連線如下：
http://mysql.taobao.org/monthly/2017/07/10/
同時我這裡也是討論關於Linux native的部分對於innodb自己模擬的非同步I/O不做分析，因為用得不多，並且自己能力也有限。但是這裡還是需要明確幾個概念

本文簡書地址
http://www.jianshu.com/p/dd7e1e560af0

二、幾個基本概念

• 什麼是Linux native I/O
  參考我的文章:
  http://blog.itpub.net/7728585/viewspace-2147684/
  或者參考其他文章
• MYSQL中的非同步I/O執行緒
  我以前一直搞不清楚這幾個執行緒的作用,為了搞清楚這個我才決定好好學習一下非同步I/O
  如下面的引數設定

mysql> show variables like '%io_threads%';
+-------------------------+-------+
| Variable_name           | Value |
+-------------------------+-------+
| innodb_read_io_threads  | 2     |
| innodb_write_io_threads | 2     |
+-------------------------+-------+ 

我在本資料中實際設定了2個read 非同步i/o執行緒和2個write非同步I/O執行緒此外都包含一個log和ibuf非同步I/O執行緒在資料庫中我們也可以查詢到這6個非同步I/O執行緒

mysql> select a.thd_id,b.THREAD_OS_ID,a.user ,a.conn_id,b.TYPE,a.source,a.program_name from sys.processlist a,performance_schema.threads b where b.thread_id=a.thd_id and  user  like '%io%';
+--------+--------------+------------------------+---------+------------+--------------------+--------------+
| thd_id | THREAD_OS_ID | user                   | conn_id | TYPE       | source             | program_name |
+--------+--------------+------------------------+---------+------------+--------------------+--------------+
|      3 |        14059 | innodb/io_ibuf_thread  |    NULL | BACKGROUND | NULL               | NULL         |
|      4 |        14060 | innodb/io_log_thread   |    NULL | BACKGROUND | sync0debug.cc:1296 | NULL         |
|      5 |        14061 | innodb/io_read_thread  |    NULL | BACKGROUND | NULL               | NULL         |
|      6 |        14062 | innodb/io_read_thread  |    NULL | BACKGROUND | NULL               | NULL         |
|      7 |        14063 | innodb/io_write_thread |    NULL | BACKGROUND | sync0debug.cc:1296 | NULL         |
|      8 |        14064 | innodb/io_write_thread |    NULL | BACKGROUND | NULL               | NULL         |
+--------+--------------+------------------------+---------+------------+--------------------+--------------+ 

• AIO類、執行緒、Slot的關係

首先一個AIO類對應了一個型別的非同步,比如ibuf/log/read/write都對應一個AIO類，並且在類的最後用一個類的靜態全域性成員進行指向如下:

 /** Insert buffer */
   static AIO*     s_ibuf;
   /** Redo log */
   static AIO*     s_log;
   /** Reads */
   static AIO*     s_reads;
   /** Writes */
   static AIO*     s_writes; 

而我們的非同步I/O執行緒實際上有6個也就是s_reads包含了2個執行緒/s_writes包含了2個執行緒,那麼執行緒引入了一個叫做local segment的概念,實際上每一個執行緒對應了一個local segment,而在AIO下面掛的就是一個Slot的vertor陣列,陣列的大小和每種型別的執行緒個數(local segment)和每個執行緒最大的Slot有關,看原始碼中對最大的Slot的定義如下:

8 * OS_AIO_N_PENDING_IOS_PER_THREAD 

其中巨集定義OS_AIO_N_PENDING_IOS_PER_THREAD=32

那麼對於s_ibuf和s_log因為只有一個執行緒(local segment)那麼就有256個Slot,而s_reads和s_writes當前我的資料庫各有2個執行緒(local segment)那麼就有2*256=512個Slot.

• global segment
  這個概念主要和模擬的非同步I/O有關,如果我當前有6個非同步I/O執行緒那麼global segment就是6,因為在進行初始化呼叫AIO::start的時候其編號總是固定的及0和1對應瞭然後是read和write執行緒個數,那麼由global segment到local segment的換算也變得簡單了可以參考AIO::get_segment_no_from_slot.

如果沒有顯示指定本文所有segment均指local segment

三、記憶體結構的初始化

整個記憶體結構的初始化是從由innobase_start_or_create_for_mysql呼叫的下面程式碼開始的如下:

實際上就是呼叫了os_aio_init,接下來我們來進行逐層的分析

1、os_aio_init 由innobase_start_or_create_for_mysql ()調入

本資料庫呼叫棧幀:

原始碼及註釋如下:


這個函式的主要功能就是呼叫AIO::start下面我們進行學習。

2、 AIO::start 由os_aio_init調入

本資料庫呼叫棧幀:

原始碼及註釋如下:


這裡我們可以看到實際上還是呼叫核心函式AIO::create,在AIO::create呼叫成果後就將各個型別的AIO物件的指標賦予給了幾個類靜態全域性指標用於後面呼叫

3、AIO::create 由AIO::start 調入

本資料庫呼叫棧幀:

原始碼及註釋如下:

我們發現本函式有2個主要功能

• 1、呼叫建構函式AIO(id, n, n_segments)
• 2、呼叫array->init()
  所以我們需要分別討論

首先來看AIO(id, n, n_segments)

4、AIO::AIO 由AIO::create 調入

本資料庫呼叫棧幀:


原始碼及註釋如下:

經過本函式我們發現在AIO這個結構體中的成員基本都進行了初始化
m_slots/m_n_segments/m_n_reserved/m_aio_ctx/m_events/m_mutex/m_not_full/m_is_empty
只是這些某些還沒有意義比如m_aio_ctx

接下來我們看第二個功能 AIO::init()

5、AIO::init() 由AIO::create調入

本資料庫呼叫棧幀:


原始碼及註釋如下:

我們發現本函式有2個主要功能

• 1、如果開啟了innodb_use_native_aio引數並且支援native aio進行呼叫init_linux_native_aio()
• 2、呼叫init_slots()初始化slot記憶體結構

下面我們先看看AIO::init_linux_native_aio()呼叫

6、AIO::init_linux_native_aio() 由 AIO::init調入

本資料庫呼叫棧幀:

原始碼及註釋如下:

點選(此處)摺疊或開啟

1. /** Initialise the Linux Native AIO interface */
   
2. dberr_t
   
3. AIO::init_linux_native_aio()
   
4. {
   
5.    /* Initialize the io_context array. One io_context
   
6.    per segment in the array. */
   
7. 
   
8.    ut_a(m_aio_ctx == NULL);
   
9. 
   
10.    m_aio_ctx = static_cast<io_context**>(
    
11.        ut_zalloc_nokey(m_n_segments * sizeof(*m_aio_ctx)));//到這裡了我們知道AIO類的屬性已經進行了初始化m_n_segments就是本AIO物件包含的執行緒數量
    
12.                                                            //ibuf和redo非同步為1個，write和read非同步執行緒本系統為2個這由引數控制，這裡為io_context_t
    
13.                                                            //也就是一個執行緒對應一個io_context_t這是Linux native aio必須的
    
14. 
    
15.    if (m_aio_ctx == NULL) {
    
16.        return(DB_OUT_OF_MEMORY);
    
17.    }
    
18. 
    
19.    io_context** ctx = m_aio_ctx;
    
20.    ulint max_events = slots_per_segment(); //這裡返回每個執行緒最大的event個數用於初始化io_context_t結構體就是return(m_slots.size() / m_n_segments)
    
21.                                                        //及256個
    
22. 
    
23.    for (ulint i = 0; i < m_n_segments; ++i, ++ctx) { //進行初始化對每個執行緒的io_context_t呼叫io_steup進行初始化其佇列最大event個數為
    
24.                                                        //return(m_slots.size() / m_n_segments); 也就是256
    
25. 
    
26.        if (!linux_create_io_ctx(max_events, ctx)) { //linux_create_io_ctx 主要功能就是初始化io_context_t
    
27.            /* If something bad happened during aio setup
    
28.            we should call it a day and return right away.
    
29.            We don't care about any leaks because a failure
    
30.            to initialize the io subsystem means that the
    
31.            server (or atleast the innodb storage engine)
    
32.            is not going to startup. */
    
33.            return(DB_IO_ERROR);
    
34.        }
    
35.    }
    
36. 
    
37.    return(DB_SUCCESS); //最後返回成功，這樣io_context_t也就是AIO結構體中的m_aio_ctx得到了初始化
    
38. }

到這裡io_context_t已經分配,接下來呼叫AIO::init_slots()我們進行分析


7、AIO::init_slots() 由 AIO::init調入

本資料庫呼叫棧幀:



原始碼及註釋如下:




到這裡Linux native 非同步I/O的iocb已經分配個數為256*segment 並且初始化0完成。

四、初始化完成後記憶體圖

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/7728585/viewspace-2147756/，如需轉載，請註明出處，否則將追究法律責任。