MYSQL INNODB中hash查詢表的實現

gaopengtttt發表於2017-07-05
MySql
原創有誤請指出：

版本：5.7.14
原始碼位置為hash0hash.h hash0hash.cc
作為一種時間複雜度最優為O(1)的資料結構，但是最壞時間複雜對位O(n)的一種資料結構，但是在
良好的設計hash函式的情況下效能還是非常好的。關於hash表的圖在最後給出。在innodb中各種資料
結構都使用hash表查詢比如LOCK_T結構，還有我們特別熟悉的自適應hash索引等等，下面我們進行一些
探討。
一、innodb hash函式
首先我們不得不研究一下innodb的hash函式,hash函式的設計至少有2個要求
1、計算簡單，否則如果計算花費了太多時間你的hash查詢表也是不成功的
2、計算能夠儘可能的分散值
那麼innodb是如何設計這個hash函式的呢？很簡單如下：

點選(此處)摺疊或開啟

  1. ulint
  2. ut_hash_ulint(
  3. /*==========*/
  4. ulint    key,    /*!< in: value to be hashed */
  5. ulint    table_size)    /*!< in: hash table size */
  6. {
  7. ut_ad(table_size);
  8. key = key ^ UT_HASH_RANDOM_MASK2;
  9. return(key % table_size);
  10. }
上層呼叫為

點選(此處)摺疊或開啟

  1. ulint
  2. hash_calc_hash(
  3. /*===========*/
  4. ulint    fold,    /*!< in: folded value */
  5. hash_table_t*    table)    /*!< in: hash table */
  6. {
  7. ut_ad(table);
  8. ut_ad(table->magic_n == HASH_TABLE_MAGIC_N);
  9. return(ut_hash_ulint(fold, table->n_cells));
  10. }
可以看到這裡實際上和你的鍵值和你hash的cells(桶數量)，我們看到這裡做了一個異或操作然後和
cells(桶數量)進行取模操作，非常簡單實用。
二、處理衝突
hash表避免不了衝突，而資料庫中往往也利用這一點，將多個連結串列合併起來，innodb當然也就採用了
連結串列的方式來處理衝突。那麼言外之意每一個資料結構中必須包含一個如普通連結串列中 data_struct* next
的指標，當然這裡也可以用void*泛型指標，我們來看看lock_t結構體中：
hash_node_t hash; /*!< hash chain node for a record lock */
確實如此。這也是單項鍊表實現的基礎。
三、HASH表頭
一個hash表當然需要一個hash表頭這個表頭指向了具體的cell 陣列(記憶體相似但在heap空間不再棧上)，
innodb中如下，我去掉了一些用處不大的：

點選(此處)摺疊或開啟

  1. struct hash_table_t {
  2. enum hash_table_sync_t    type;    /*<! type of hash_table. */
  3. ulint    n_cells;/* number of cells in the hash table */
  4. hash_cell_t*    array;    /*!< pointer to cell array */
  5. mem_heap_t*    heap;
  6. };
可以看到hash_cell_t* array;就是這樣一個元素，他實際上就是hash_cell_t就是
一個元素void*。

點選(此處)摺疊或開啟

  1. typedef struct hash_cell_struct{
  2. void*    node;    /*!< hash chain node, NULL if none */
  3. } hash_cell_t;
那麼通過這個元素他能夠指向具體的hash表了。那麼user_str(使用者自己的結構體)->array->node就指向了一個
具體cell的地址了，後面的只是地址指標++就可以了。那麼我們user_str也至少包含這樣一個
hash_table_t*的指標來指向整個hash表，確實如此在innodb lock_sys_t中包含了
hash_table_t* rec_hash
那麼我們可以lock_sys_t和lock_t為列子畫一張展示圖如下：

四、hash表的建立
這裡主要涉及到cell的計算，計算函式為ut_find_prime，這裡不用太多解釋

點選(此處)摺疊或開啟

  1. hash_create(
  2. /*========*/
  3. ulint    n)    /*!< in: number of array cells */
  4. {
  5. hash_cell_t*    array;
  6. ulint    prime;
  7. hash_table_t*    table;


  10. prime = ut_find_prime(n);//計算cell桶的數量


  13. table = static_cast<hash_table_t*>(mem_alloc(sizeof(hash_table_t)));//為hash表頭分配記憶體


  16. array = static_cast<hash_cell_t*>(
  17. ut_malloc(sizeof(hash_cell_t) * prime));//為hash表分配記憶體


  20. /* The default type of hash_table is HASH_TABLE_SYNC_NONE i.e.:
  21. the caller is responsible for access control to the table. */
  22. table->type = HASH_TABLE_SYNC_NONE;
  23. table->array = array;//hash表頭指向hash表
  24. table->n_cells = prime;//設定
  25. table->heap = NULL;
  26. ut_d(table->magic_n = HASH_TABLE_MAGIC_N);

  28. /* Initialize the cell array */
  29. hash_table_clear(table); //memset 0x00整個hash表

  31. return(table);
  32. }

注意：下面都是通過LOCK部分hash表的實現來註釋的，其他其實也是一樣的。
五、插入一個元素
這部分是通過巨集定義來做的如下，我寫了詳細的解釋

點選(此處)摺疊或開啟

  1. /*******************************************************************//**
  2. Inserts a struct to a hash table. */
  3. /*
  4. HASH_INSERT(lock_t, hash, lock_sys->rec_hash,lock_rec_fold(space, page_no), lock);


  7. TYPE=lock_t:代表資料型別
  8. NAME=hash:代表lock_t下面有一個hash元素指標，其實這個指標和我們平時用的連結串列的struct* NEXT沒什麼區別
  9.           唯一區別就是他是void*的
  10.           (hash_node_t    hash;
  11.           typedef void* hash_node_t;)
  12. TABLE=lock_sys->rec_hash:代表hash表的地址指標,輸入引數
  13.        (hash_table_t*    rec_hash;)
  14. FOLD=lock_rec_fold(space, page_no):函式lock_rec_fold通過表空間和頁號得到一個unsigned long數字
  15. DATA=lock:這實際上就是你的資料的指標，當然這裡就是lock_t* 輸入引數
  16. */


  19. #define HASH_INSERT(TYPE, NAME, TABLE, FOLD, DATA)\
  20. do {\
  21. hash_cell_t*    cell3333;\//實際上就是void*
  22. TYPE*    struct3333;\ //lock_t* struct3333;
  23. \
  24. HASH_ASSERT_OWN(TABLE, FOLD)\//斷言不考慮
  25. \
  26. (DATA)->NAME = NULL;\//lock->hash = NULL;
  27. \
  28. cell3333 = hash_get_nth_cell(TABLE, hash_calc_hash(FOLD, TABLE));\
  29. \
  30. if (cell3333->node == NULL) {\ //如果為NULL沒有元素掛載到這個cell下
  31. cell3333->node = DATA;\ //則我們掛載到這個cell下
  32. } else {\
  33. struct3333 = (TYPE*) cell3333->node;\ //否則說明有元素了取到這個元素的指標 lock_t* struct3333 = (lock_t*)cell3333->node;
  34. \
  35. while (struct3333->NAME != NULL) {\ //如果struct3333->hash 不等於NULL 說明他下面有元素了
  36. \
  37. struct3333 = (TYPE*) struct3333->NAME;\ //那麼我們需要做的是指標像連結串列下一個元素移動
  38. }\
  39. \
  40. struct3333->NAME = DATA;\ //最後找到連結串列末尾 將資料節點掛載到下面 struct3333->hash = lock(lock是lock_t*)
  41. }\
  42. } while (0)
六、刪除一個元素
這部分也是通過巨集定義來做的如下，我寫了詳細的解釋

點選(此處)摺疊或開啟

  1. /*******************************************************************//**
  2. Deletes a struct from a hash table. */
  3. /*
  4. 有了上面基礎也就比較簡單了，這裡直接在程式碼進行註釋
  5. HASH_DELETE(lock_t, hash, lock_sys->rec_hash,lock_rec_fold(space, page_no), in_lock);
  6. */
  7. #define HASH_DELETE(TYPE, NAME, TABLE, FOLD, DATA)\
  8. do {\
  9. hash_cell_t*    cell3333;\//實際上就是void*
  10. TYPE*    struct3333;\ //lock_t* struct3333;
  11. \
  12. HASH_ASSERT_OWN(TABLE, FOLD)\//斷言不考慮
  13. \
  14. cell3333 = hash_get_nth_cell(TABLE, hash_calc_hash(FOLD, TABLE));\//通過函式hash_get_nth_cell計算這個值在哪個cell也就是hash 桶中
  15. \
  16. if (cell3333->node == DATA) {\ //地址比較，如果地址相同其地址必然相同
  17. HASH_ASSERT_VALID(DATA->NAME);\//斷言不考慮
  18. cell3333->node = DATA->NAME;\//如果找到 將指標移動到下一個元素 言外之意這裡去掉了一個記憶體單元就是找到的那個
  19. } else {\
  20. struct3333 = (TYPE*) cell3333->node;\ //連結串列迴圈找
  21. \
  22. while (struct3333->NAME != DATA) {\
  23. \
  24. struct3333 = (TYPE*) struct3333->NAME;\
  25. ut_a(struct3333);\
  26. }\
  27. \
  28. struct3333->NAME = DATA->NAME;\ //最終找到 就做 連結串列去掉這個記憶體元素動作
  29. }\
  30. //最終這裡涉及到一個問題就是釋放問題，但是注意雖然這個資料的指標在連結串列中去掉了，但是指標本身還在，可以拿到做free即可
  31. HASH_INVALIDATE(DATA, NAME);\ //debug版本使用不考慮
  32. } while (0)
七、其他
其他函式還包含：
HASH_SEARCH_ALL:巨集實現在整個hash表中查詢一個元素，相當於真個cell個連結串列查詢
HASH_SEARCH:巨集實現在有建值的情況下查詢一個元素、言外之意cell(桶)確定了，相當於連結串列查詢
hash_table_clear: 清空一個hash表
就不詳細解釋了，當然我只是對基本實現和常用的方法進行了描述，其他方面遇到再說吧。

作者微信:

MYSQL INNODB中hash查詢表的實現

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/7728585/viewspace-2141627/，如需轉載，請註明出處，否則將追究法律責任。

相關文章