Redis資料結構—連結串列與字典

白澤來了發表於2021-05-09

Redis資料結構—連結串列與字典

大家好,我是白澤。今天我們來聊一聊Redis中的連結串列與字典

連結串列

關於連結串列的基礎概念其實你在學習Redis之前一定積累了不少,所以本文將預設你已經掌握了連結串列相關的基礎知識,而Redis的連結串列其實也就是普通的連結串列~

因為Redis是使用C語言編寫的,因此Redis的資料結構的定義都是使用C語法定義的,你不需要完全理解下方C語言宣告結構體的語法,但我認為依靠大家的Java知識也能理解這就像是在Java中定義了一個連結串列物件

Redis連結串列節點的結構
typedef struct listNode {
	struct listNode *prev;	//指向前一個連結串列節點
	struct listNode *next;	//指向後一個連結串列節點
	void *value;			//當前節點的值(可以按需設定不同資料型別的value)
} listNode;

很明顯,當每一個節點內記錄了前後兩個節點位置之後,連結串列節點之間就能夠彼此前後相連,組成雙向通行車道(可以雙向遍歷)

Redis連結串列的表示

上面講解了Redis的連結串列的節點表示,並由此引申了一下可以藉此構建Redis雙端連結串列,而事實上,對於每一個存在的雙端連結串列,Redis使用一個list結構來表示

typedef struct list {
	listNode *head;			//表頭節點
	listNode *tail;			//表尾節點
	unsigned long len;		//連結串列所包含的節點的數量
	void *(*dup)(void *ptr);	//節點複製函式
	void (*free)(void *ptr);	//節點釋放函式
	void (*match)(void *ptr, void *key);//節點值對比函式
} list;

很明顯,你看到三個好像是返回值為void的函式,但是看不懂C語法,沒關係,傳統後端功夫,自然是點到為止

Redis連結串列用在哪

我不想現在就告訴你,連結串列被廣泛用於實現Redis的各種功能,比如列表鍵、釋出於訂閱、慢查詢、監視器等(這太空洞了,除了讓你聽一遍這幾個詞彙,對你沒有任何幫助),等我們後面講到這幾部分的時候,白澤再結合連結串列和你細說~

字典

和連結串列一樣,Redis所使用的C語言並沒有內建字典這種資料結構,因此Redis構建了自己的字典實現。如果你學過資料結構,你會發現Redis的字典事實上就是資料結構中的鄰接表,即使沒學過,往下看就好啦~

Redis字典結構總覽

陣列 + 連結串列 ==> 鄰接表,實錘

Redis字典結構分解

還記得嗎,上面我們說Redis連結串列可以用list描述,但是連結串列儲存的資料本質上,是由一系列listNode節點通過前後指標相連儲存的;類似的,Redis字典可以用如下dict描述,但是字典儲存的資料本質上,是由陣列 + 若干連結串列組合得到的資料結構儲存的,字典dict結構如下:

typedef struct dict {
	dictType *type;			//型別特定函式
	void *privdata;			//私有資料
	dictht ht[2];			//雜湊表陣列
	int trehashidx;			//rehash索引,當rehash不在進行時,值為-1
} dict;

現在你只需要關注其中的雜湊表陣列ht[2],它的資料型別為dictht,因此也是一種複合的資料結構,如下:

typedef struct dictht {
	dictEntry **table;		//雜湊表陣列
	unsigned long size;		//雜湊表大小
	unsigned long sizemax;	//雜湊表大小掩碼,用於計算索引值,等於size - 1
	unsigned long used;		//該雜湊表已有節點的數量
} dictht;

雜湊表dictht是Redis字典的核心,dictht的四個屬性中,size、sizemax、used都是用於描述table屬性整體狀態。看到這你就明白了,dictht的核心是dictEntry型別的table屬性(再次提醒,如果沒有C語言的基礎,本文中一切你看不懂的語法,包括資料型別,你只需要一眼帶過即可,我們的目的是學習Redis的設計思想

table屬性是一個陣列,陣列中的每個元素都是一個指向dictEntry結構的指標,每個dictEntry結構儲存一個鍵值對,並含有一個指向下一個dictEntry的指標,結構如下:

typedef struct dictEntry {
	void *key;	//鍵
	union {		//值(可以是一個指標,可以是一個uint64_t型別的整數,也可以是一個int64_t型別的整數)
		void *val;
		uint64_t u64;
		int64_t s64;
	} v;
	struct dictEntry *next;//指向下個雜湊表節點,形成連結串列
} dictEntry;
雜湊演算法

我們知道,字典是用來儲存資料的,並且是以鍵值對的形式儲存的,那麼我每次存入一個鍵值對放在字典的哪裡?這就是雜湊演算法為你解決的事情:程式需要先根據鍵值對的鍵計算出雜湊值和索引值,然後再根據索引值,將包含新鍵值對的雜湊表節點放到雜湊表陣列的指定索引上面

比如我已經有下面這個字典,然後要插入一個鍵值對資料:k1 : v1,則程式有如下計算過程:(使用者只是往Redis伺服器中插入了一條資料,下面都是程式內部的工作~)

hash = dict->type->hashFunction(k1);		//計算k1鍵的hash值(得到某個數值)
index = hash & dict->ht[0].sizemask = 1;	//計算k1鍵插入位置的索引值

解決鍵衝突

鍵衝突:當不同的key值計算得到的dictEntry索引值相同時,就稱發生鍵衝突(我要插入的位置已經被佔用了,插入使得連結串列長度由1變多,當然第一次插入不算衝突)

解決方法:

就像上面我要插入一個k1 :v1的鍵值對,並計算得到插入位置的索引為1(但是distEntry陣列中索引為1的位置已經有k0 :v0鍵值對存放了),因此程式會在雜湊表ht[0]的dictEntry陣列的索引為1的位置上插入一個dictEntry節點,放在原本連結串列首部的前一位置(搶佔首位),其中存放著k1 : v1鍵值對,插入後的圖如下:

你可能疑惑新插入的鍵值對的位置在每個dictEntry連結串列的最前面,而不是尾部,原因是每個dictEntry中除了儲存鍵值對之外,只記錄了下一個dictEntry的地址(上面我已經給出了dictEntry的結構了~),程式無法直接得到dictEntry連結串列的最後一個節點,但可以直接得到第一個節點(通過dictEntry陣列索引直接定位),因此每次插入的dictEntry節點(鍵值對)都將直接插入到對應索引的連結串列的頭部(因此dictEntry陣列的內容是不斷在變的)

一句話來說:distEntry陣列幫助使用索引定位,distEntry連結串列,用於處理衝突,不斷維護所儲存的鍵值對資料

rehash

隨著操作的不斷執行(增、刪、改、查),雜湊表儲存的鍵值對會逐漸增多或者減少,為了讓雜湊表的負載因子維持在一個合理範圍內,當雜湊表儲存的鍵值對數量太多或太少時,程式會對雜湊表的大小進行相應的擴充套件或者收縮(不知道你是否記得還有一個雜湊表ht[1]的存在,這個表就是為了和ht[0]配合進行rehash而存在的)

rehash步驟:

  1. 為字典的ht[1]雜湊表分配空間

    • 如果程式執行擴充套件操作:

      ht[1].size = 第一個大於等於ht[0].used * 2(ht[0]已經使用的空間大小乘2)的2的n次方冪

    • 如果程式執行收縮操作:

      ht[1].size = 第一個大於等於ht[0].used(ht[0]已經使用的空間大小)的2的n次方冪

  2. 將儲存在ht[0]上的鍵值對rehash到ht[1]上,因為size不同,所以是重新hash,而不是整體複製

  3. 當ht[0]內鍵值對全部遷移到ht[1]中後,釋放ht[0],然後將ht[1]和ht[0]的互換(rehash結束),此時ht[0]就是一個rehash後的雜湊表,而ht[1]依舊為空表,為下次rehash做準備

漸進式rehash

上面提到的在雜湊表ht[0]的負載因子過大或者過小會觸發rehash,但是,事實上rehash遷移的過程不是一蹴而就的(很明顯,如果資料ht[0]的資料很多,每次rehash如果都遷移全部資料,需要花費較大時間等待,使用者在rehash期間訪問Redis伺服器將會陷入無響應的狀態)

漸進式過程:

將rehash的過程分攤在後續的每次增、刪、改、查操作上,在rehash期間,每次對字典執行操作,程式除了執行指定操作外,還會順帶將ht[0]雜湊表在rehashidx索引(從0開始,-1表示rehash未開始)上的所有鍵值對rehash到ht[1],當每次區域性rehash工作完成後,程式將rehashidx屬性的值增一

注意:每次對字典進行增、刪、改、查會在ht[0]和ht[1]上同時進行,比如查詢一個鍵,則會現在ht[0]上查詢,沒找到再去ht[1]上查詢,諸如此類,除了增加操作每次都將直接hash到ht[1]上,不會對ht[0]執行任何新增操作

相關文章