Redis的五大資料型別實現原理

Wang發表於2021-08-26

1. 物件的型別與編碼

  Redis使用前面說的五大資料型別來表示鍵和值,每次在Redis資料庫中建立一個鍵值對時,至少會建立兩個物件,一個是鍵物件,一個是值物件,而Redis中的每個物件都是由 redisObject 結構來表示:

typedef struct redisObject{
     //型別
     unsigned type:4;
     //編碼
     unsigned encoding:4;
     //指向底層資料結構的指標
     void *ptr;
     //引用計數
     int refcount;
     //記錄最後一次被程式訪問的時間
     unsigned lru:22;
 
}robj

① type屬性

  物件的type屬性記錄了物件的型別,這個型別就是前面講的五大資料型別:

圖片名稱

  可以通過如下命令來判斷物件型別:

type key
圖片名稱

  注意:在Redis中,鍵總是一個字串物件,而值可以是字串、列表、集合等物件,所以我們通常說的鍵為字串鍵,表示的是這個鍵對應的值為字串物件,我們說一個鍵為集合鍵時,表示的是這個鍵對應的值為集合物件。

② encoding 屬性和 *prt 指標

  物件的 prt 指標指向物件底層的資料結構,而資料結構由 encoding 屬性來決定。

圖片名稱

  而每種型別的物件都至少使用了兩種不同的編碼:

圖片名稱

  可以通過如下命令檢視值物件的編碼:

OBJECT ENCODING  key

  比如 string 型別:

圖片名稱

2. 字串物件

  字串是Redis最基本的資料型別,不僅所有key都是字串型別,其它幾種資料型別構成的元素也是字串。注意字串的長度不能超過512M。

  ① 編碼

  字串物件的編碼可以是int,raw或者embstr。

  1、int 編碼:儲存的是可以用 long 型別表示的整數值。

  2、raw 編碼:儲存長度大於44位元組的字串。

  3、embstr 編碼:儲存長度小於44位元組的字串。

圖片名稱

  由上可以看出,int 編碼是用來儲存整數值,raw編碼是用來儲存長字串,而embstr是用來儲存短字串。其實 embstr 編碼是專門用來儲存短字串的一種優化編碼,raw 和 embstr 的區別:

圖片名稱
圖片名稱

  embstr與raw都使用redisObject和sds儲存資料,區別在於,embstr的使用只分配一次記憶體空間(因此redisObject和sds是連續的),而raw需要分配兩次記憶體空間(分別為redisObject和sds分配空間)。因此與raw相比,embstr的好處在於建立時少分配一次空間,刪除時少釋放一次空間,以及物件的所有資料連在一起,尋找方便。而embstr的壞處也很明顯,如果字串的長度增加需要重新分配記憶體時,整個redisObject和sds都需要重新分配空間,因此redis中的embstr實現為只讀。

  ps:Redis中對於浮點數型別也是作為字串儲存的,在需要的時候再將其轉換成浮點數型別。

  ② 編碼的轉換

  當 int 編碼儲存的值不再是整數,或大小超過了long的範圍時,自動轉化為raw。

  對於 embstr 編碼,由於 Redis 沒有對其編寫任何的修改程式(embstr 是隻讀的),在對embstr物件進行修改時,都會先轉化為raw再進行修改,因此,只要是修改embstr物件,修改後的物件一定是raw的,無論是否達到了44個位元組。

3. 列表物件

  list 列表,它是簡單的字串列表,按照插入順序排序,你可以新增一個元素到列表的頭部(左邊)或者尾部(右邊),它的底層實際上是個連結串列結構。

  ① 編碼

  列表物件的編碼可以是 ziplist(壓縮列表) 和 linkedlist(雙端連結串列)。

  比如我們執行以下命令,建立一個 key = ‘numbers’,value = ‘1 three 5’ 的三個值的列表。

rpush numbers 1 "three" 5

  ziplist 編碼表示如下:

圖片名稱

  linkedlist表示如下:

圖片名稱

  ② 編碼轉換

  當同時滿足下面兩個條件時,使用ziplist(壓縮列表)編碼:

  1、列表儲存元素個數小於512個

  2、每個元素長度小於64位元組

  不能滿足這兩個條件的時候使用 linkedlist 編碼。

  上面兩個條件可以在redis.conf 配置檔案中的 list-max-ziplist-value選項和 list-max-ziplist-entries 選項進行配置。

4. 雜湊物件

  雜湊物件的鍵是一個字串型別,值是一個鍵值對集合。

  ① 編碼

  雜湊物件的編碼可以是 ziplist 或者 hashtable。

  當使用ziplist,也就是壓縮列表作為底層實現時,新增的鍵值對是儲存到壓縮列表的表尾。比如執行以下命令:

hset profile name "Tom"
hset profile age 25
hset profile career "Programmer"

  如果使用ziplist,profile 儲存如下:

圖片名稱

  當使用 hashtable 編碼時,上面命令儲存如下:

圖片名稱

  hashtable 編碼的雜湊表物件底層使用字典資料結構,雜湊物件中的每個鍵值對都使用一個字典鍵值對。

  在前面介紹壓縮列表時,我們介紹過壓縮列表是Redis為了節省記憶體而開發的,是由一系列特殊編碼的連續記憶體塊組成的順序型資料結構,相對於字典資料結構,壓縮列表用於元素個數少、元素長度小的場景。其優勢在於集中儲存,節省空間。

  ② 編碼轉換

  和上面列表物件使用 ziplist 編碼一樣,當同時滿足下面兩個條件時,使用ziplist(壓縮列表)編碼:

  1、列表儲存元素個數小於512個

  2、每個元素長度小於64位元組

  不能滿足這兩個條件的時候使用 hashtable 編碼。第一個條件可以通過配置檔案中的 set-max-intset-entries 進行修改。

5. 集合物件

 集合物件 set 是 string 型別(整數也會轉換成string型別進行儲存)的無序集合。注意集合和列表的區別:集合中的元素是無序的,因此不能通過索引來操作元素;集合中的元素不能有重複。

  ① 編碼

  集合物件的編碼可以是 intset 或者 hashtable。

  intset 編碼的集合物件使用整數集合作為底層實現,集合物件包含的所有元素都被儲存在整數集合中。

  hashtable 編碼的集合物件使用 字典作為底層實現,字典的每個鍵都是一個字串物件,這裡的每個字串物件就是一個集合中的元素,而字典的值則全部設定為 null。這裡可以類比Java集合中HashSet 集合的實現,HashSet 集合是由 HashMap 來實現的,集合中的元素就是 HashMap 的key,而 HashMap 的值都設為 null。

SADD numbers 1 3 5
圖片名稱
SADD Dfruits "apple" "banana" "cherry"
圖片名稱

  ② 編碼轉換

  當集合同時滿足以下兩個條件時,使用 intset 編碼:

  1、集合物件中所有元素都是整數

  2、集合物件所有元素數量不超過512

  不能滿足這兩個條件的就使用 hashtable 編碼。第二個條件可以通過配置檔案的 set-max-intset-entries 進行配置。

6. 有序集合物件

  和上面的集合物件相比,有序集合物件是有序的。與列表使用索引下標作為排序依據不同,有序集合為每個元素設定一個分數(score)作為排序依據。

  ① 編碼

  有序集合的編碼可以是 ziplist 或者 skiplist。

  ziplist 編碼的有序集合物件使用壓縮列表作為底層實現,每個集合元素使用兩個緊挨在一起的壓縮列表節點來儲存,第一個節點儲存元素的成員,第二個節點儲存元素的分值。並且壓縮列表內的集合元素按分值從小到大的順序進行排列,小的放置在靠近表頭的位置,大的放置在靠近表尾的位置。

ZADD price 8.5 apple 5.0 banana 6.0 cherry
圖片名稱
圖片名稱

 skiplist 編碼的有序集合物件使用 zet 結構作為底層實現,一個 zset 結構同時包含一個字典和一個跳躍表:

typedef struct zset{
     //跳躍表
     zskiplist *zsl;
     //字典
     dict *dice;
} zset;

  字典的鍵儲存元素的值,字典的值則儲存元素的分值;跳躍表節點的 object 屬性儲存元素的成員,跳躍表節點的 score 屬性儲存元素的分值。

  這兩種資料結構會通過指標來共享相同元素的成員和分值,所以不會產生重複成員和分值,造成記憶體的浪費。

  說明:其實有序集合單獨使用字典或跳躍表其中一種資料結構都可以實現,但是這裡使用兩種資料結構組合起來,原因是假如我們單獨使用 字典,雖然能以 O(1) 的時間複雜度查詢成員的分值,但是因為字典是以無序的方式來儲存集合元素,所以每次進行範圍操作的時候都要進行排序;假如我們單獨使用跳躍表來實現,雖然能執行範圍操作,但是查詢操作有 O(1)的複雜度變為了O(logN)。因此Redis使用了兩種資料結構來共同實現有序集合。

  ② 編碼轉換

  當有序集合物件同時滿足以下兩個條件時,物件使用 ziplist 編碼:

  1、儲存的元素數量小於128;

  2、儲存的所有元素長度都小於64位元組。

  不能滿足上面兩個條件的使用 skiplist 編碼。以上兩個條件也可以通過Redis配置檔案zset-max-ziplist-entries 選項和 zset-max-ziplist-value 進行修改。

7. 五大資料型別的應用場景

  對於string 資料型別,因為string 型別是二進位制安全的,可以用來存放圖片,視訊等內容,另外由於Redis的高效能讀寫功能,而string型別的value也可以是數字,可以用作計數器(INCR,DECR),比如分散式環境中統計系統的線上人數,秒殺等。

  對於 hash 資料型別,value 存放的是鍵值對,比如可以做單點登入存放使用者資訊。

  對於 list 資料型別,可以實現簡單的訊息佇列,另外可以利用lrange命令,做基於redis的分頁功能

  對於 set 資料型別,由於底層是字典實現的,查詢元素特別快,另外set 資料型別不允許重複,利用這兩個特性我們可以進行全域性去重,比如在使用者註冊模組,判斷使用者名稱是否註冊;另外就是利用交集、並集、差集等操作,可以計算共同喜好,全部的喜好,自己獨有的喜好等功能。

  對於 zset 資料型別,有序的集合,可以做範圍查詢,排行榜應用,取 TOP N 操作等。

相關文章