同一份資料，Redis為什麼要存兩次

雙子孤狼發表於2021-01-24
Redis

前言

在 Redis 中，有一種資料型別，當在儲存的時候會同時採用兩種資料結構來進行分別儲存，那麼 Redis 為什麼要這麼做呢？這麼做會造成同一份資料佔用兩倍空間嗎？

五種基本型別之集合物件

Redis 中的集合物件是一個包含字串型別元素的無序集合，集合中元素唯一不可重複。

集合物件的底層資料結構有兩種：intset 和 hashtable。內部通過編碼來進行區分：

編碼屬性 描述 object encoding命令返回值
OBJ_ENCODING_INTSET 使用整數集合實現的集合物件 intset
OBJ_ENCODING_HT 使用字典實現的集合物件 hashtable

intset 編碼

intset（整數集合）可以儲存型別為 int16_t，int32_t，int64_t 的整數值，並且保證集合中沒有重複元素。
intset 資料結構定義如下（原始碼 inset.h 內）：

typedef struct intset {
    uint32_t encoding;//編碼方式
    uint32_t length;//當前集合中的元素數量
    int8_t contents[];//集合中具體的元素
} intset;

下圖就是一個 intset 的集合物件儲存簡圖：

encoding

在 intset 內部的 encoding 記錄了當前整數集合的資料儲存型別，主要有三種：

  • INTSET_ENC_INT16
    此時 contents[] 內的每個元素都是一個 int16_t 型別的整數值，範圍是：-32768 ~ 32767（-2 的 15 次方 ~ 2 的 15 次方 - 1）。
  • INTSET_ENC_INT32
    此時 contents[] 內的每個元素都是一個 int32_t 型別的整數值，範圍是：-2147483648 ~ 2147483647（-2 的 31 次方 ~ 2 的 31 次方 - 1）。
  • INTSET_ENC_INT64
    此時 contents[] 內的每個元素都是一個 int64_t 型別的整數值，範圍是：-9223372036854775808 ~ 9223372036854775807（-2 的 63 次方 ~ 2 的 63 次方 - 1）。

contents[]

contents[] 雖然結構的定義上寫的是 int8_t 型別，但是實際儲存型別是由上面的 encoding 來決定的。

整數集合的升級

假如一開始整數集合中的元素都是 16 位的，採用 int16_t 型別來儲存，此時需要再儲存一個 32 位的整數，那麼就需要對原先的整數集合進行升級，升級之後才能將 32 位的整數儲存到整數集合內。這就涉及到了整數集合的型別升級，升級過程主要有 4 個步驟：

  1. 根據新新增元素的型別來擴充套件底層陣列空間的大小，按照升級後現有元素的位數來分配新的空間。
  2. 將現有的元素進行型別轉換，並將轉換型別後的元素從後到前逐個重新放回到陣列內。
  3. 將新元素放到陣列的頭部或者尾部（因為觸發升級的條件就是當前陣列的整數型別無法儲存新元素，所以新元素要麼比現有元素都大，要麼就比現有元素都小）。
  4. 將 encoding 屬性修改為最新的編碼，並且同步修改 length 屬性。

PS：和字串物件的編碼一樣，整數集合的型別一旦發生升級，將會保持編碼，無法降級。

升級示例

  1. 假如我們有一個集合儲存的 encoding 是 int16_t，內部儲存了 3 個元素：

  2. 這時候需要插入一個整數 50000，發現儲存不下去，而 50000 是一個 int32_t 型別整數，所以需要申請新空間，申請空間大小為 4 * 32 - 48=80。

  1. 現在新的陣列內要放置 4 個元素，原來的陣列排在第 3，所以需要將升級後的 3 移動到 64-95 位。

  1. 繼續將升級後的 2 移動到 32-63 位。

  1. 繼續將升級後的 1 移動到 0-31 位。

  1. 然後會將 50000 放到 96-127 位。

  1. 最後會修改 encoding 和 length 屬性，修改之後就完成了本次的升級。

hashtable 編碼

hashtable 結構在前面講述雜湊物件的時候進行過詳細分析，想詳細瞭解的可以點選這裡。

intset 和 hashtable 編碼轉換

當一個集合滿足以下兩個條件時，Redis 會選擇使用 intset 編碼：

  • 集合物件儲存的所有元素都是整數值。
  • 集合物件儲存的元素數量小於等於 512 個（這個閾值可以通過配置檔案 set-max-intset-entries 來控制）。
    一旦集合中的元素不滿足上面兩個條件，則會選擇使用 hashtable 編碼。

集合物件常用命令

  • sadd key member1 member2：將一個或多個元素 member 加入到集合 key 當中，並返回新增成功的數目，如果元素已存在則被忽略。
  • sismember key member：判斷元素 member 是否存在集合 key 中。
  • srem key member1 member2：移除集合 key 中的元素，不存在的元素會被忽略。
  • smove source dest member：將元素 member 從集合 source 中移動到 dest 中，如果 member 不存在，則不執行任何操作。
  • smembers key：返回集合 key 中所有元素。

瞭解了操作集合物件的常用命令，我們就可以來驗證下前面提到的雜湊物件的型別和編碼了，在測試之前為了防止其他 key 值的干擾，我們先執行 flushall 命令清空 Redis 資料庫。

依次執行如下命令：

sadd num 1 2 3  //設定 3 個整數的集合，會使用 intset 編碼
type num //檢視型別
object encoding num   //檢視編碼

sadd name 1 2 3 test  //設定 3 個整數和 1 個字串的集合，會使用 hashtable 編碼
type name //檢視型別
object encoding name //檢視編碼

得到如下效果：

可以看到，當設定的元素裡面只有整數時，集合使用的就是 intset 編碼，當設定的元素中含有非整數時，使用的就是 hashtable 編碼。

五種基本型別之有序集合物件

Redis 中的有序集合和集合的區別是有序集合中的每個元素都會關聯一個 double 型別的分數，然後按照分數從小到大的順序進行排列。換句話說，有序集合的順序是由我們自己設值的時候通過分數來確定的。

有序集合物件的底層資料結構有兩種：skiplist 和 ziplist。內部同樣是通過編碼來進行區分：

編碼屬性 描述 object encoding命令返回值
OBJ_ENCODING_SKIPLIST 使用跳躍表實現的有序集合物件 skiplist
OBJ_ENCODING_ZIPLIST 使用壓縮列表實現的有序集合物件 ziplist

skiplist 編碼

skiplist 即跳躍表，有時候也簡稱為跳錶。使用 skiplist 編碼的有序集合物件使用了 zset 結構來作為底層實現，而zset 中同時包含了一個字典和一個跳躍表。

跳躍表

跳躍表是一種有序的資料結構，其主要特點是通過在每個節點中維持多個指向其他節點的指標，從而達到快速訪問節點的目的。

大部分情況下，跳躍表的效率可以等同於平衡樹，但是跳躍表的實現卻遠遠比平衡樹的實現簡單，所以 Redis 選擇了使用跳躍表來實現有序集合。

下圖是一個普通的有序連結串列，我們如果想要找到 35 這個元素，只能從頭開始遍歷到尾（連結串列中元素不支援隨機訪問，所以不能用二分查詢，而陣列中可以通過下標隨機訪問，所以二分查詢一般適用於有序陣列），時間複雜度是 O(n)。

那麼假如我們可以直接跳到連結串列的中間，那就可以節省很多資源了，這就是跳錶的原理，如下圖所示就是一個跳錶的資料結構示例：

上圖中 level1，level2，level3 就是跳錶的層級，每一個 level 層級都有一個指向下一個相同 level 層級元素的指標，比如上圖我們遍歷尋找元素 35 的時候就有三種方案：

  • 第 1 種就是執行 level1 層級的指標，需要遍歷 7 次（1->8->9->12->15->20->35）才能找到元素 35。
  • 第 2 種就是執行 level2 層級的指標，只需要遍歷 5 次（1->9->12->15->35）就能找到元素 35。
  • 第 3 種就是執行 level3 層級的元素，這時候只需要遍歷 3 次（1->12->35）就能找到元素 35 了，大大提升了效率。

skiplist 的儲存結構

跳躍表中的每個節點是一個 zskiplistNode 節點（原始碼 server.h 內）：

typedef struct zskiplistNode {
    sds ele;//元素
    double score;//分值
    struct zskiplistNode *backward;//後退指標
    struct zskiplistLevel {//層
        struct zskiplistNode *forward;//前進指標
        unsigned long span;//當前節點到下一個節點的跨度（跨越的節點數）
    } level[];
} zskiplistNode;
  • level（層）

level 即跳躍表中的層，其是一個陣列，也就是說一個節點的元素可以擁有多個層，即多個指向其他節點的指標，程式可以通過不同層級的指標來選擇最快捷的路徑提升訪問速度。

level 是在每次建立新節點的時候根據冪次定律（power law）隨機生成的一個介於 1~32 之間的數字。

  • forward（前進指標）

每個層都會有一個指向連結串列尾部方向元素的指標，遍歷元素的時候需要使用到前進指標。

  • span（跨度）

跨度記錄了兩個節點之間的距離,需要注意的是，如果指向了 NULL 的話，則跨度為 0。

  • backward（後退指標）

和前進指標不一樣的是後退指標只有一個，所以每次只能後退至前一個節點（上圖中沒有畫出後退指標）。

  • ele（元素）

跳躍表中元素是一個 sds 物件（早期版本使用的是 redisObject 物件），元素必須唯一不能重複。

  • score（分值）

節點的分值是一個 double 型別的浮點數，跳躍表中會將節點按照分值按照從小到大的順序排列，不同節點的分值可以重複。

上面介紹的只是跳躍表中的一個節點，多個 zskiplistNode 節點組成了一個 zskiplist 物件：

typedef struct zskiplist {
    struct zskiplistNode *header, *tail;//跳躍表的頭節點和尾結點指標
    unsigned long length;//跳躍表的節點數
    int level;//所有節點中最大的層數
} zskiplist;

到這裡你可能以為有序集合就是用這個 zskiplist 來實現的，然而實際上 Redis 並沒有直接使用 zskiplist 來實現，而是用 zset 物件再次進行了一層包裝。

typedef struct zset {
    dict *dict;//字典物件
    zskiplist *zsl;//跳躍表物件
} zset;

所以最終，一個有序集合如果使用了 skiplist 編碼，其資料結構如下圖所示：

上圖中上面一部分中的字典中的 key 就是對應了有序集合中的元素（member），value 就對應了分值（score）。上圖中下面一部分中跳躍表整數 1,8,9,12 也是對應了元素（member），最後一排的 double 型數字就是分值（score）。
也就是說字典和跳躍表中的資料都指向了我們儲存的元素（兩種資料結構最終指向的是同一個地址，所以資料並不會出現冗餘儲存），Redis 為什麼要這麼做呢？

為什麼同時選擇使用字典和跳躍表

有序集合直接使用跳躍表或者單獨使用字典完全可以獨自實現，但是我們想一下，如果單獨使用跳躍表來實現，那麼雖然可以使用跨度大的指標去遍歷元素來找到我們需要的資料，但是其複雜度仍然達到了 O(logN)，而字典中獲取一個元素的複雜度是 O(1)，而如果單獨使用字典雖然獲取元素很快，但是字典是無序的，所以如果要範圍查詢就需要對其進行排序，這又是一個耗時的操作，所以 Redis 綜合了兩種資料結構來最大程度的提升效能，這也是 Redis 設計的精妙之處。

ziplist 編碼

壓縮列表在列表物件和雜湊物件都有使用到，想詳細瞭解的可以點選這裡。

ziplist 和 skiplist 編碼轉換

當有序集合物件同時滿足以下兩個條件時，會使用 ziplist 編碼進行儲存：

  • 有序集合物件中儲存的元素個數小於 128 個（可以通過配置 zset-max-ziplist-entries 修改）。
  • 有序集合物件中儲存的所有元素的總長度小於 64 位元組（可以通過配置 zset-max-ziplist-value 修改）。

有序集合物件常用命令

  • zadd key score1 member1 score2 member2：將一個或多個元素（member）及其 score 新增到有序集合 key 中。
  • zscore key member：返回有序集合 key 中 member 成員的 score。
  • zincrby key num member：將有序集合 key 中的 member 加上 num，num 可以為負數。
  • zcount key min max：返回有序集合 key 中 score 值在 [min,max] 區間的 member 數量。
  • zrange key start stop：返回有序集合 key 中 score 從小到大排列後在 [start,stop] 區間的所有 member。
  • zrevrange key start stop：返回有序集合 key 中 score 從大到小排列後在 [start,stop] 區間的所有 member。
  • zrangebyscore key min max：返回有序集合中按 score 從小到大排列後在 [min,max] 區間的所有元素。注意這裡預設是閉區間，但是可以在 max 和 min 的數值前面加上 ( 或者 [ 來控制開閉區間。
  • zrevrangebyscore key max min：返回有序集合中按 score 從大到小排列後在 [min,max] 區間的所有元素。注意這裡預設是閉區間，但是可以在 max 和 min 的數值前面加上 ( 或者 [ 來控制開閉區間。
  • zrank key member：返回有序集合中 member 中元素排名（從小到大），返回的結果從 0 開始計算。
  • zrevrank key member：返回有序集合中 member 中元素排名（從大到小），返回的結果從 0 開始計算。
  • zlexcount key min max：返回有序集合中 min 和 max 之間的 member 數量。注意這個命令中的 min 和 max 前面必須加 ( 或者 [ 來控制開閉區間，特殊值 - 和 + 分別表示負無窮和正無窮。

瞭解了操作有序集合物件的常用命令，我們就可以來驗證下前面提到的雜湊物件的型別和編碼了，在測試之前為了防止其他 key 值的干擾，我們先執行 flushall 命令清空 Redis 資料庫。

在執行命令之前，我們先把配置檔案中的引數 zset-max-ziplist-entries 修改為 2，然後重啟 Redis 服務。

重啟完成之後依次執行如下命令：

zadd name 1 zs 2 lisi //設定 2 個元素會使用 ziplist
type name //檢視型別
object encoding name //檢視編碼 
    
zadd address 1 beijing 2 shanghai 3 guangzhou 4 shenzhen  //設定4個元素則會使用 skiplist編碼
type address  //檢視型別
object encoding address //檢視編碼

得到如下效果：

總結

本文主要分析了集合物件和有序集合物件的底層儲存結構 intset 和 skiplist 的實現原理，並且重點分析了有序集合如何實現排序以及為何同時使用兩種資料結構（字典和跳錶）同時進行進行儲存資料的原因。

相關文章