Redis字串型別內部編碼剖析

CodeSheep發表於2018-08-09
Redis字串型別

概述

我們平時用 Redis都是處於使用者層面，我們可能會不加思索地操作一個 key-value 對來方便地存取資料，感覺方便之至。但你知道這些資料在背後是如何儲存以及編碼的嗎？ 瞭解清楚了這個問題，將對我們更加高效地使用 Redis具有指導意義。本文開始我們將結合 Redis原始碼來逐個探討Redis五大資料型別的內部編碼機制。

  • 實驗環境：Redis 4.0.10

注： 本文首發於 My 公眾號 CodeSheep ，可 長按 或 掃描 下面的 小心心 來訂閱 ↓ ↓ ↓

CodeSheep · 程式羊

Redis資料型別內部編碼概況

對於 Redis的常用 5 種資料型別（String、Hash、List、Set、sorted set），每種資料型別都提供了 最少兩種 內部的編碼格式，而且每個資料型別內部編碼方式的選擇 對使用者是完全透明的，Redis會根據資料量自適應地選擇較優化的內部編碼格式。

如果想檢視某個鍵的內部編碼格式，可以使用 OBJECT ENCODING keyname 指令來進行，比如：

127.0.0.1:6379> 
127.0.0.1:6379> set foo bar
OK
127.0.0.1:6379> 
127.0.0.1:6379> object encoding foo  // 檢視某個Redis鍵值的編碼
"embstr"
127.0.0.1:6379> 
127.0.0.1:6379> 
複製程式碼

Redis 的每個鍵值內部都是使用一個名字叫做 redisObject 這個 C語言結構體儲存的，其程式碼如下：

redisObject 結構體

解釋如下：

  • type：表示鍵值的資料型別，包括 String、List、Set、ZSet、Hash
  • encoding：表示鍵值的內部編碼方式，從 Redis原始碼看目前取值有如下幾種：
#define OBJ_ENCODING_RAW 0        /* Raw representation */
#define OBJ_ENCODING_INT 1        /* Encoded as integer */
#define OBJ_ENCODING_HT 2         /* Encoded as hash table */
#define OBJ_ENCODING_ZIPMAP 3     /* Encoded as zipmap */
#define OBJ_ENCODING_LINKEDLIST 4 /* No longer used: old list encoding. */
#define OBJ_ENCODING_ZIPLIST 5    /* Encoded as ziplist */
#define OBJ_ENCODING_INTSET 6     /* Encoded as intset */
#define OBJ_ENCODING_SKIPLIST 7   /* Encoded as skiplist */
#define OBJ_ENCODING_EMBSTR 8     /* Embedded sds string encoding */
#define OBJ_ENCODING_QUICKLIST 9  /* Encoded as linked list of ziplists */
複製程式碼
  • refcount：表示該鍵值被引用的數量，即一個鍵值可被多個鍵引用

本文我們就從 Redis最基本的 String型別的內部編碼開始探討！

String型別的內部編碼情況

字串是 Redis最基本的資料型別，Redis 中字串物件的編碼可以是 int，raw 或者 embstr 中的某一種，分別介紹如下：

  • int 編碼：儲存long 型的64位有符號整數
  • embstr 編碼：儲存長度小於44位元組的字串
  • raw 編碼：儲存長度大於44位元組的字串

我們不妨來做個實驗實際看一下：

String的各種內部編碼格式

實際情況就是 Redis 內部會根據使用者給的不同鍵值而使用不同的編碼格式，而這一切對使用者完全透明!

Redis 是使用 SDS（“簡單動態字串”）這個結構體來儲存字串，程式碼裡定義了 5種 SDS結構體：

struct __attribute__ ((__packed__)) sdshdr5 {
    unsigned char flags; /* 3 lsb of type, and 5 msb of string length */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used */
    uint8_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr16 {
    uint16_t len; /* used */
    uint16_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr32 {
    uint32_t len; /* used */
    uint32_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr64 {
    uint64_t len; /* used */
    uint64_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
複製程式碼

可以看出，除了結構體欄位資料型別的不同，其欄位含義相差無幾，其中：

  • len：字串的長度（實際使用的長度）
  • alloc：分配記憶體的大小
  • flags：標誌位，低三位表示型別，其餘五位未使用
  • buf：字元陣列

瞭解了這些基本的資料結構以後，我們就來看看上面例子中：

  • set foo 123
  • set foo abc
  • set foo abcdefghijklmnopqrstuvwxyzabcdeffasdffsdaadsx

這三種情形下 Redis 內部到底是怎麼存資料的！

INT 編碼格式

命令示例： set foo 123

當字串鍵值的內容可以用一個 64位有符號整形 來表示時，Redis會將鍵值轉化為 long型來進行儲存，此時即對應 OBJ_ENCODING_INT 編碼型別。

OBJ_ENCODING_INT 編碼型別內部的記憶體結構可以形象地表示如下：

set foo 123 時鍵值的記憶體結構

而且 Redis 啟動時會預先建立 10000 個分別儲存 0~9999 的 redisObject 變數作為共享物件，這就意味著如果 set字串的鍵值在 0~10000 之間的話，則可以 直接指向共享物件 而不需要再建立新物件，此時鍵值不佔空間！

因此，當執行如下指令時：

set key1 100
set key2 100
複製程式碼

其實 key1 和 key2 這兩個鍵值都直接引用了一個 Redis 預先已建立好的共享 redisObject 物件，就像下面這樣：

共享物件

原始碼之前，了無祕密，我們再對照下面的原始碼，來理解一下上述過程

INT編碼的原始碼

EMBSTR編碼格式

命令示例： set foo abc

Redis 在儲存長度小於 44 位元組的字串時會採用 OBJ_ENCODING_EMBSTR 編碼方式，口說無憑，我們來瞅瞅原始碼：

EMBSTR編碼的判斷條件

從上述程式碼中很容易看出，對於長度小於 44的字串，Redis 對鍵值採用OBJ_ENCODING_EMBSTR 方式，EMBSTR 顧名思義即：embedded string，表示嵌入式的String。從記憶體結構上來講 即字串 sds結構體與其對應的 redisObject 物件分配在 同一塊連續的記憶體空間，這就彷彿字串 sds 嵌入在 redisObject 物件之中一樣，這一切從下面的程式碼即可清楚地看到：

embedded string

因此，對於指令 set foo abc 所設定的鍵值，其記憶體結構示意圖如下：

set foo abc時的鍵值記憶體結構

RAW 編碼格式

指令示例： set foo abcdefghijklmnopqrstuvwxyzabcdeffasdffsdaadsx

正如指令示例，當字串的鍵值為長度大於 44 的 超長字串 時，Redis 則會將鍵值的內部編碼方式改為 OBJ_ENCODING_RAW 格式，這與上面的 OBJ_ENCODING_EMBSTR 編碼方式的不同之處在於 此時動態字串 sds 的記憶體與其依賴的 redisObject 的 記憶體不再連續 了，以 set foo abcdefghijklmnopqrstuvwxyzabcdeffasdffsdaadsx 為例，其鍵值的記憶體結構如下所示：

set foo abcdefghijklmnopqrstuvwxyzabcdeffasdffsdaadsx時鍵值的記憶體結構

到此就講完了最基本的String資料型別的內部編碼情況，怎麼樣，還是挺好理解的吧！

後續我們將繼續剖析 Redis 中 Hash 資料型別的內部編碼格式。

後 記

由於能力有限，若有錯誤或者不當之處，還請大家批評指正，一起學習交流！

作者更多的SpringBt實踐文章在此：

如果有興趣，也可以抽點時間看看作者一些關於容器化、微服務化方面的文章：

可 長按 或 掃描 下面的 小心心 來訂閱 CodeSheep，獲取更多 務實、能看懂、可復現的 原創文 ↓↓↓

CodeSheep · 程式羊

相關文章