手把手教你玩兒一下 Redis Module 之模組解讀

CryptoPanda發表於2018-08-12
Redis

Redis 現在的 Stable 版本是4.0.11, 對Redis比較關注的童鞋都知道,4.0引入了 Module 。
我們先一起看看 Redis 4.0都更新了啥?

官方說法

Redis 4.0 was released as GA in July 2017. Contains several big improvements: a modules system, much better replication (PSYNC2), improvements to eviction policies, threaded DEL/FLUSH, mixed RDB+AOF format, Raspberry Pi support as primary platform, the new MEMORY command, Redis Cluster support for Nat/Docker, active memory defragmentation, memory usage and performance improvements, much faster Redis Cluster key creation, many other smaller features and a number of behavior fixed.

簡單總結一下:

  1. 自定義擴充套件 redis 的模組, 當然相比 redis lua 指令碼來說，還是有些學習成本的…

  2. psync2 他的好處在於 redis 主從切換後，不需要重新進行 重新 fullsync 同步，只需要部分同步，有點類似 binlog 那種. 具體實現還沒看，阿里自己是透過 timestamp 時間戳實現的.

  3. memory 指令可以估算內容大小

  4. 非資料命令的非同步執行，我們知道 redis 處理請求是單執行緒的，執行資料偏大的 flush 及 del 會阻塞的，redis 4.0 加了非同步操作的功能….

file

file

file

模組可以做什麼

1. 站在巨人的肩膀上 (訪問 Redis 資料空間)

官方模組教程 https://redis.io/topics/modules-intro

Redis 提供了兩套資料訪問的 API，一套是較高層的，類似於 Lua 指令碼的 API，往往用來呼叫 API 沒有提供支援的 Redis 命令。
另一套是底層 API，速度很快，基本和 Redis 原生命令一樣快，也提供了一些對各種資料結構的進行處理的函式，是推薦的資料訪問方式。

高層 API 使用RedisModule_Call呼叫 Redis 命令，如：

RedisModuleCallReply *reply;
reply = RedisModule_Call(ctx,"INCR","sc",argv[1],"10");

底層 API 使用RedisModule_OpenKey開啟並獲取 Key 指標繼而進行後續處理，如：

RedisModuleKey *key;
key = RedisModule_OpenKey(ctx,"somekey",REDISMODULE_READ);

2. 走的更遠 (實現新的資料結構)

對於簡單的資料結構，可以使用 DMA(direct memory access) 將結構編碼儲存到 Redis 的 String 型別中，如：

// 獲取字串記憶體指標繼而修改其內容
size_t len;
char *myptr = RedisModule_StringDMA(key,&len,REDISMODULE_WRITE);
//  增大，減少或建立字串
RedisModule_StringTruncate(key,1024);

也可以使用 API 註冊並實現新的資料結構，可以控制記憶體的分配與釋放，RDB 序列化，AOF 重寫等。這裡是 Redis 官方的一個例子，好奇的同學可以自己點進去看看。

3. 靈活擴充 (實現阻塞命令)

阻塞命令（Blocking commands）會阻塞客戶端，直到某個期望的事件發生才會返回，比如 List 的BLPOP命令。模組 API 也提供了實現阻塞命令的功能。
Redis 在內建命令集中有一些阻塞命令。其中最常用的是 BLPOP（或對稱 BRPOP），它阻止等待到達列表的元素。
關於阻塞命令的有趣事實是它們不會阻塞整個伺服器，而只是阻塞它們的客戶端。通常阻塞的原因是我們期望發生一些外部事件：這可能是 Redis 資料結構中的一些變化，例如 BLPOP 情況，執行緒中發生的長計算，從網路接收一些資料，等等。

詳細見文件: https://redis.io/topics/modules-blocking-o...

4. 自由發揮 (載入模組)

模組有兩種載入方式，一是在配置檔案redis.conf中使用
loadmodule /path/to/mymodule.so 在 Redis 啟動時載入。

檢視載入的模組:
file

另一種方式在執行時使用命令 MODULE LOAD /path/to/panda.so 載入。

file

使用MODULE UNLOAD panda解除安裝。

file

在載入的模組的時候可以傳入引數，如：loadmodule panda.so hello panda 1234，
引數會被傳入模組的OnLoad方法中。

5. 人多力量大 (對 Redis Cluster 的支援)

官方文件提供了兩個API

RedisModule_IsKeysPositionRequest(ctx);
RedisModule_KeyAtPos(ctx,pos);

在首次RedisModule_CreateCommand() 時需要 呼叫API方法 

int RedisModule_CreateCommand(RedisModuleCtx *ctx, const char *name, RedisModuleCmdFunc cmdfunc, const char *strflags, int firstkey, int lastkey, int keystep);

其中的strflags引數的一個 flag 為getkeys-api，意思是這個方法是否支援返回引數中 key。一個方法接收的引數有多個，但並不是每一個都是 key，比如LRANGE key start stop中，只有第一個引數是 key。而 Redis 需要知道一個命令涉及到哪些 key，才能在叢集中找到對應的伺服器並執行命令。

可以參考這個模組的程式碼 https://github.com/RedisLabsModules/redex/...

官方模組倉庫 (Redis Module Hub)

官方模組倉庫收錄很多優質的模組:
file

新資料結構，如：

rejson 提供了對原生 JSON 格式支援，允許對 JSON 資料內的值進行獲取與修改

Redis Graph 新增了對圖資料庫的支援
等等

對現有資料結構功能的擴充套件，如：

rxkeys 提供了按正規表示式批次獲取與刪除條目的功能
rxhashes 提供了在 Hash 中改變現有條目的值並返回原值的原子操做
rxlists 提供了 7 個新的列表操作方法。

百聞不如一run

寫了一個非常簡單的Redis Module 用於學習

A simple redis module , Just for fun

Inspire And Thanks

https://redis.io/topics/modules-intro
https://redislabs.com/community/redis-modu...
https://github.com/erans/redissnowflake
https://github.com/dayeshisir/redis_module...

安裝

1. 克隆程式碼

git clone https://github.com/wujunze/redis-module-panda.git

2. make

make

file

3. 載入模組

redis 的版本必須大於4.0

file

檢視已經安裝的模組

file

載入模組

file

Run

127.0.0.1:6379> panda.hello

file

測試命令

file

解除安裝模組

file

完整的測試過程

file

程式碼倉庫: https://github.com/wujunze/redis-module-pa...

覺得有收穫請star哦, 還有下集,Thanks

Inspire And Thanks

https://redis.io/topics/modules-intro

https://redislabs.com/community/redis-modu...

https://liangshuang.name/2017/08/19/redis-...

https://github.com/erans/redissnowflake

https://github.com/dayeshisir/redis_module...

筆者才疏學淺,倉促成文,如有不當之處,還請大家斧正.

本作品採用《CC 協議》，轉載必須註明作者和本文連結

相關文章