.Net 開源專案 FreeRedis 實現思路之 - Redis 6.0 客戶端快取技術

nicye發表於2020-11-24

寫在開頭

FreeRedis 是一款繼 CSRedisCore 之後重寫的 .NET redis 客戶端開源元件,以 MIT 協議開源託管於 github,目前支援 .NET 5、.NETCore 2.1+、.NETFramework 4.0+、Xamarin,有可能已經支援 AOT 編譯(目前未測試,但會往這個方向走)。

  • ? 所有方法名與 redis-cli 保持一致
  • ? 支援 Redis 叢集(服務端要求 3.2 及以上版本)
  • ⛳ 支援 Redis 哨兵模式
  • ? 支援主從分離(Master-Slave)
  • ? 支援釋出訂閱(Pub-Sub)
  • ? 支援 Redis Lua 指令碼
  • ? 支援管道(Pipeline)
  • ? 支援事務
  • ? 支援 GEO 命令(服務端要求 3.2 及以上版本)
  • ? 支援 STREAM 型別命令(服務端要求 5.0 及以上版本)
  • ⚡ 支援本地快取(Client-side-cahing,服務端要求 6.0 及以上版本)
  • ? 支援 Redis 6 的 RESP3 協議

github: https://github.com/2881099/FreeRedis

瞭解 Redis

Redis是一個開源的使用C語言編寫、開源、支援網路、可基於記憶體亦可持久化的日誌型、高效能的Key-Value資料庫,並提供多種語言的API。它通常被稱為 資料結構伺服器 ,因為值(value)可以是 字串(string)、雜湊(map)、 列表(list)、集合(sets)、有序集合(sorted sets)、地理位置(Geo)、訊息列隊(Streams)等型別。

與其他 key - value 快取產品有以下三個特點:

  • Redis支援資料的持久化,可以將記憶體中的資料保持在磁碟中,重啟的時候可以再次載入進行使用。
  • Redis不僅僅支援簡單的key-value型別的資料,同時還提供list,set,zset,hash等資料結構的儲存。
  • Redis支援資料的備份,即master-slave模式的資料備份。

優勢:

  • 效能極高 – Redis能讀的速度是110000次/s,寫的速度是81000次/s 。
  • 豐富的資料型別 – Redis支援二進位制案例的 Strings, Lists, Hashes, Sets, Ordered Sets, Geo, Streams 資料型別操作。
  • 原子 – Redis的所有操作都是原子性的,同時Redis還支援對幾個操作全並後的原子性執行。
  • 豐富的特性 – Redis還支援 publish/subscribe, 通知, key 過期等等特性。

本文看點

Redis 6.0 是一個可期的版本,增加了 RESP3.0 協議,ACL 許可權控制,從原有的單執行緒改為多執行緒(效能提升2-3倍)等諸多更新。今天向大家介紹他的另一個重要特性:客戶端快取技術,講解如何落設計在 .NET 中。

為什麼需要客戶端快取?

我們都知道,使用 Redis 進行資料的快取的主要目的是減少對 MySQL 等資料庫的訪問,提供更快的訪問速度,畢竟 《Redis in Action》中提到的, Redis 的效能大致是普通關係型資料庫的 10 ~ 100 倍。

所以,如下圖所示,Redis 用來儲存熱點資料,Redis 未命中,再去訪問資料庫,這樣可以應付大多數情況下的效能要求。

但是,Redis 也有其效能上限,並且訪問 Redis 必然有一定的網路 I/O 以及序列化反序列化損耗。所以,往往會引入程式快取,將最熱的資料儲存在本地,進一步加快訪問速度。

如上圖所示,Guava Cache 等程式快取作為一級快取,Redis 作為二級快取:

  • 先去 Guava Cache 中查詢資料,如果命中則直接返回。
  • Guava Cache 中未命中,則再去 Redis 中查詢,如果命中則返回資料,並在 Guava Cache 中設定此資料。
  • Redis 也未命中的話,只有去 MySQL 中查詢,然後依次將資料設定到 Redis 和 Guava Cache 中。

只使用 Redis 分散式快取時,遇到資料更新時,應用程式更新完 MySQL 中的資料,可以直接將 Redis 中對應快取失效掉,保持資料的一致性。

而程式內快取的資料一致性比分散式的快取面臨更大的挑戰。資料更新的時候,如何通知其他程式也更新自己的快取呢?

如果按照分散式快取的思路,我們可以設定極短的快取失效時間,這樣不必實現複雜的通知機制。

但是不同程式內的資料依然會面臨不一致的問題,並且不同程式快取失效時間不統一,同一個請求到了不同的程式,可能出現反覆幻讀的情況。

落地分析

如上當 key 失效的時候,Redis 6.0 提供了三種模式通知客戶端,普通模式、廣播模式、轉發模式。

1、普通模式

普通模式依賴 RESP3.0 協議,需要在連線成功時使用 hello 命令開啟 RESP3.0 模式。

hello 3

client tracking on

落地在 .NET 之中時,我們必然是使用連線池技術,那麼每個連線都必須使用以上的兩個命令,此時每個連線是一個迴圈讀的操作,如下:

while (true)
{
    var msg = await redisSocket.ReceiveAsync(); //等待 key 失效的通知
}

本來我們可以比較簡單的這樣執行命令:

await redisSocket.SendAsync("GET key1");
await redisSocket.ReceiveAsync(); //讀取響應的結果

可以看出來,兩段程式碼同時讀,會導致讀取的結果錯亂。如何解決還需要三思,而我們 PASS 了這種模式。


2、廣播模式

廣播模式和普通模式差不多,都需要依賴 RESP3.0 協議。這種方式下 Redis 服務端不再消耗過多記憶體儲存資訊,而是傳送更多的失效訊息給客戶端。

與普通模式必須獲取一次鍵的規則不同,廣播模式下,只要鍵被修改或刪除,符合規則的客戶端都會收到失效訊息,而且是可以多次獲取的

與普通模式相比,雖然少儲存了一些資料,但是由於需要對字首規則進行匹配,會消耗一定的 CPU 資源,所以注意別使用過長的字首。

廣播模式和普通模式一樣,需要解決命令同時讀取的問題(請見上面的兩段程式碼)。


3、轉發模式

Redis 為了相容 RESP2 協議提供了轉發(Redirect)模式,不再使用 RESP3 原生支援 PUSH 訊息,而是將訊息通過 Pub/Sub 通知給另外一個客戶端,具體流程如下圖所示。

public void Start()
{
    //訂閱 __redis__:invalidate
    _sub = _cli.Subscribe("__redis__:invalidate", InValidate) as IPubSubSubscriber;

    //攔截快取
    _cli.Interceptors.Add(() => new MemoryCacheAop(this));

    //當網路斷開的時候,清空本地快取
    _cli.Unavailable += (_, e) =>
    {
        lock (_dictLock) _dictSort.Clear(); 
        _dict.Clear();
    };
    _cli.Connected += (_, e) =>
    {
        //最關鍵的一個命令,否則 __redis__:invalidate 無法收到訂閱訊息
        e.Client.ClientTracking(true, _sub.RedisSocket.ClientId, null, false, false, false, false);
    };
}

void InValidate(string chan, object msg)
{
    var keys = msg as object[];
    foreach (var key in keys) //移除本地快取
        RemoveCache(string.Concat(key));
}

MemoryCacheAop 是 FreeRedis 已經實現好的攔截器,主要實現攔截命令執行,獲取本地記憶體。完整程式碼:https://github.com/2881099/FreeRedis/blob/master/src/FreeRedis/ClientSideCaching.cs

測試功能

static Lazy<RedisClient> _cliLazy = new Lazy<RedisClient>(() =>
{
    var r = new RedisClient("192.168.164.10:6379,database=1"); //redis 6.0
    r.Serialize = obj => JsonConvert.SerializeObject(obj);
    r.Deserialize = (json, type) => JsonConvert.DeserializeObject(json, type);
    r.Notice += (s, e) => Console.WriteLine(e.Log);
    return r;
});
static RedisClient cli => _cliLazy.Value;

static void Main(string[] args)
{
    cli.UseClientSideCaching(new ClientSideCachingOptions
    {
        //本地快取的容量
        Capacity = 3,
        //過濾哪些鍵能被本地快取
        KeyFilter = key => key.StartsWith("Interceptor"),
        //檢查長期未使用的快取
        CheckExpired = (key, dt) => DateTime.Now.Subtract(dt) > TimeSpan.FromSeconds(2)
    });

    cli.Set("Interceptor01", "123123"); //redis-server

    var val1 = cli.Get("Interceptor01"); //redis-server
    var val2 = cli.Get("Interceptor01"); //本地
    var val3 = cli.Get("Interceptor01"); //斷點等3秒,redis-server

    cli.Set("Interceptor01", "234567"); //redis-server
    var val4 = cli.Get("Interceptor01"); //redis-server
    var val5 = cli.Get("Interceptor01"); //本地

    var val6 = cli.MGet("Interceptor01", "Interceptor02", "Interceptor03"); //redis-server
    var val7 = cli.MGet("Interceptor01", "Interceptor02", "Interceptor03"); //本地
    var val8 = cli.MGet("Interceptor01", "Interceptor02", "Interceptor03"); //本地

    cli.MSet("Interceptor01", "Interceptor01Value", "Interceptor02", "Interceptor02Value", "Interceptor03", "Interceptor03Value");  //redis-server
    var val9 = cli.MGet("Interceptor01", "Interceptor02", "Interceptor03");  //redis-server
    var val10 = cli.MGet("Interceptor01", "Interceptor02", "Interceptor03");  //本地

    //以下 KeyFilter 返回 false,從而不使用本地快取
    cli.Set("123Interceptor01", "123123"); //redis-server

    var val11 = cli.Get("123Interceptor01"); //redis-server
    var val12 = cli.Get("123Interceptor01"); //redis-server
    var val23 = cli.Get("123Interceptor01"); //redis-server
    Console.ReadKey();
}

cli.Notice 事件在控制檯輸出內容:

Not connected 代表沒有經過 redis-server


192.168.164.10:6379   > CLIENT TRACKING ON REDIRECT 46
FreeRedis.RedisResult
(0ms)

192.168.164.10:6379   > SET Interceptor01 123123
OK
(24ms)

192.168.164.10:6379   > GET Interceptor01
123123
(2ms)

Not connected         > GET Interceptor01
123123
(0ms)

192.168.164.10:6379   > GET Interceptor01
123123
(0ms)

192.168.164.10:6379   > SET Interceptor01 234567
OK
(0ms)

192.168.164.10:6379   > GET Interceptor01
234567
(0ms)

Not connected         > GET Interceptor01
234567
(0ms)

192.168.164.10:6379   > MGET Interceptor01 Interceptor02 Interceptor03
[234567, Interceptor02Value, Interceptor03Value]
(0ms)

Not connected         > MGET Interceptor01 Interceptor02 Interceptor03
[234567, Interceptor02Value, Interceptor03Value]
(0ms)

Not connected         > MGET Interceptor01 Interceptor02 Interceptor03
[234567, Interceptor02Value, Interceptor03Value]
(0ms)

192.168.164.10:6379   > MSET Interceptor01 Interceptor01Value Interceptor02 Interceptor02Value Interceptor03 Interceptor03Value
False
(3ms)

192.168.164.10:6379   > MGET Interceptor01 Interceptor02 Interceptor03
[Interceptor01Value, Interceptor02Value, Interceptor03Value]
(1ms)

Not connected         > MGET Interceptor01 Interceptor02 Interceptor03
[Interceptor01Value, Interceptor02Value, Interceptor03Value]
(0ms)

192.168.164.10:6379   > SET 123Interceptor01 123123
OK
(0ms)

192.168.164.10:6379   > GET 123Interceptor01
123123
(0ms)

192.168.164.10:6379   > GET 123Interceptor01
123123
(0ms)

192.168.164.10:6379   > GET 123Interceptor01
123123
(0ms)

寫在最後

FreeRedis 是一款繼 CSRedisCore 之後重寫的 .NET redis 客戶端開源元件,以 MIT 協議開源託管於 github,目前支援 .NET 5、.NETCore 2.1+、.NETFramework 4.0+、Xamarin,有可能已經支援 AOT 編譯(目前未測試,但會往這個方向走)。

github: https://github.com/2881099/FreeRedis

謝謝支援!!

相關文章