記憶體不夠用還要速度快，終於找到可以基於 File 的 Cache 了

一線碼農發表於2020-08-23

一：背景

1. 講故事

18年的時候在做純記憶體專案的過程中遇到了這麼一個問題，因為一些核心資料都是飄在記憶體中，所以記憶體空間對我們來說額外寶貴，但偏偏專案中有些資料需要快取，比如說需要下鑽的報表上的點，基於效能的考慮，不希望採用獨立的快取中介軟體，比如 redis, mongodb，畢竟再怎麼滴還是要走網路io，但直接放在本機記憶體中也不現實，那有沒有均衡於 native cache 和 cache server 之間的方案呢？對的，就是 disk cache，畢竟磁碟IO 的讀寫要遠大於網路IO，更何況配的是 SSD 呢。

二：尋找解決方案

1. 檢索 github

有了 disk cache 這個大方向就可以去 github 上檢索關鍵詞，看看有沒有類似的中介軟體，說實話，java的倒不少，比如著名的 guava，ehcache，不僅有cache的簡單操作，還附帶各種統計資訊，重新整理了對快取認知的三觀哈，尤其是 ehcache 太??了，堆內，堆外，磁碟，分散式通通支援，用 C# 寫的好不容易找到一個 disk cache 還不幸是收費的，氣人哈，用 C# 呼叫 Java 肯定不現實了哈。

2. 使用sqlite作為 disk cache

既然開源社群沒什麼好的東西，看來只能自己封裝一下了，像 ehcache 那種高階的 diskcache 搞不定，用簡單的 sqlite 作為本機的 diskcahe 還是可以的，接下來試試看。


    class DiskCache
    {
        private static readonly string dbFile = $@"{Environment.CurrentDirectory}\mysqlite1.db";
        private static readonly string connectionString = $@"Data Source={dbFile};Version=3";

        //過期資料監測:【一分鐘來一次】
        private static Timer timer = new Timer((arg) =>
        {

        }, null, 1000, 1000 * 60);

        static DiskCache()
        {
            if (!File.Exists(dbFile))
            {
                var schema = @"CREATE TABLE Cache (
                                                  cachekey   VARCHAR (1000) PRIMARY KEY  NOT NULL,
                                                  cachevalue TEXT                        NOT NULL,
                                                  created    DATE                        NOT NULL,
                                                  expried    DATE                        NOT NULL
                                              );";

                using (SQLiteConnection connection = new SQLiteConnection(connectionString))
                {
                    connection.Execute(schema);
                }
            }
        }

        public static void Set<T>(string key, T value, int expiredMinutes)
        {
            using (SQLiteConnection connection = new SQLiteConnection(connectionString))
            {
                var sql = $"delete from Cache where cachekey =@key;" +
                          $"insert into Cache(cachekey,cachevalue,created,expried) values (@cachekey,@cachevalue,@created,@expried)";

                connection.Execute(sql, new
                {
                    key = key,
                    cachekey = key,
                    cachevalue = Newtonsoft.Json.JsonConvert.SerializeObject(value),
                    created = DateTime.Now,
                    expried = DateTime.Now.AddMinutes(expiredMinutes)
                });
            }
        }

        public static T Get<T>(string key)
        {
            using (SQLiteConnection connection = new SQLiteConnection(connectionString))
            {
                var sql = $"select cachevalue from Cache where cachekey=@cachekey and expried > @expried";

                var query = connection.QueryFirstOrDefault(sql, new { cachekey = key, expried = DateTime.Now });

                var json = JsonConvert.DeserializeObject<T>(query.cachevalue);

                return json;
            }
        }
    }

這裡有二個注意點：

因為是做快取，所以資料庫和表的建立都要通過程式自動化，資料庫是否存在判斷 file 檔案是否存在即可。
過期資料的問題，因為我有 expried 欄位，這一點可以學習GC思想，使用 Timer 在後臺定期清理。

有了這些基礎之後，原子化的快取就實現好了，接下來試一下基本的 Get / Set 方法。

這個方案很好的節省了我寶貴的記憶體，同時速度又是 networkio 和 native 之間的一個平衡，算是個不錯的解決辦法吧。

三：aspnetcore 的 EasyCaching

EasyCaching 是園子裡 @Catcher Wong 的作品 [https://www.cnblogs.com/catcher1994/p/10806607.html]，點贊~~~ 看了下提供了很多種 provider，如下圖：

我想後面肯定還會有更多的 provider 出現，如： leveldb，Cassandra，接下來看看這玩意怎麼玩。

1. 安裝使用

在 nuget 上搜一下 EasyCaching.SQLite 安裝即可，接下來就是使用文件： https://easycaching.readthedocs.io/en/latest/SQLite/#2-config-in-startup-class 如下圖：

文件中是採用依賴注入的方式，而我的程式是 console 模式的後端服務，並沒有 ServiceCollection，先模擬著試試看。


        static void Main(string[] args)
        {
            IServiceCollection services = new ServiceCollection();

            services.AddEasyCaching(option =>
            {
                option.UseSQLite(c =>
                 {
                     c.DBConfig = new SQLiteDBOptions
                     {
                         FileName = "demo.db",
                         CacheMode = SqliteCacheMode.Default,
                         OpenMode = SqliteOpenMode.ReadWriteCreate,
                     };
                 }, "m1");
            });

            IServiceProvider serviceProvider = services.BuildServiceProvider();

            var factory = serviceProvider.GetService<IEasyCachingProviderFactory>();

            var cache = factory.GetCachingProvider("m1");

            cache.Set("user", "hello world!", TimeSpan.FromSeconds(20));

            var info = cache.Get<string>("user");

            Console.WriteLine(info);
        }