一：背景

1. 講故事

18年的時候在做純記憶體專案的過程中遇到了這麼一個問題，因為一些核心資料都是飄在記憶體中，所以記憶體空間對我們來說額外寶貴，但偏偏專案中有些資料需要快取，比如說需要下鑽的報表上的點，基於效能的考慮，不希望採用獨立的快取中介軟體，比如 redis, mongodb，畢竟再怎麼滴還是要走網路io，但直接放在本機記憶體中也不現實，那有沒有均衡於 native cache 和 cache server 之間的方案呢？對的，就是 disk cache，畢竟磁碟IO 的讀寫要遠大於網路IO，更何況配的是 SSD 呢。

二：尋找解決方案

1. 檢索 github

有了 disk cache 這個大方向就可以去 github 上檢索關鍵詞，看看有沒有類似的中介軟體，說實話，java的倒不少，比如著名的 guava，ehcache，不僅有cache的簡單操作，還附帶各種統計資訊，重新整理了對快取認知的三觀哈，尤其是 ehcache 太nb了，堆內，堆外，磁碟，分散式通通支援，用 C# 寫的好不容易找到一個 disk cache 還不幸是收費的，氣人哈，用 C# 呼叫 Java 肯定不現實了哈。

2. 使用sqlite作為 disk cache

既然開源社群沒什麼好的東西，看來只能自己封裝一下了，像 ehcache 那種高階的 diskcache 搞不定，用簡單的 sqlite 作為本機的 diskcahe 還是可以的，接下來試試看。



    
class 
DiskCache

    {

        
private 
static 
readonly 
string dbFile = 
$@"
{Environment.CurrentDirectory}\mysqlite1.db";

        
private 
static 
readonly 
string connectionString = 
$@"Data Source=
{dbFile};Version=3";



        
//過期資料監測:【一分鐘來一次】


        private static Timer timer = new Timer((arg) =>


        {




        }, null, 1000, 1000 * 60);




        static DiskCache()


        {


            if (!File.Exists(dbFile))


            {


                var schema = @"CREATE TABLE Cache (


                                                  cachekey   VARCHAR (1000) PRIMARY KEY  NOT NULL,


                                                  cachevalue TEXT                        NOT NULL,


                                                  created    DATE                        NOT NULL,


                                                  expried    DATE                        NOT NULL


                                              );";




                using (SQLiteConnection connection = new SQLiteConnection(connectionString))


                {


                    connection.Execute(schema);


                }


            }


        }




        public static void Set<T>(string key, T value, int expiredMinutes)


        {


            using (SQLiteConnection connection = new SQLiteConnection(connectionString))


            {


                var sql = $"delete from Cache where cachekey =@key;" +


                          $"insert into Cache(cachekey,cachevalue,created,expried) values (@cachekey,@cachevalue,@created,@expried)";




                connection.Execute(sql, new


                {


                    key = key,


                    cachekey = key,


                    cachevalue = Newtonsoft.Json.JsonConvert.SerializeObject(value),


                    created = DateTime.Now,


                    expried = DateTime.Now.AddMinutes(expiredMinutes)


                });


            }


        }




        public static T Get<T>(string key)


        {


            using (SQLiteConnection connection = new SQLiteConnection(connectionString))


            {


                var sql = $"select cachevalue from Cache where cachekey=@cachekey and expried > @expried";




                var query = connection.QueryFirstOrDefault(sql, new { cachekey = key, expried = DateTime.Now });




                var json = JsonConvert.DeserializeObject<T>(query.cachevalue);




                return json;


            }


        }


    }

這裡有二個注意點：

因為是做快取，所以資料庫和表的建立都要透過程式自動化，資料庫是否存在判斷 file 檔案是否存在即可。
過期資料的問題，因為我有 expried 欄位，這一點可以學習GC思想，使用 Timer 在後臺定期清理。

有了這些基礎之後，原子化的快取就實現好了，接下來試一下基本的 Get / Set 方法。

這個方案很好的節省了我寶貴的記憶體，同時速度又是 networkio 和 native 之間的一個平衡，算是個不錯的解決辦法吧。

三：aspnetcore 的 EasyCaching

EasyCaching 是園子裡 @Catcher Wong 的作品 [https://www.cnblogs.com/catcher1994/p/10806607.html]，點贊~~~ 看了下提供了很多種 provider，如下圖：

我想後面肯定還會有更多的 provider 出現，如： leveldb，Cassandra，接下來看看這玩意怎麼玩。

1. 安裝使用

在 nuget 上搜一下 EasyCaching.SQLite 安裝即可，接下來就是使用文件：如下圖：

文件中是採用依賴注入的方式，而我的程式是 console 模式的後端服務，並沒有 ServiceCollection，先模擬著試試看。



        
static 
void Main(
string[] args)

        {

            IServiceCollection services = 
new ServiceCollection();



            services.AddEasyCaching(

option =>

            {

                option.UseSQLite(

c =>

                 {

                     c.DBConfig = 
new SQLiteDBOptions

                     {

                         FileName = 
"demo.db",

                         CacheMode = SqliteCacheMode.Default,

                         OpenMode = SqliteOpenMode.ReadWriteCreate,

                     };

                 }, 
"m1");

            });



            IServiceProvider serviceProvider = services.BuildServiceProvider();



            
var factory = serviceProvider.GetService<IEasyCachingProviderFactory>();



            
var cache = factory.GetCachingProvider(
"m1");



            cache.Set(
"user", 
"hello world!", TimeSpan.FromSeconds(
20));



            
var info = cache.Get<
string>(
"user");



            Console.WriteLine(info);

        }

接下來用 SQLiteStudio 開啟 demo.db 看一下資料呈現，如下圖：

可以看到人家的框架比我的多了一個 name 欄位，看樣子是給多個 cache 做隔離用的，不過這裡貌似有三個需要最佳化的地方。

並不是每一個程式都要使用依賴注入的方式，提供更便捷的方式初始化就更好了。
看了下原始碼，並沒有找到可以定期刪除過期資料的業務邏輯。
建議提供一些 cache 的統計資訊，如命中次數，某一個key最後命中時間等等時分統計圖。

四：總結

可能很多人說都什麼年代了還用 disk cache，這偏偏這萬千世界啥需求都有，這幾年開源專案越來越多，社群向好，值得點贊。

記憶體小還要速度快，終於找到可以基於File的Cache了

相關文章