老司機使用 Redis 快取複雜查詢

發表於2016-04-19

最近上線了一個複雜的報表, 這個報表後面是一個幾百行的 sql 查詢，很不幸但又是預料之中, 這個 sql 查詢效能非常低下，並且需要在網站的一個訪問量非常大的頁面顯示這個 sql 的查詢結果。幸運的是這個查詢結果不需要
實時更新，只要每天更新一次即可, 於是為這個 sql 查詢加上快取就成為了一個很好的優化方法。開始我們使用 Rails.cache 來快取這個查詢結果，Rails.cache 的 backend 配置如下:

  # config/environments/production.rb

  couch_host = YAML.load_file(Rails.root.join("config/couch.yml")).symbolize_keys[:host]
  config.cache_store = :mem_cache_store, couch_host , { :namespace => 'rails_cache' }

# config/environments/production.rb

couch_host = YAML.load_file(Rails.root.join("config/couch.yml")).symbolize_keys[:host]

config.cache_store = :mem_cache_store, couch_host , { :namespace => 'rails_cache' }

  # config/couch.yml

  host: xxx.xxx.xxx.xxx:xxx

# config/couch.yml

host: xxx.xxx.xxx.xxx:xxx

從上面的程式碼可以看出我們使用了 couchdb 作為 Rails.cache 的 backend, 我開始不太清楚為什麼會使用 couchdb, 因為我們的系統中已經使用了 Redis, 並且 Redis 無論是使用舒適度還是效能都不輸 couchdb, 後來我開啟 Gemfile 發現:

 # Gemfile

gem 'rails', '3.0.9'
#gem 'redis-rails', '3.1.3'
#gem "redis-store", "~> 1.0.0"

# Gemfile

gem 'rails', '3.0.9'

#gem 'redis-rails', '3.1.3'

#gem "redis-store", "~> 1.0.0"

我們看到 redis-rails 和 redis-store 都被加在了 Gemfile 裡，然後又被註釋掉了，由此我估計前面的同事也想使用 Redis, 但是由於我們的 Rails 版本過老(現在 Rails 5 都發布了，我們還在使用 Rails 3), 導致 redis-rails 和 redis-store 無法使用，而我們既不想冒升級 Rails 的風險(這個升級的跨度有點大了), 也不願意花時間去改造 redis-store 使其相容 Rails 3(每天改 ticket 已經讓人心力交瘁了,這個藉口讓自己無法反駁)。報表上線之初，沒有什麼問題，後來隨著資料量變大，發現報表展示的速度變慢但由於還可以容忍，也就沒有去花時間去研究速度變慢的原因，直到不久執行 couchdb 的機器莫名當機，造成整個網站 502(前端請求拿不到快取就會去讀資料庫，這個查詢很耗時就一直掛著，請求量一大資料庫就受不住了，導致整個網站不可訪問), 這時候我們決定重新設計下這個報表的快取。我們的設計如下:

使用 Redis 替換 couchdb, 主要原因是對 Redis 熟悉，並且系統中的很多非同步佇列服務用的是 Redis，非常穩定。
前端請求只能從 Redis 中讀取已經被快取的查詢結果，而不能直接讀資料庫，如果快取為空則返回空陣列，這樣做是為了防止資料庫被大量的耗時請求拖垮，保證整個網站的可訪問性。
快取的過期時間設定為 999 天，其實就是快取不過期的意思，並且寫一個 rake task 每天執行一次用於更新 Redis 快取。

這個設計的 2 和 3 步其實就是一個典型的生產&消費模式, rake task 作為生產者每天定時生成一次查詢結果存入 Redis, 前端請求作為消費者通過讀取 Redis 獲得查詢結果供頁面展示。

有了設計我們並不急於編寫程式碼，而是畫一個設計圖，一方面是為了梳理下思路看看設計是否會有缺陷，另一方面是為了更好地編寫程式碼。

設計圖如下: Snip20160326_36

通過設計圖我們可以看到資料是單向流動的, 這樣生產者和消費者是互不干擾的隔離狀態, 前端請求不生產資料，只從 Redis 中拿資料，這樣情況下前端請求對資料庫的訪問壓力幾乎為0。從設計圖中我們也可以看出我們的程式碼大概會
分成三部分:

生產者的程式碼
Redis的程式碼(主要是讀寫 Redis)
消費者的程式碼

其中生產者和消費者都依賴 Redis 的程式碼, 因為兩者都需要和 Redis 產生互動。

Redis 相關程式碼

前面說過由於我們使用的 Rails 版本過低, 將 Redis 整合到 Rails.cache 會是一件比較費力費時的事情，所以我們將直接使用 Reids。

首先配置 Redis,

  # config/redis_store.yml

  cache:
    host: xxx.xxx.xxx.xxx
    port: xxx
    db: 2
    driver: hiredis
    thread_safe: true
    timeout: 200

# config/redis_store.yml

cache:

host: xxx.xxx.xxx.xxx

port: xxx

db: 2

driver: hiredis

thread_safe: true

timeout: 200

  # config/initializers/redis.rb

  $redis = Redis.new(YAML.load_file("#{Rails.root}/config/redis_store.yml").symbolize_keys[:cache])

# config/initializers/redis.rb

$redis = Redis.new(YAML.load_file("#{Rails.root}/config/redis_store.yml").symbolize_keys[:cache])

從上面的程式碼中可以看到我們定義了一個全域性變數 $redis 用來訪問 Redis。

接下來是將 $redis 封裝到一個 service 中，這樣做的目的是方便進行測試，也便於使用及以後的擴充套件。

class ReportCacheService

    def initialize(data = {})

      # 設定過期時間
      @expire_in = data[:expire_in]

      # 強制更新快取，用於生產者生產資料
      @refresh_cache = data[:refresh_cache]
    end

    # block 裡面是資料計算的過程
    def call(&block)
      if @refresh_cache == true
        res = nil
      else
        res = read()
      end

      if res.nil?
        res = block.call
        write(res)
      end

      res
    end

    # 讀快取
    def read
      value = $redis.get(@key)
      if value.present?
      JSON.parse(value)
      end
    end

    # 寫快取
    def write(res)
      value = res.to_json
      value = $redis.set(@key, value)
      $redis.expire(@key, @expire_in)
      true
    end

  end

class ReportCacheService

def initialize(data = {})

# 設定過期時間

@expire_in = data[:expire_in]

# 強制更新快取，用於生產者生產資料

@refresh_cache = data[:refresh_cache]

end

# block 裡面是資料計算的過程

def call(&block)

if @refresh_cache == true

res = nil

else

res = read()

end

if res.nil?

res = block.call

write(res)

end

res

end

# 讀快取

def read

value = $redis.get(@key)

if value.present?

JSON.parse(value)

end

# 寫快取

def write(res)

value = res.to_json

value = $redis.set(@key, value)

$redis.expire(@key, @expire_in)

true

end

這樣我們就完成了 Redis 這部分的程式碼，接下來是生產者的程式碼。

生產者程式碼

我們將和報表相關的業務和邏輯封裝到了一個叫 StmReport 的模型中, 我們為 StmReport 定義了一個 class 方法: warm_cache 用於生產報表資料。

  # app/models/stm_report.rb

  class StmReport

    NON_EXPIRED = 999.days.seconds

    def self.warm_cache(parasm = {})

      # refresh_cache: true 表示強制更新快取，即生產資料
	  # 生產的資料的過期時間是 999 天
      cs  = ReportCacheService.new(key: build_cache_key(params),
                                 refresh_cache: true,
                                 expire_in: NON_EXPIRED)

      cs.call do
	    # do some heavy works
	    ...
	  end

    end

  end

# app/models/stm_report.rb

class StmReport

NON_EXPIRED = 999.days.seconds

def self.warm_cache(parasm = {})

# refresh_cache: true 表示強制更新快取，即生產資料

# 生產的資料的過期時間是 999 天

cs = ReportCacheService.new(key: build_cache_key(params),

refresh_cache: true,

expire_in: NON_EXPIRED)

cs.call do

# do some heavy works

...

end

接著我們編寫一個 rake task，並且使用 crontab 每天定時執行此 rake task 用於生產資料。

  # lib/tasks/cron.rake

  task :warn_stm_report_cache => :environment do

    puts "#{DateTime.now}: start cron warm cache"
    StmReport.warm_cache(qualified: true)
    StmReport.warm_cache(qualified: true, per_page: 50)
    puts "#{DateTime.now}: end cron warm cache"

  end

# lib/tasks/cron.rake

task :warn_stm_report_cache => :environment do

puts "#{DateTime.now}: start cron warm cache"

StmReport.warm_cache(qualified: true)

StmReport.warm_cache(qualified: true, per_page: 50)

puts "#{DateTime.now}: end cron warm cache"

end

生產者的程式碼也完成，接下來是消費者的程式碼。

消費者的程式碼

在本文中，消費的過程即建立報表的過程, 建立報表的過程很自然地也封裝到了 StmReport 模型中,

  class StmReport

    NON_EXPIRED = 999.days.seconds

    def self.create(params = {})
      cs  = ReportCacheService.new(key: build_cache_key(params))

      # 從快取中讀取資料
      items = cs.read

      # 如果快取中沒有資料即返回空陣列，避免從資料庫中查詢資料
	  items = [] if items.nil?

      # do some other works
	  ...
    end

  end

class StmReport

NON_EXPIRED = 999.days.seconds

def self.create(params = {})

cs = ReportCacheService.new(key: build_cache_key(params))

# 從快取中讀取資料

items = cs.read

# 如果快取中沒有資料即返回空陣列，避免從資料庫中查詢資料

items = [] if items.nil?

# do some other works

...

end

這樣整個實現就完成了，重新上線後的報表執行地非常穩定迅速，證明這個實現是成功的。

微服務複雜查詢之快取策略
2021-03-15
微服務快取
使用 Redis 解決“樹”形資料的複雜查詢
2017-09-04
Redis
複雜查詢—子查詢
2020-11-16
Laravel使用MongoDB複雜的查詢
2021-01-14
LaravelMongoDB
複雜查詢語句的使用
2010-07-11
SQL 複雜查詢
2022-03-14
SQL
SQL複雜查詢
2017-04-07
SQL
oracle表複雜查詢
2020-04-04
Oracle
Oracle複雜查詢（三）
2017-03-06
Oracle
Solr複雜查詢一：函式查詢
2020-04-17
Solr函式
mysql查詢快取簡單使用
2021-03-06
MySql快取
JPA的多表複雜查詢
2019-08-03
SQL學習(三）複雜查詢
2020-12-20
SQL
SQL複雜查詢多表連線
2015-04-28
SQL
hibernate的查詢快取和二級快取的配合使用
2017-05-21
快取
方法快取與查詢
2018-06-11
快取
如何使用 Redis 快取
2022-04-20
Redis快取
Laravel使用Redis快取
2021-07-10
LaravelRedis快取
es的複雜查詢測試，使用jest的dsl工具寫查詢語句
2020-12-19
Laravel Query Builder 複雜查詢案例：子查詢實現分割槽查詢 partition by
2018-11-27
LaravelUI
Vert.x Future 解決複雜查詢
2017-12-13
Hibernate對於複雜查詢好用嗎?
2009-04-01
mysql的查詢快取說明
2017-05-29
MySql快取
Mysql 查詢快取 query_cache
2015-01-04
MySql快取
hibernate的查詢快取薦
2010-03-24
快取
查詢(3)--雜湊表(雜湊查詢)
2014-02-22
Django（39）使用redis配置快取
2021-06-01
DjangoRedis快取
直播賣貨系統，使用資料庫查詢快取
2021-07-28
資料庫快取
linux中查詢find命令的複雜用法
2021-09-19
Linux
如何完成複雜查詢的動態構建？
2021-11-17
探討一個比較複雜的查詢
2020-10-19
查詢與排序01,線性查詢,時間複雜度,演算法
2014-07-26
排序時間複雜度演算法
day03-商家查詢快取02
2023-04-20
快取
MySQL查詢快取引數詳解
2016-09-08
MySql快取
Mybatis的二級快取、使用Redis做二級快取
2020-11-12
MyBatis快取Redis
Redis快取擊穿、快取穿透、快取雪崩
2019-10-11
Redis快取穿透
安卓快遞查詢API使用
2017-11-05
安卓API
快取工廠之Redis快取
2016-08-18
快取Redis

老司機使用 Redis 快取複雜查詢

Redis 相關程式碼

生產者程式碼

消費者的程式碼

相關文章