Redis使用場景
目錄
快取
- 快取穿透
- 快取擊穿
- 快取雪崩
- 雙寫一致性
- 持久化
- 資料過期策略
- 資料淘汰策略
分散式鎖
- 實現原理(setnx、redission)
其他
- 哨兵模式、叢集腦裂
- 分片叢集、資料讀取規則
- redis是單執行緒的卻很快
快取
一、快取穿透
定義:查詢一個不存在的資料,Mysql查詢不到資料也不會直接寫入快取,導致每次請求都要查資料庫
兩個解決方案:
-
快取空資料
優點:簡單
缺點:消耗記憶體,可能發生不一致問題 -
使用布隆過濾器(作用:攔截不存在的資料)
優點:記憶體佔用較少
缺點:實現複雜,存在誤判
舉例說明:根據文章id查詢文章,請求路徑如下:
一個get請求: api/enws/getById/1
正常快取流程:根據id到redis中爬取資料,若找到資料則返回結果;若redis中未找到,再到資料庫中查詢,將結果返回,返回前需將資料庫中查到的資料儲存於redis中
快取穿透是查詢一個不存在的資料,Mysql查詢不到資料也不會直接寫入快取,導致每次請求都要查資料庫。導致這種情況一般是由於系統被惡意攻擊,請求路徑被獲取後製造假id(0、複數、很大的值),瘋狂衝擊資料庫,資料庫併發並不高,請求達到一定量就會造成當機
關於布隆過濾器
二、快取擊穿
定義:給某個key設定過期時間,當key過期時,剛好這個時間點key有大量的併發請求,這些併發請求可能瞬間把DB壓垮。
雖然我們再查詢時把資料同步到redis,但可能在快取重建時,存入的是多個表彙總的結果,可能需要分組統計花費較長的時間,比如花費了50毫秒,這時若有大量請求資料庫是承受不住的。
兩個解決方案:
- 互斥鎖
- 邏輯過期
互斥鎖:強一致性、效能差
比如:跟錢相關的業務需要保證強一致性
互斥鎖文字描述:執行緒1請求查詢,在redis中未查詢到快取資料,於是獲取互斥鎖,查詢資料庫重建快取資料,寫入快取,釋放鎖;執行緒1進行的同時執行緒2也請求查詢未命中,於是獲取互斥鎖但失敗了,只能休眠會再一直重試到快取命中。
互斥鎖的作用:確保任意時刻只有一個執行緒可以訪問共享資源,從而避免資料競爭和不一致問題。
邏輯過期:高可用、效能優
比如:網際網路行業,更加註重使用者體驗
邏輯過期文字描述:執行緒1查詢快取,發現邏輯時間已過期,獲取互斥鎖後,開啟新執行緒2查詢資料庫重建快取資料、寫入快取並重置邏輯過期時間、釋放鎖,同時執行緒1中繼續並返回過期資料。執行緒1進行的同時執行緒3也查詢發現邏輯時間過期,獲取互斥鎖失敗後返回過期資料。當執行緒4命中快取並沒有過期,就可以獲得最新查詢資料了。
三、快取雪崩
定義:指同一時段大量快取key同時失效或Redis服務當機,導致大量請求達到資料庫造成巨大壓力。
解決方案
- 給不同key的TTL新增隨機值(給不同key設定不同的過期時間)
- 利用redis叢集服務的可用性,比如哨兵模式、叢集模式(解決redis當機問題)
- 給快取業務新增降級限流策略,例如ngxin、spring cloud gateway
- 給業務新增多級快取,例如Guava、Caffeine
降級可作為系統的保底策略,適用於穿透、擊穿、雪崩
四、雙寫一致性
定義:當修改了資料庫資料也要更新快取的資料,保持快取和資料庫的資料一致
- 讀操作:快取命中,直接返回;快取未命中查詢資料庫,寫入快取,設定超時時間
- 寫操作:延遲雙刪
先刪除快取,還是先修改資料庫?
先刪除快取,再修改資料庫
- 正常情況:
- 出現髒資料情況:
修改資料庫資料前被其他執行緒寫入快取,導致快取與資料庫資料不一致
先修改運算元據庫,再刪除快取
-
正常情況:
-
出現髒資料情況:
執行緒1得到的返回的結果寫入快取,與執行緒2更新的資料庫資料對不上
所以不管先刪除快取,還是先修改資料庫都會出現髒資料,應該採取延遲雙刪的方法,即刪除兩次快取,可以降低髒資料的出現。延遲刪除是因為資料庫是主存模式,延遲刪除讓主節點把資料同步到從節點,但延遲刪除也只是控制了一部分髒資料的風險,由於延遲時間不好確認,也有髒資料的風險,做不到絕對的強一至。
如何保持強一致性?
- 可以採用分散式鎖(互斥鎖)
強一致,效能低
一般存入快取的資料都是讀多寫少,用讀寫鎖來進行控制
- 共享鎖:加鎖後其他執行緒可以共享讀操作
- 排他鎖:加鎖後阻塞其他執行緒讀寫操作
具體程式碼操作:
- 讀操作
- 寫操作
- 非同步通知保證資料的最終一致性
利用非同步通知解決資料同步問題
- MQ
- canal
它是基於mysql的主從同步實現
當有資料修改寫入資料庫後,資料庫一旦變化就會記錄到BINLOG日誌檔案中,cannal透過binlog資料檔案獲取變化,我們就可以在快取服務獲取變化的資料,然後更新到快取
五、持久化
兩種方式:RDB、AOF
- RDB(redis資料備份檔案,也叫資料快照)
將記憶體中的資料存到磁碟中,當redis例項故障重啟後,從磁碟讀取快照檔案,恢復資料
人工主動備份:
redis內部有觸發RBG的機制,可以在redis.conf檔案中找到
- AOF(追加檔案,redis處理的每一個命令都記錄在AOF檔案,可看作是命令日誌檔案)
六、資料過期策略
Redis過期刪除策略:惰性刪除 + 定期刪除兩種策略配合使用
- 惰性刪除
定義:訪問key時再判斷是否過期,過期則刪除,反之返回key
優點:對CPU友好
缺點:對記憶體不友好
- 定期刪除
定義:每隔一段時間,會從一定數量的資料庫中取出一定數量的隨機key進行檢查,並刪除其中的過期key(隨之時間推一會遍歷所有key,把所有過期key刪除)
- 定期刪除分兩種模式:SLOW、FAST
SLOW模式是定時任務,執行頻率預設為10hz,每次不超過25ms,以透過修改配置檔案redis.conf的hz選項來調整次數
FAST模式執行頻率不固定,但兩次間隔不低於2ms,每次耗時不好過1ms
優點:可透過限制刪除操作執行時長和頻率減少刪除操作對CPU的影響,另外定期刪除能有效釋放過期鍵佔用的記憶體
缺點:難以確定刪除操作執行的時長和頻率
七、資料淘汰策略
定義:當redis記憶體不足想新增新key,會按照某種規則將記憶體資料刪除,這種資料刪除規則被成為記憶體的淘汰策略
- redis支援8中不同策略來選擇刪除key
- noeviction:不淘汰任何key,但記憶體滿不語序寫入新資料,預設策略
使用建議