【長文】帶你搞明白Redis

.NET快速开发框架發表於2024-06-20

本文使用第一人稱來介紹Redis

一、概述

Redis,英文全稱是Remote Dictionary Server(遠端字典服務),是一個開源的使用ANSI C語言編寫、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value資料庫,並提供多種語言的API。

與MySQL資料庫不同的是,Redis的資料是存在記憶體中的。它的讀寫速度非常快,每秒可以處理超過10萬次讀寫操作。因此redis被廣泛應用於快取,另外,Redis也經常用來做分散式鎖。除此之外,Redis支援事務、持久化、LUA 指令碼、LRU 驅動事件、多種叢集方案。

redis

提及我的誕生,我與關聯式資料庫MySQL之間有著不解之緣。在我尚未降臨這個世界之前,MySQL歷經艱辛,伴隨著網際網路的飛速發展,它所承載的資料量日益龐大,使用者請求也如潮水般洶湧而至。每一次的使用者請求,都化作了對它無盡的讀寫挑戰,使得MySQL備受煎熬。特別是在“雙11”、“618”這樣的全民購物狂歡節,對MySQL而言,無疑是難熬的考驗時刻。

後來,MySQL向我透露了一個秘密。它告訴我,其實大多數的使用者請求都是讀取操作,而且往往都是對同一資料的反覆查詢,這導致它不得不花費大量時間進行磁碟I/O操作,這無疑是一種巨大的資源浪費。

有人開始深思,是否可以借鑑CPU的工作原理,為資料庫也新增一個快取機制呢?於是,我便應運而生,踏上了這個世界的舞臺。

自誕生之初,我便與MySQL結下了深厚的友誼。我們攜手並肩,共同出現在後端伺服器的舞臺上。每當應用程式需要從MySQL查詢資料時,它們會首先在我這裡進行登記。當再次需要這些資料時,它們會首先向我發出請求。如果我這裡有它們所需的資料,它們便無需再勞煩MySQL;若我這裡沒有,它們才會轉向MySQL尋求幫助。

如此,我便成為了MySQL的得力助手,與它共同應對著日益增長的資料挑戰。我們攜手前行,共同書寫著資料庫世界的輝煌篇章。
redis使用

二、支援的資料結構

大多數小夥伴都知道,為了方便使用,我支援以下這五種基本型別:

  • String(字串)
  • Hash(雜湊)
  • List(列表)
  • Set(集合)
  • zset(有序集合)

支援的資料結構

string

字串最基礎的資料結構。字串型別的值實際可以是字串(簡單的字串、複雜的字串(例如JSON、XML))、數字 (整數、浮點數),甚至是二進位制(圖片、音訊、影片),但是值最大不能超過512MB。

字串主要有以下幾個典型使用場景:

  • 快取功能
  • 計數
  • 共享Session
  • 限速

hash

雜湊型別是指鍵值本身又是一個鍵值對結構。

雜湊主要有以下典型應用場景:

  • 快取使用者資訊
  • 快取物件

list

列表(list)型別是用來儲存多個有序的字串。列表是一種比較靈活的資料結構,它可以充當棧和佇列的角色

list

列表主要有以下幾種使用場景:

  • 訊息佇列
  • 文章列表

set

集合(set)型別也是用來儲存多個的字串元素,但和列表型別不一 樣的是,集合中不允許有重複元素,並且集合中的元素是無序的。

集合主要有如下使用場景:

  • 標籤(tag)
  • 共同關注

sorted set

有序集合中的元素可以排序。但是它和列表使用索引下標作為排序依據不同的是,它給每個元素設定一個權重(score)作為排序的依據。

有序集合主要應用場景:

  • 使用者點贊統計
  • 使用者排序

我還有三種特殊的資料結構型別

  • Geospatial
  • Hyperloglog
  • Bitmap

因為我把登記的資料都記錄在記憶體中,不用去執行慢如蝸牛的I/O操作,所以找我要比找MySQL要省去了不少的時間呢。

可別小瞧這簡單的一個改變,我可為MySQL減輕了不小的負擔!隨著程式的執行,我快取的資料越來越多,有相當部分時間我都給它擋住了使用者請求,這一下它可樂得清閒自在了!

有了我的加入,網路服務的效能提升了不少,這都歸功於我為資料庫擋下了不少的事兒。

Redis快的原因

三、快取過期 && 快取淘汰

不過很快我發現事情不妙了,我快取的資料都是在記憶體中,可是就算是在伺服器上,記憶體的空間資源還是很有限的,不能無節制的這麼存下去,我得想個辦法,不然吃棗藥丸。

不久,我想到了一個辦法:給快取內容設定一個超時時間,具體設定多長交給應用程式們去設定,我要做的就是把過期了的內容從我裡面刪除掉,及時騰出空間就行了。

快取過期

超時時間有了,我該在什麼時候去幹這個清理的活呢?

最簡單的就是定期刪除,我決定100ms就做一次,一秒鐘就是10次!

我清理的時候也不能一口氣把所有過期的都給刪除掉,我這裡面存了大量的資料,要全面掃一遍的話那不知道要花多久時間,會嚴重影響我接待新的客戶請求的!

快取淘汰

時間緊任務重,我只好隨機選擇一部分來清理,能緩解記憶體壓力就行了。

就這樣過了一段日子,我發現有些個鍵值運氣比較好,每次都沒有被我的隨機演算法選中,每次都能倖免於難,這可不行,這些長時間過期的資料一直霸佔著不少的記憶體空間!氣抖冷!

我眼裡可揉不得沙子!於是在原來定期刪除的基礎上,又加了一招:

那些原來逃脫我隨機選擇演算法的鍵值,一旦遇到查詢請求,被我發現已經超期了,那我就絕不客氣,立即刪除。

這種方式因為是被動式觸發的,不查詢就不會發生,所以也叫惰性刪除!

可是,還是有部分鍵值,既逃脫了我的隨機選擇演算法,又一直沒有被查詢,導致它們一直逍遙法外!而於此同時,可以使用的記憶體空間卻越來越少。

快取刪除

而且就算退一步講,我能夠把過期的資料都刪除掉,那萬一過期時間設定的很長,還沒等到我去清理,記憶體就吃滿了,一樣要吃棗藥丸,所以我還得想個辦法。

我苦思良久,終於憋出了個大招:記憶體淘汰策略,這一次我要徹底解決問題!

我提供了8種淘汰策略供應用程式選擇,用於我遇到記憶體不足時該如何決策:

  • volatile-lru:從已設定過期時間的資料集中挑選最近最少使用的資料淘汰。
    allkeys-lru:從資料集中挑選最近最少使用的資料淘汰
    volatile-lfu:從已設定過期時間的資料集挑選使用頻率最低的資料淘汰。
    allkeys-lfu:從資料集中挑選使用頻率最低的資料淘汰。
    volatile-ttl:從已設定過期時間的資料集中挑選將要過期的資料淘汰。
    volatile-random:從已設定過期時間的資料集中任意選擇資料淘汰。
    allkeys-random:從資料集(server.db[i].dict)中任意選擇資料淘汰
    no-enviction(驅逐):禁止驅逐資料,這也是預設策略。意思是當記憶體不足以容納新入資料時,新寫入操作就會報錯,請求可以繼續進行,線上任務也不能持續進行,採用no-enviction策略可以保證資料不被丟失。

有了上面幾套組合拳,我再也不用擔心過期資料多了把空間撐滿的問題了~

我為了避免頻繁的觸發淘汰策略,每次會淘汰掉一批資料,淘汰的資料的大小其實是和置換的大小來確定的,如果置換的資料量大,淘汰的肯定也多。
客戶端執行一條新命令,導致資料庫需要增加資料(比如set key value)我會檢查記憶體使用,如果記憶體使用超過max memory,我就會按照置換策略刪除一些key

四、快取穿透 && 布隆過濾器

我的日子過的還挺舒坦,不過MySQL大哥就沒我這麼舒坦了,有時候遇到些煩人的請求,查詢的資料不存在,MySQL就要白忙活一場!不僅如此,因為不存在,我也沒法快取啊,導致同樣的請求來了每次都要去讓MySQL白忙活一場。我作為快取的價值就沒得到體現啦!這就是人們常說的快取穿透。

快取穿透

這一來二去,MySQL大哥忍不住了:“唉,兄弟,能不能幫忙想個辦法,把那些明知道不會有結果的查詢請求給我擋一下”

這時我想到了我的另外一個好朋友:布隆過濾器

布隆過濾器

我這位朋友別的本事沒有,就擅長從超大的資料集中快速告訴你查詢的資料存不存在(悄悄告訴你,我的這位朋友有一點不靠譜,它告訴你存在的話不能全信,其實有可能是不存在的,不過它他要是告訴你不存在的話,那就一定不存在,同時他也不支援刪除元素)。它是一個連續的資料結構,每個儲存位儲存都是一個bit,即0或者1, 來標識資料是否存在。

img

五、快取擊穿 && 快取雪崩

這之後過了一段時間太平日子,直到那一天···

有一次,MySQL那傢伙正優哉遊哉的摸魚,突然一大堆請求給他懟了過去,給他打了一個措手不及。

一陣忙活之後,MySQL怒氣衝衝的找到了我,“兄弟,咋回事啊,怎麼一下子來的這麼猛”

快取擊穿

我檢視了日誌,趕緊解釋到:“大哥,實在不好意思,剛剛有一個熱點資料到了過期時間,被我刪掉了,不巧的是隨後就有對這個資料的大量查詢請求來了,我這裡已經刪了,所以請求都發到你那裡來了”

“你這乾的叫啥事,下次注意點啊”,MySQL大哥一臉不高興的離開了。

這一件小事我也沒怎麼放在心上,隨後就拋之腦後了,卻沒曾想幾天之後竟捅了更大的簍子。

那一天,又出現了大量的網路請求發到了MySQL那邊,比上一次的規模大得多,MySQL大哥一會兒功夫就給幹趴下了好幾次!

等了好半天這一波流量才算過去,MySQL才緩過神來。

“老弟,這一次又是什麼原因?”,MySQL大哥累的沒了力氣。

“這一次比上一次更不巧,這一次是一大批資料幾乎同時過了有效期,然後又發生了很多對這些資料的請求,所以比起上一次這規模更大了”

快取雪崩

MySQL大哥聽了眉頭一皺,“那你倒是想個辦法啊,三天兩頭折磨我,這誰頂得住啊?”

“其實我也很無奈,這個時間也不是我設定的,要不我去找應用程式說說,讓他把快取過期時間設定的均勻一些?至少別讓大量資料集體失效”

“走,咱倆一起去”

後來,我倆去找應用程式商量了,不僅把鍵值的過期時間隨機了一下,還設定了熱點資料永不過期,這個問題緩解了不少。哦對了,我們還把這兩次發生的問題分別取了個名字:快取擊穿和快取雪崩。

我們終於又過上了舒適的日子···

六、我可以用來幹什麼

redis應用

  • 快取

    這是我應用最廣泛地方,基本所有的Web應用都會使用我作為快取,來降低資料來源壓力,提高響應速度。

    快取

  • 計數器

    我天然支援計數功能,而且計數效能非常好,可以用來記錄瀏覽量、點贊量等等。

  • 排行榜

    我提供了列表和有序集合資料結構,合理地使用這些資料結構可以很方便地構建各種排行榜系統。

  • 社交網路

    贊/踩、粉絲、共同好友/喜好、推送、下拉重新整理。

  • 訊息佇列

    我提供了釋出訂閱功能和阻塞佇列的功能,可以滿足一般訊息佇列功能。

  • 分散式鎖

    分散式環境下,利用我實現分散式鎖,也是我常見的應用。

七、參考文章

redis官網

Redis 教程

redis 原始碼 (github.com)

Redis 命令參考

值得一看的35個Redis常用問題總結

.NET Core部署到linux(CentOS)最全解決方案,常規篇

.NET Core部署到linux(CentOS)最全解決方案,進階篇(Supervisor+Nginx)

.NET Core部署到linux(CentOS)最全解決方案,高階篇(Docker+Nginx 或 Jexus)

.NET Core部署到linux(CentOS)最全解決方案,入魔篇(使用Docker+Jenkins實現持續整合、自動化部署)

一網打盡,一文講通虛擬機器VirtualBox及Linux使用

常用linux命令,開發必備

一文講通.NET Core部署到Windows IIS最全解決方案

在 ASP.NET Core 中使用多個環境

值得一看的35個Redis常用問題總結

一網打盡,一文講通虛擬機器VirtualBox及Linux使用

國思RDIF低程式碼快速開發平臺(支援vue2、vue3)

相關文章