本文使用第一人稱來介紹Redis
一、概述
Redis,英文全稱是Remote Dictionary Server(遠端字典服務),是一個開源的使用ANSI C語言編寫、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value資料庫,並提供多種語言的API。
與MySQL資料庫不同的是,Redis的資料是存在記憶體中的。它的讀寫速度非常快,每秒可以處理超過10萬次讀寫操作。因此redis被廣泛應用於快取,另外,Redis也經常用來做分散式鎖。除此之外,Redis支援事務、持久化、LUA 指令碼、LRU 驅動事件、多種叢集方案。
提及我的誕生,我與關聯式資料庫MySQL之間有著不解之緣。在我尚未降臨這個世界之前,MySQL歷經艱辛,伴隨著網際網路的飛速發展,它所承載的資料量日益龐大,使用者請求也如潮水般洶湧而至。每一次的使用者請求,都化作了對它無盡的讀寫挑戰,使得MySQL備受煎熬。特別是在“雙11”、“618”這樣的全民購物狂歡節,對MySQL而言,無疑是難熬的考驗時刻。
後來,MySQL向我透露了一個秘密。它告訴我,其實大多數的使用者請求都是讀取操作,而且往往都是對同一資料的反覆查詢,這導致它不得不花費大量時間進行磁碟I/O操作,這無疑是一種巨大的資源浪費。
有人開始深思,是否可以借鑑CPU的工作原理,為資料庫也新增一個快取機制呢?於是,我便應運而生,踏上了這個世界的舞臺。
自誕生之初,我便與MySQL結下了深厚的友誼。我們攜手並肩,共同出現在後端伺服器的舞臺上。每當應用程式需要從MySQL查詢資料時,它們會首先在我這裡進行登記。當再次需要這些資料時,它們會首先向我發出請求。如果我這裡有它們所需的資料,它們便無需再勞煩MySQL;若我這裡沒有,它們才會轉向MySQL尋求幫助。
如此,我便成為了MySQL的得力助手,與它共同應對著日益增長的資料挑戰。我們攜手前行,共同書寫著資料庫世界的輝煌篇章。
二、支援的資料結構
大多數小夥伴都知道,為了方便使用,我支援以下這五種基本型別:
- String(字串)
- Hash(雜湊)
- List(列表)
- Set(集合)
- zset(有序集合)
string
字串最基礎的資料結構。字串型別的值實際可以是字串(簡單的字串、複雜的字串(例如JSON、XML))、數字 (整數、浮點數),甚至是二進位制(圖片、音訊、影片),但是值最大不能超過512MB。
字串主要有以下幾個典型使用場景:
- 快取功能
- 計數
- 共享Session
- 限速
hash
雜湊型別是指鍵值本身又是一個鍵值對結構。
雜湊主要有以下典型應用場景:
- 快取使用者資訊
- 快取物件
list
列表(list)型別是用來儲存多個有序的字串。列表是一種比較靈活的資料結構,它可以充當棧和佇列的角色
列表主要有以下幾種使用場景:
- 訊息佇列
- 文章列表
set
集合(set)型別也是用來儲存多個的字串元素,但和列表型別不一 樣的是,集合中不允許有重複元素,並且集合中的元素是無序的。
集合主要有如下使用場景:
- 標籤(tag)
- 共同關注
sorted set
有序集合中的元素可以排序。但是它和列表使用索引下標作為排序依據不同的是,它給每個元素設定一個權重(score)作為排序的依據。
有序集合主要應用場景:
- 使用者點贊統計
- 使用者排序
我還有三種特殊的資料結構型別
- Geospatial
- Hyperloglog
- Bitmap
因為我把登記的資料都記錄在記憶體中,不用去執行慢如蝸牛的I/O操作,所以找我要比找MySQL要省去了不少的時間呢。
可別小瞧這簡單的一個改變,我可為MySQL減輕了不小的負擔!隨著程式的執行,我快取的資料越來越多,有相當部分時間我都給它擋住了使用者請求,這一下它可樂得清閒自在了!
有了我的加入,網路服務的效能提升了不少,這都歸功於我為資料庫擋下了不少的事兒。
三、快取過期 && 快取淘汰
不過很快我發現事情不妙了,我快取的資料都是在記憶體中,可是就算是在伺服器上,記憶體的空間資源還是很有限的,不能無節制的這麼存下去,我得想個辦法,不然吃棗藥丸。
不久,我想到了一個辦法:給快取內容設定一個超時時間,具體設定多長交給應用程式們去設定,我要做的就是把過期了的內容從我裡面刪除掉,及時騰出空間就行了。
超時時間有了,我該在什麼時候去幹這個清理的活呢?
最簡單的就是定期刪除,我決定100ms就做一次,一秒鐘就是10次!
我清理的時候也不能一口氣把所有過期的都給刪除掉,我這裡面存了大量的資料,要全面掃一遍的話那不知道要花多久時間,會嚴重影響我接待新的客戶請求的!
時間緊任務重,我只好隨機選擇一部分來清理,能緩解記憶體壓力就行了。
就這樣過了一段日子,我發現有些個鍵值運氣比較好,每次都沒有被我的隨機演算法選中,每次都能倖免於難,這可不行,這些長時間過期的資料一直霸佔著不少的記憶體空間!氣抖冷!
我眼裡可揉不得沙子!於是在原來定期刪除的基礎上,又加了一招:
那些原來逃脫我隨機選擇演算法的鍵值,一旦遇到查詢請求,被我發現已經超期了,那我就絕不客氣,立即刪除。
這種方式因為是被動式觸發的,不查詢就不會發生,所以也叫惰性刪除!
可是,還是有部分鍵值,既逃脫了我的隨機選擇演算法,又一直沒有被查詢,導致它們一直逍遙法外!而於此同時,可以使用的記憶體空間卻越來越少。
而且就算退一步講,我能夠把過期的資料都刪除掉,那萬一過期時間設定的很長,還沒等到我去清理,記憶體就吃滿了,一樣要吃棗藥丸,所以我還得想個辦法。
我苦思良久,終於憋出了個大招:記憶體淘汰策略,這一次我要徹底解決問題!
我提供了8種淘汰策略供應用程式選擇,用於我遇到記憶體不足時該如何決策:
- volatile-lru:從已設定過期時間的資料集中挑選最近最少使用的資料淘汰。
allkeys-lru:從資料集中挑選最近最少使用的資料淘汰
volatile-lfu:從已設定過期時間的資料集挑選使用頻率最低的資料淘汰。
allkeys-lfu:從資料集中挑選使用頻率最低的資料淘汰。
volatile-ttl:從已設定過期時間的資料集中挑選將要過期的資料淘汰。
volatile-random:從已設定過期時間的資料集中任意選擇資料淘汰。
allkeys-random:從資料集(server.db[i].dict)中任意選擇資料淘汰
no-enviction(驅逐):禁止驅逐資料,這也是預設策略。意思是當記憶體不足以容納新入資料時,新寫入操作就會報錯,請求可以繼續進行,線上任務也不能持續進行,採用no-enviction策略可以保證資料不被丟失。
有了上面幾套組合拳,我再也不用擔心過期資料多了把空間撐滿的問題了~
我為了避免頻繁的觸發淘汰策略,每次會淘汰掉一批資料,淘汰的資料的大小其實是和置換的大小來確定的,如果置換的資料量大,淘汰的肯定也多。
客戶端執行一條新命令,導致資料庫需要增加資料(比如set key value)我會檢查記憶體使用,如果記憶體使用超過max memory,我就會按照置換策略刪除一些key
四、快取穿透 && 布隆過濾器
我的日子過的還挺舒坦,不過MySQL大哥就沒我這麼舒坦了,有時候遇到些煩人的請求,查詢的資料不存在,MySQL就要白忙活一場!不僅如此,因為不存在,我也沒法快取啊,導致同樣的請求來了每次都要去讓MySQL白忙活一場。我作為快取的價值就沒得到體現啦!這就是人們常說的快取穿透。
這一來二去,MySQL大哥忍不住了:“唉,兄弟,能不能幫忙想個辦法,把那些明知道不會有結果的查詢請求給我擋一下”
這時我想到了我的另外一個好朋友:布隆過濾器
我這位朋友別的本事沒有,就擅長從超大的資料集中快速告訴你查詢的資料存不存在(悄悄告訴你,我的這位朋友有一點不靠譜,它告訴你存在的話不能全信,其實有可能是不存在的,不過它他要是告訴你不存在的話,那就一定不存在,同時他也不支援刪除元素)。它是一個連續的資料結構,每個儲存位儲存都是一個bit
,即0
或者1
, 來標識資料是否存在。
五、快取擊穿 && 快取雪崩
這之後過了一段時間太平日子,直到那一天···
有一次,MySQL那傢伙正優哉遊哉的摸魚,突然一大堆請求給他懟了過去,給他打了一個措手不及。
一陣忙活之後,MySQL怒氣衝衝的找到了我,“兄弟,咋回事啊,怎麼一下子來的這麼猛”
我檢視了日誌,趕緊解釋到:“大哥,實在不好意思,剛剛有一個熱點資料到了過期時間,被我刪掉了,不巧的是隨後就有對這個資料的大量查詢請求來了,我這裡已經刪了,所以請求都發到你那裡來了”
“你這乾的叫啥事,下次注意點啊”,MySQL大哥一臉不高興的離開了。
這一件小事我也沒怎麼放在心上,隨後就拋之腦後了,卻沒曾想幾天之後竟捅了更大的簍子。
那一天,又出現了大量的網路請求發到了MySQL那邊,比上一次的規模大得多,MySQL大哥一會兒功夫就給幹趴下了好幾次!
等了好半天這一波流量才算過去,MySQL才緩過神來。
“老弟,這一次又是什麼原因?”,MySQL大哥累的沒了力氣。
“這一次比上一次更不巧,這一次是一大批資料幾乎同時過了有效期,然後又發生了很多對這些資料的請求,所以比起上一次這規模更大了”
MySQL大哥聽了眉頭一皺,“那你倒是想個辦法啊,三天兩頭折磨我,這誰頂得住啊?”
“其實我也很無奈,這個時間也不是我設定的,要不我去找應用程式說說,讓他把快取過期時間設定的均勻一些?至少別讓大量資料集體失效”
“走,咱倆一起去”
後來,我倆去找應用程式商量了,不僅把鍵值的過期時間隨機了一下,還設定了熱點資料永不過期,這個問題緩解了不少。哦對了,我們還把這兩次發生的問題分別取了個名字:快取擊穿和快取雪崩。
我們終於又過上了舒適的日子···
六、我可以用來幹什麼
-
快取
這是我應用最廣泛地方,基本所有的Web應用都會使用我作為快取,來降低資料來源壓力,提高響應速度。
-
計數器
我天然支援計數功能,而且計數效能非常好,可以用來記錄瀏覽量、點贊量等等。
-
排行榜
我提供了列表和有序集合資料結構,合理地使用這些資料結構可以很方便地構建各種排行榜系統。
-
社交網路
贊/踩、粉絲、共同好友/喜好、推送、下拉重新整理。
-
訊息佇列
我提供了釋出訂閱功能和阻塞佇列的功能,可以滿足一般訊息佇列功能。
-
分散式鎖
分散式環境下,利用我實現分散式鎖,也是我常見的應用。
七、參考文章
redis官網
Redis 教程
redis 原始碼 (github.com)
Redis 命令參考
值得一看的35個Redis常用問題總結
.NET Core部署到linux(CentOS)最全解決方案,常規篇
.NET Core部署到linux(CentOS)最全解決方案,進階篇(Supervisor+Nginx)
.NET Core部署到linux(CentOS)最全解決方案,高階篇(Docker+Nginx 或 Jexus)
.NET Core部署到linux(CentOS)最全解決方案,入魔篇(使用Docker+Jenkins實現持續整合、自動化部署)
一網打盡,一文講通虛擬機器VirtualBox及Linux使用
常用linux命令,開發必備
一文講通.NET Core部署到Windows IIS最全解決方案
在 ASP.NET Core 中使用多個環境
值得一看的35個Redis常用問題總結
一網打盡,一文講通虛擬機器VirtualBox及Linux使用
國思RDIF低程式碼快速開發平臺(支援vue2、vue3)