趣說 | 資料庫和快取如何保證一致性?
一天,老闆說「最近公司的使用者越來越多了,但是伺服器的訪問速度越來越差的,阿旺幫我最佳化下,做好了給你畫個餅!」。
程式設計師阿旺聽到老闆口中的「畫餅」後就非常期待,沒有任何猶豫就接下了老闆給的這個任務。
阿旺登陸到了伺服器,經過一番排查後,確認伺服器的效能瓶頸是在資料庫。
這好辦,給伺服器加上 Redis,讓其作為資料庫的快取。
這樣,在客戶端請求資料時,如果能在快取中命中資料,那就查詢快取,不用在去查詢資料庫,從而減輕資料庫的壓力,提高伺服器的效能。
先更新資料庫,還是先更新快取?
阿旺有了這個想法後,就準備開始著手最佳化伺服器,但是擋在在他前面的是這樣的一個問題。
由於引入了快取,那麼在資料更新時,不僅要更新資料庫,而且要更新快取,這兩個更新操作存在前後的問題:
先更新資料庫,再更新快取; 先更新快取,再更新資料庫;
阿旺沒想到太多,他覺得最新的資料肯定要先更新資料庫,這樣才可以確保資料庫裡的資料是最新的,於是他就採用了「先更新資料庫,再更新快取」的方案。
阿旺經過幾個夜晚的折騰,終於「最佳化好了伺服器」,然後就直接上線了,自信心滿滿跑去跟老闆彙報。
老闆不懂技術,自然也沒多慮,就讓後續阿旺觀察下伺服器的情況,如果效果不錯,就跟阿旺談畫餅的事情。
阿旺觀察了好幾天,發現資料庫的壓力大大減少了,訪問速度也提高了不少,心想這事肯定成的了。
好景不長,突然老闆收到一個客戶的投訴,客戶說他剛發起了兩次更新年齡的操作,但是顯示的年齡確還是第一次更新時的年齡,而第二次更新年齡並沒有生效。
老闆立馬就找了阿旺,訓斥著阿旺說:「這麼簡單的更新操作,都有 bug?我臉往哪兒放?你的餅還要不要了?」
聽到自己準備到手的餅要沒了的阿旺瞬間就慌了,立馬登陸伺服器排查問題,阿旺查詢快取和資料庫的資料後發現了問題。
資料庫的資料是客戶第二次更新操作的資料,而快取確還是第一次更新操作的資料,也就是出現了資料庫和快取的資料不一致的問題。
這個問題可大了,阿旺經過一輪的分析,造成快取和資料庫的資料不一致的現象,是因為併發問題!
先更新資料庫,再更新快取
舉個例子,比如「請求 A 」和「請求 B 」兩個請求,同時更新「同一條」資料,則可能出現這樣的順序:
A 請求先將資料庫的資料更新為 1,然後在更新快取前,請求 B 將資料庫的資料更新為 2,緊接著也把快取更新為 2,然後 A 請求更新快取為 1。
此時,資料庫中的資料是 2,而快取中的資料卻是 1,出現了快取和資料庫中的資料不一致的現象。
先更新快取,再更新資料庫
那換成「先更新快取,再更新資料庫」這個方案,還會有問題嗎?
依然還是存在併發的問題,分析思路也是一樣。
假設「請求 A 」和「請求 B 」兩個請求,同時更新「同一條」資料,則可能出現這樣的順序:
A 請求先將快取的資料更新為 1,然後在更新資料庫前,B 請求來了, 將快取的資料更新為 2,緊接著把資料庫更新為 2,然後 A 請求將資料庫的資料更新為 1。
此時,資料庫中的資料是 1,而快取中的資料卻是 2,出現了快取和資料庫中的資料不一致的現象。
所以,無論是「先更新資料庫,再更新快取」,還是「先更新快取,再更新資料庫」,這兩個方案都存在併發問題,當兩個請求併發更新同一條資料的時候,可能會出現快取和資料庫中的資料不一致的現象。
先更新資料庫,還是先刪除快取?
阿旺定位出問題後,思考了一番後,決定在更新資料時,不更新快取,而是刪除快取中的資料。然後,到讀取資料時,發現快取中沒了資料之後,再從資料庫中讀取資料,更新到快取中。
阿旺想的這個策略是有名字的,是叫 Cache Aside 策略,中文是叫旁路快取策略。
該策略又可以細分為「讀策略」和「寫策略」。
寫策略的步驟:
更新資料庫中的資料; 刪除快取中的資料。
讀策略的步驟:
如果讀取的資料命中了快取,則直接返回資料; 如果讀取的資料沒有命中快取,則從資料庫中讀取資料,然後將資料寫入到快取,並且返回給使用者。
阿旺在想到「寫策略」的時候,又陷入更深層次的思考,到底該選擇哪種順序呢?
先刪除快取,再更新資料庫; 先更新資料庫,再刪除快取。
阿旺這次經過上次教訓,不再「想當然」的亂選方案,因為老闆這次給的餅很大啊,必須把握住。
於是阿旺用併發的角度來分析,看看這兩種方案哪個可以保證資料庫與快取的資料一致性。
先刪除快取,再更新資料庫
阿旺還是以使用者表的場景來分析。
假設某個使用者的年齡是 20,請求 A 要更新使用者年齡為 21,所以它會刪除快取中的內容。這時,另一個請求 B 要讀取這個使用者的年齡,它查詢快取發現未命中後,會從資料庫中讀取到年齡為 20,並且寫入到快取中,然後請求 A 繼續更改資料庫,將使用者的年齡更新為 21。
最終,該使用者年齡在快取中是 20(舊值),在資料庫中是 21(新值),快取和資料庫的資料不一致。
可以看到,先刪除快取,再更新資料庫,在「讀 + 寫」併發的時候,還是會出現快取和資料庫的資料不一致的問題。
先更新資料庫,再刪除快取
繼續用「讀 + 寫」請求的併發的場景來分析。
假如某個使用者資料在快取中不存在,請求 A 讀取資料時從資料庫中查詢到年齡為 20,在未寫入快取中時另一個請求 B 更新資料。它更新資料庫中的年齡為 21,並且清空快取。這時請求 A 把從資料庫中讀到的年齡為 20 的資料寫入到快取中。
最終,該使用者年齡在快取中是 20(舊值),在資料庫中是 21(新值),快取和資料庫資料不一致。
從上面的理論上分析,先更新資料庫,再刪除快取也是會出現資料不一致性的問題,但是在實際中,這個問題出現的機率並不高。
因為快取的寫入通常要遠遠快於資料庫的寫入,所以在實際中很難出現請求 B 已經更新了資料庫並且刪除了快取,請求 A 才更新完快取的情況。
而一旦請求 A 早於請求 B 刪除快取之前更新了快取,那麼接下來的請求就會因為快取不命中而從資料庫中重新讀取資料,所以不會出現這種不一致的情況。
所以,「先更新資料庫 + 再刪除快取」的方案,是可以保證資料一致性的。
而且阿旺為了確保萬無一失,還給快取資料加上了「過期時間」,就算在這期間存在快取資料不一致,有過期時間來兜底,這樣也能達到最終一致。
阿旺思考到這一步後,覺得自己真的是個小天才,因為他竟然想到了個「天衣無縫」的方案,他二話不說就採用了這個方案,又經過幾天的折騰,終於完成了。
他自信滿滿的向老闆彙報,已經解決了上次客戶的投訴的問題了。老闆覺得阿旺這小夥子不錯,這麼快就解決問題了,然後讓阿旺在觀察幾天。
事情哪有這麼順利呢?結果又沒過多久,老闆又收到客戶的投訴了,說自己明明更新了資料,但是資料要過一段時間才生效,客戶接受不了。
老闆面無表情的找上阿旺,讓阿旺儘快查出問題。
阿旺得知又有 Bug 就更慌了,立馬就登入伺服器去排查問題,檢視日誌後得知了原因。
「先更新資料庫, 再刪除快取」其實是兩個操作,前面的所有分析都是建立在這兩個操作都能同時執行成功,而這次客戶投訴的問題就在於,在****刪除快取(第二個操作)的時候失敗了,導致快取中的資料是舊值。
好在之前給快取加上了過期時間,所以才會出現客戶說的過一段時間才更新生效的現象,假設如果沒有這個過期時間的兜底,那後續的請求讀到的就會一直是快取中的舊資料,這樣問題就更大了。
所以新的問題來了,如何保證「先更新資料庫 ,再刪除快取」這兩個操作能執行成功?
阿旺分析出問題後,慌慌張張的向老闆彙報了問題。
老闆知道事情後,又給了阿旺幾天來解決這個問題,畫餅的事情這次沒有再提了。
阿旺會用什麼方式來解決這個問題呢?
老闆畫的餅事情,能否兌現給阿旺呢?
預知後事,且聽下回阿旺的故事。
小結
阿旺的事情就聊到這,我們繼續說點其他。
「先更新資料庫,再刪除快取」的方案雖然保證了資料庫與快取的資料一致性,但是每次更新資料的時候,快取的資料都會被刪除,這樣會對快取的命中率帶來影響。
所以,如果我們的業務對快取命中率有很高的要求,我們可以採用「更新資料庫 + 更新快取」的方案,因為更新快取並不會出現快取未命中的情況。
但是這個方案前面我們也分析過,在兩個更新請求併發執行的時候,會出現資料不一致的問題,因為更新資料庫和更新快取這兩個操作是獨立的,而我們又沒有對操作做任何併發控制,那麼當兩個執行緒併發更新它們的話,就會因為寫入順序的不同造成資料的不一致。
所以我們得增加一些手段來解決這個問題,這裡提供兩種做法:
在更新快取前先加個分散式鎖,保證同一時間只執行一個請求更新快取,就會不會產生併發問題了,當然引入了鎖後,對於寫入的效能就會帶來影響。 在更新完快取時,給快取加上較短的過期時間,這樣即時出現快取不一致的情況,快取的資料也會很快過期,對業務還是能接受的。
對了,針對「先刪除快取,再刪除資料庫」方案在「讀 + 寫」併發請求而造成快取不一致的解決辦法是「延遲雙刪」。
延遲雙刪實現的虛擬碼如下:
#刪除快取
redis.delKey(X)
#更新資料庫
db.update(X)
#睡眠
Thread.sleep(N)
#再刪除快取
redis.delKey(X)
加了個睡眠時間,主要是為了確保請求 A 在睡眠的時候,請求 B 能夠在這這一段時間完成「從資料庫讀取資料,再把缺失的快取寫入快取」的操作,然後請求 A 睡眠完,再刪除快取。
所以,請求 A 的睡眠時間就需要大於請求 B 「從資料庫讀取資料 + 寫入快取」的時間。
但是具體睡眠多久其實是個玄學,很難評估出來,所以這個方案也只是儘可能保證一致性而已,極端情況下,依然也會出現快取不一致的現象。
因此,還是比較建議用「先更新資料庫,再刪除快取」的方案。
前情回顧
上回程式設計師阿旺為了提升資料訪問的效能,引入 Redis 作為 MySQL 快取層,但是這件事情並不是那麼簡單,因為還要考慮 Redis 和 MySQL 雙寫一致性的問題。
阿旺經過一番周折,最終選用了「先更新資料庫,再刪快取」的策略,原因是這個策略即使在併發讀寫時,也能最大程度保證資料一致性。
聰明的阿旺還搞了個兜底的方案,就是給快取加上了過期時間。
本以為就這樣不會在出現資料一致性的問題,結果將功能上線後,老闆還是收到使用者的投訴「說自己明明更新了資料,但是資料要過一段時間才生效」,客戶接受不了。
老闆轉告給了阿旺,阿旺得知又有 Bug 就更慌了,立馬就登入伺服器去排查問題,檢視日誌後得知了原因。
「先更新資料庫, 再刪除快取」其實是兩個操作,這次客戶投訴的問題就在於,在刪除快取(第二個操作)的時候失敗了,導致快取中的資料是舊值,而資料庫是最新值。
好在之前給快取加上了過期時間,所以才會出現客戶說的過一段時間才更新生效的現象,假設如果沒有這個過期時間的兜底,那後續的請求讀到的就會一直是快取中的舊資料,這樣問題就更大了。
所以新的問題來了,如何保證「先更新資料庫 ,再刪除快取」這兩個操作能執行成功?
阿旺分析出問題後,慌慌張張的向老闆彙報了問題。
老闆知道事情後,又給了阿旺幾天來解決這個問題,畫餅的事情這次沒有再提了。
阿旺會用什麼方式來解決這個問題呢? 老闆畫的餅事情,能否兌現給阿旺呢?
如何保證兩個操作都能執行成功?
這次使用者的投訴是因為在刪除快取(第二個操作)的時候失敗了,導致快取還是舊值,而資料庫是最新值,造成資料庫和快取資料不一致的問題,會對敏感業務造成影響。
舉個例子,來說明下。
應用要把資料 X 的值從 1 更新為 2,先成功更新了資料庫,然後在 Redis 快取中刪除 X 的快取,但是這個操作卻失敗了,這個時候資料庫中 X 的新值為 2,Redis 中的 X 的快取值為 1,出現了資料庫和快取資料不一致的問題。
那麼,後續有訪問資料 X 的請求,會先在 Redis 中查詢,因為快取並沒有 誒刪除,所以會快取命中,但是讀到的卻是舊值 1。
其實不管是先運算元據庫,還是先操作快取,只要第二個操作失敗都會出現資料一致的問題。
問題原因知道了,該怎麼解決呢?有兩種方法:
重試機制。 訂閱 MySQL binlog,再操作快取。
先來說第一種。
重試機制
我們可以引入訊息佇列,將第二個操作(刪除快取)要操作的資料加入到訊息佇列,由消費者來運算元據。
如果應用刪除快取失敗,可以從訊息佇列中重新讀取資料,然後再次刪除快取,這個就是重試機制。當然,如果重試超過的一定次數,還是沒有成功,我們就需要向業務層傳送報錯資訊了。 如果刪除快取成功,就要把資料從訊息佇列中移除,避免重複操作,否則就繼續重試。
舉個例子,來說明重試機制的過程。
訂閱 MySQL binlog,再操作快取
「先更新資料庫,再刪快取」的策略的第一步是更新資料庫,那麼更新資料庫成功,就會產生一條變更日誌,記錄在 binlog 裡。
於是我們就可以透過訂閱 binlog 日誌,拿到具體要操作的資料,然後再執行快取刪除,阿里巴巴開源的 Canal 中介軟體就是基於這個實現的。
Canal 模擬 MySQL 主從複製的互動協議,把自己偽裝成一個 MySQL 的從節點,向 MySQL 主節點傳送 dump 請求,MySQL 收到請求後,就會開始推送 Binlog 給 Canal,Canal 解析 Binlog 位元組流之後,轉換為便於讀取的結構化資料,供下游程式訂閱使用。
下圖是 Canal 的工作原理:
所以,如果要想保證「先更新資料庫,再刪快取」策略第二個操作能執行成功,我們可以使用「訊息佇列來重試快取的刪除」,或者「訂閱 MySQL binlog 再操作快取」,這兩種方法有一個共同的特點,都是採用非同步操作快取。
老闆發餅啦
阿旺由於對訊息佇列比較熟悉,所以他決定採用「訊息佇列來重試快取的刪除」的方案,來解決這次的使用者問題。
經過幾天幾夜的操作,伺服器搞定啦,立馬向老闆彙報工作。
老闆讓阿旺再觀察些時間,如果沒問題,到中秋節就商量“餅”的事情。
時間過的很快,中秋佳節到了,這期間一直都沒有使用者反饋資料不一致的問題。
老闆見這次阿旺表現很好,沒有再出現任何差錯,伺服器的訪問效能也上來了,於是給阿旺發了這個超級大的月餅,你看這個餅又大又圓,就像你的程式碼又長又多。
阿旺看到這個月餅,哭笑不得,沒想到這就是老闆畫的餅,是真的很大餅。。。。
以上故事純屬虛擬,如有巧合,以你為準。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2925201/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料庫和快取的一致性如何保證資料庫快取
- 如何保證快取和資料庫的一致性?快取資料庫
- 如何保證快取與資料庫的雙寫一致性?快取資料庫
- 面試常問:如何保證Redis快取和資料庫的資料一致性NRXW面試Redis快取資料庫
- 如何保證快取(redis)與資料庫的雙寫一致性快取Redis資料庫
- 阿里面試題:如何保證快取與資料庫的雙寫一致性?阿里面試題快取資料庫
- 如何保證mongodb和資料庫雙寫資料一致性?MongoDB資料庫
- 如何保證MySQL和Redis資料一致性?MySqlRedis
- 首個徹底保證快取與資料庫一致性的開源方案快取資料庫
- 【大廠面試01期】高併發場景下,如何保證快取與資料庫一致性?面試快取資料庫
- 面試重災區:怎麼保證快取與資料庫的雙寫一致性?面試快取資料庫
- 快取與資料庫一致性快取資料庫
- 分散式快取--快取與資料庫一致性方案分散式快取資料庫
- 快取淘汰、快取穿透、快取擊穿、快取雪崩、資料庫快取雙寫一致性快取穿透資料庫
- [Redis] 02-快取和資料庫資料一致性問題Redis快取資料庫
- 快取與資料庫的一致性快取資料庫
- 冗餘資料一致性,到底如何保證?
- Redis快取穿透、擊穿、雪崩,資料庫與快取一致性Redis快取穿透資料庫
- 資料庫與快取雙寫一致性資料庫快取
- 如何解決資料庫與快取的一致性問題資料庫快取
- 資料庫與快取資料一致性解決方案資料庫快取
- 資料庫和快取雙寫一致性方案總結分析資料庫快取
- go-zero微服務實戰系列(六、快取的一致性如何保證)Go微服務快取
- 快取與資料庫的雙寫一致性快取資料庫
- 分散式之資料庫和快取雙寫一致性方案解析分散式資料庫快取
- 分散式之資料庫和快取雙寫一致性方案(二)分散式資料庫快取
- Zookeeper 如何保證分散式系統資料一致性分散式
- 使用雙非同步後,如何保證資料一致性?非同步
- 快取與資料庫雙寫一致性 深度分析快取資料庫
- 快取與資料庫一致性問題深度剖析快取資料庫
- 針對靜默資料錯誤,如何採用DIX和DIF保證資料一致性?
- FAQ系列|如何保證主從複製資料一致性
- go-zero微服務實戰系列(六、快取一致性保證)Go微服務快取
- 【面試普通人VS高手系列】Redis和Mysql如何保證資料一致性面試RedisMySql
- 從實戰出發,聊聊快取資料庫一致性快取資料庫
- Cache與資料庫的一致性(快取更新模式和操作順序)資料庫快取模式
- memcached資料庫快取資料庫快取
- 聊聊資料庫和快取同步機制資料庫快取