一致性hash原理 看這一篇就夠了

ityml發表於2021-07-01

​ 在瞭解一致性雜湊演算法之前,最好先了解一下快取中的一個應用場景,瞭解了這個應用場景之後,再來理解一致性雜湊演算法,就容易多了,也更能體現出一致性雜湊演算法的優點,那麼,我們先來描述一下這個經典的分散式快取的應用場景。

1、場景描述

​ 假設,我們有三臺快取伺服器,用於快取圖片,我們為這三臺快取伺服器編號為0號、1號、2號,現在,有3萬張圖片需要快取,我們希望這些圖片被均勻的快取到這3臺伺服器上,以便它們能夠分攤快取的壓力。也就是說,我們希望每臺伺服器能夠快取1萬張左右的圖片,那麼,我們應該怎樣做呢?如果我們沒有任何規律的將3萬張圖片平均的快取在3臺伺服器上,可以滿足我們的要求嗎?可以!但是如果這樣做,當我們需要訪問某個快取項時,則需要遍歷3臺快取伺服器,從3萬個快取項中找到我們需要訪問的快取,遍歷的過程效率太低,時間太長,當我們找到需要訪問的快取項時,時長可能是不能被接收的,也就失去了快取的意義,快取的目的就是提高速度,改善使用者體驗,減輕後端伺服器壓力,如果每次訪問一個快取項都需要遍歷所有快取伺服器的所有快取項,想想就覺得很累,那麼,我們該怎麼辦呢?原始的做法是對快取項的鍵進行雜湊,將hash後的結果對快取伺服器的數量進行取模操作,通過取模後的結果,決定快取項將會快取在哪一臺伺服器上,這樣說可能不太容易理解,我們舉例說明,仍然以剛才描述的場景為例,假設我們使用圖片名稱作為訪問圖片的key,假設圖片名稱是不重複的,那麼,我們可以使用如下公式,計算出圖片應該存放在哪臺伺服器上。

hash(圖片名稱)% N

​ 因為圖片的名稱是不重複的,所以,當我們對同一個圖片名稱做相同的雜湊計算時,得出的結果應該是不變的,如果我們有3臺伺服器,使用雜湊後的結果對3求餘,那麼餘數一定是0、1或者2,沒錯,正好與我們之前的伺服器編號相同,如果求餘的結果為0, 我們就把當前圖片名稱對應的圖片快取在0號伺服器上,如果餘數為1,就把當前圖片名對應的圖片快取在1號伺服器上,如果餘數為2,同理,那麼,當我們訪問任意一個圖片的時候,只要再次對圖片名稱進行上述運算,即可得出對應的圖片應該存放在哪一臺快取伺服器上,我們只要在這一臺伺服器上查詢圖片即可,如果圖片在對應的伺服器上不存在,則證明對應的圖片沒有被快取,也不用再去遍歷其他快取伺服器了,通過這樣的方法,即可將3萬張圖片隨機的分佈到3臺快取伺服器上了,而且下次訪問某張圖片時,直接能夠判斷出該圖片應該存在於哪臺快取伺服器上,這樣就能滿足我們的需求了,我們暫時稱上述演算法為HASH演算法或者取模演算法,取模演算法的過程可以用下圖表示。

​ 但是,使用上述HASH演算法進行快取時,會出現一些缺陷,試想一下,如果3臺快取伺服器已經不能滿足我們的快取需求,那麼我們應該怎麼做呢?沒錯,很簡單,多增加兩臺快取伺服器不就行了,假設,我們增加了一臺快取伺服器,那麼快取伺服器的數量就由3臺變成了4臺,此時,如果仍然使用上述方法對同一張圖片進行快取,那麼這張圖片所在的伺服器編號必定與原來3臺伺服器時所在的伺服器編號不同,因為除數由3變為了4,被除數不變的情況下,餘數肯定不同,這種情況帶來的結果就是當伺服器數量變動時,所有快取的位置都要發生改變,換句話說,當伺服器數量發生改變時,所有快取在一定時間內是失效的,當應用無法從快取中獲取資料時,則會向後端伺服器請求資料,同理,假設3臺快取中突然有一臺快取伺服器出現了故障,無法進行快取,那麼我們則需要將故障機器移除,但是如果移除了一臺快取伺服器,那麼快取伺服器數量從3臺變為2臺,如果想要訪問一張圖片,這張圖片的快取位置必定會發生改變,以前快取的圖片也會失去快取的作用與意義,由於大量快取在同一時間失效,造成了快取的雪崩,此時前端快取已經無法起到承擔部分壓力的作用,後端伺服器將會承受巨大的壓力,整個系統很有可能被壓垮,所以,我們應該想辦法不讓這種情況發生,但是由於上述HASH演算法本身的緣故,使用取模法進行快取時,這種情況是無法避免的,為了解決這些問題,一致性雜湊演算法誕生了。

​ 我們來回顧一下使用上述演算法會出現的問題。

問題1:當快取伺服器數量發生變化時,會引起快取的雪崩,可能會引起整體系統壓力過大而崩潰(大量快取同一時間失效)。

問題2:當快取伺服器數量發生變化時,幾乎所有快取的位置都會發生改變,怎樣才能儘量減少受影響的快取呢?

其實,上面兩個問題是一個問題,那麼,一致性雜湊演算法能夠解決上述問題嗎?

我們現在就來了解一下一致性雜湊演算法。

2、一致性hash演算法的基本概念

​ 其實,一致性雜湊演算法也是使用取模的方法,只是,剛才描述的取模法是對伺服器的數量進行取模,而一致性雜湊演算法是對2^32取模,什麼意思呢?我們慢慢聊。

​ 首先,我們把二的三十二次方想象成一個圓,就像鐘錶一樣,鐘錶的圓可以理解成由60個點組成的圓,而此處我們把這個圓想象成由2^32個點組成的圓,示意圖如下:

​ 圓環的正上方的點代表0,0點右側的第一個點代表1,以此類推,2、3、4、5、6……直到232-1,也就是說0點左側的第一個點代表232-1 ,我們把這個由2的32次方個點組成的圓環稱為hash環。

​ 那麼,一致性雜湊演算法與上圖中的圓環有什麼關係呢?我們繼續聊,仍然以之前描述的場景為例,假設我們有3臺快取伺服器,伺服器A、伺服器B、伺服器C,那麼,在生產環境中,這三臺伺服器肯定有自己的IP地址,我們使用它們各自的IP地址進行雜湊計算,使用雜湊後的結果對2^32取模,可以使用如下公式示意。

hash(伺服器A的IP地址) % 2^32

​ 通過上述公式算出的結果一定是一個0到232-1之間的一個整數,我們就用算出的這個整數,代表伺服器A,既然這個整數肯定處於0到232-1之間,那麼,上圖中的hash環上必定有一個點與這個整數對應,而我們剛才已經說明,使用這個整數代表伺服器A,那麼,伺服器A就可以對映到這個環上,用下圖示意

​ 同理,伺服器B與伺服器C也可以通過相同的方法對映到上圖中的hash環中

hash(伺服器B的IP地址) % 2^32

hash(伺服器C的IP地址) % 2^32

​ 通過上述方法,可以將伺服器B與伺服器C對映到上圖中的hash環上,示意圖如下

​ 假設3臺伺服器對映到hash環上以後如上圖所示(當然,這是理想的情況,我們慢慢聊)。

​ 好了,到目前為止,我們已經把快取伺服器與hash環聯絡在了一起,我們通過上述方法,把快取伺服器對映到了hash環上,那麼使用同樣的方法,我們也可以將需要快取的物件對映到hash環上。

	假設,我們需要使用快取伺服器快取圖片,而且我們仍然使用圖片的名稱作為找到圖片的key,那麼我們使用如下公式可以將圖片對映到上圖中的hash環上。

hash(圖片名稱) % 2^32

​ 對映後的示意圖如下,下圖中的橘黃色圓形表示圖片

​ 好了,現在伺服器與圖片都被對映到了hash環上,那麼上圖中的這個圖片到底應該被快取到哪一臺伺服器上呢?上圖中的圖片將會被快取到伺服器A上,為什麼呢?因為從圖片的位置開始,沿順時針方向遇到的第一個伺服器就是A伺服器,所以,上圖中的圖片將會被快取到伺服器A上,如下圖所示。

​ 沒錯,一致性雜湊演算法就是通過這種方法,判斷一個物件應該被快取到哪臺伺服器上的,將快取伺服器與被快取物件都對映到hash環上以後,從被快取物件的位置出發,沿順時針方向遇到的第一個伺服器,就是當前物件將要快取於的伺服器,由於被快取物件與伺服器hash後的值是固定的,所以,在伺服器不變的情況下,一張圖片必定會被快取到固定的伺服器上,那麼,當下次想要訪問這張圖片時,只要再次使用相同的演算法進行計算,即可算出這個圖片被快取在哪個伺服器上,直接去對應的伺服器查詢對應的圖片即可。

​ 剛才的示例只使用了一張圖片進行演示,假設有四張圖片需要快取,示意圖如下

​ 1號、2號圖片將會被快取到伺服器A上,3號圖片將會被快取到伺服器B上,4號圖片將會被快取到伺服器C上。

3、一致性雜湊演算法的優點

​ 經過上述描述,我想兄弟你應該已經明白了一致性雜湊演算法的原理了,但是話說回來,一致性雜湊演算法能夠解決之前出現的問題嗎,我們說過,如果簡單的對伺服器數量進行取模,那麼當伺服器數量發生變化時,會產生快取的雪崩,從而很有可能導致系統崩潰,那麼使用一致性雜湊演算法,能夠避免這個問題嗎?我們來模擬一遍,即可得到答案。

​ 假設,伺服器B出現了故障,我們現在需要將伺服器B移除,那麼,我們將上圖中的伺服器B從hash環上移除即可,移除伺服器B以後示意圖如下。

​ 在伺服器B未移除時,圖片3應該被快取到伺服器B中,可是當伺服器B移除以後,按照之前描述的一致性雜湊演算法的規則,圖片3應該被快取到伺服器C中,因為從圖片3的位置出發,沿順時針方向遇到的第一個快取伺服器節點就是伺服器C,也就是說,如果伺服器B出現故障被移除時,圖片3的快取位置會發生改變

​ 但是,圖片4仍然會被快取到伺服器C中,圖片1與圖片2仍然會被快取到伺服器A中,這與伺服器B移除之前並沒有任何區別,這就是一致性雜湊演算法的優點,如果使用之前的hash演算法,伺服器數量發生改變時,所有伺服器的所有快取在同一時間失效了,而使用一致性雜湊演算法時,伺服器的數量如果發生改變,並不是所有快取都會失效,而是隻有部分快取會失效,前端的快取仍然能分擔整個系統的壓力,而不至於所有壓力都在同一時間集中到後端伺服器上。

​ 這就是一致性雜湊演算法所體現出的優點。

4、雜湊環的偏斜

​ 在介紹一致性雜湊的概念時,我們理想化的將3臺伺服器均勻的對映到了hash環上,如下圖所示

​ 在實際的對映中,伺服器可能會被對映成如下模樣。

​ 聰明如你一定想到了,如果伺服器被對映成上圖中的模樣,那麼被快取的物件很有可能大部分集中快取在某一臺伺服器上,如下圖所示。

​ 上圖中,1號、2號、3號、4號、6號圖片均被快取在了伺服器A上,只有5號圖片被快取在了伺服器B上,伺服器C上甚至沒有快取任何圖片,如果出現上圖中的情況,A、B、C三臺伺服器並沒有被合理的平均的充分利用,快取分佈的極度不均勻,而且,如果此時伺服器A出現故障,那麼失效快取的數量也將達到最大值,在極端情況下,仍然有可能引起系統的崩潰,上圖中的情況則被稱之為hash環的偏斜,那麼,我們應該怎樣防止hash環的偏斜呢?一致性hash演算法中使用"虛擬節點"解決了這個問題,我們繼續聊。

5、虛擬節點

​ 話接上文,由於我們只有3臺伺服器,當我們把伺服器對映到hash環上的時候,很有可能出現hash環偏斜的情況,當hash環偏斜以後,快取往往會極度不均衡的分佈在各伺服器上,聰明如你一定已經想到了,如果想要均衡的將快取分佈到3臺伺服器上,最好能讓這3臺伺服器儘量多的、均勻的出現在hash環上,但是,真實的伺服器資源只有3臺,我們怎樣憑空的讓它們多起來呢,沒錯,就是憑空的讓伺服器節點多起來,既然沒有多餘的真正的物理伺服器節點,我們就只能將現有的物理節點通過虛擬的方法複製出來,這些由實際節點虛擬複製而來的節點被稱為"虛擬節點"。加入虛擬節點以後的hash環如下。

​ "虛擬節點"是"實際節點"(實際的物理伺服器)在hash環上的複製品,一個實際節點可以對應多個虛擬節點。

​ 從上圖可以看出,A、B、C三臺伺服器分別虛擬出了一個虛擬節點,當然,如果你需要,也可以虛擬出更多的虛擬節點。引入虛擬節點的概念後,快取的分佈就均衡多了,上圖中,1號、3號圖片被快取在伺服器A中,5號、4號圖片被快取在伺服器B中,6號、2號圖片被快取在伺服器C中,如果你還不放心,可以虛擬出更多的虛擬節點,以便減小hash環偏斜所帶來的影響,虛擬節點越多,hash環上的節點就越多,快取被均勻分佈的概率就越大。

相關文章