Talos網路卡負載最佳化：基於個性化一致性雜湊的負載均衡

本文將詳細介紹基於個性化一致性哈希的流量均衡方法。

1. 業務增長帶來的流量均衡需求

2. 基於一致性雜湊的排程策略

3. 個性化一致性雜湊的負載均衡

4. 流量均衡在Talos中的實現

前文《小米訊息佇列的實踐》介紹了小米自研訊息佇列Talos的業務背景和關鍵問題。

最佳化後的排程：節點流量均勻

相比於引入一箇中心節點來實現統一的定製的排程機制，這種方式對Talos原有架構來說改動較小，且不會引入複雜的中心節點可用性問題。

• 對Talos來說，Partition在節點間的遷移大約在7s左右可恢復服務。由於流量均衡過程中會產生Partition的遷移，如果短時間內大規模的Partition遷移，由於資源的集中呼叫，不僅會造成恢復時間增長，大規模的遷移還可能帶來叢集可用性抖動。

• 類似HDFS Balance，我們可以設定流量均衡的目標值，例如，設定目標值為10%，則目標是調整叢集最大日均流量與最小日均流量在叢集日均流量的10%範圍內。有些情況下某些目標值我們是無法達到的，這時的調整最終就會變成來回震盪的狀況。舉個最簡單的例子，A機器100M流量，B機器50M流量，單個Partition的流量值是50M，按照10%的目標去調整，結果就是會在A 50M and B 100M和A 100M and B 50M的情況之間來回震盪。不僅達不到目標，還白白帶來遷移開銷。

• 還有一些情況，會出現“往壞的方向調節”。依然以一個簡單例子說明，A機器100M流量，B機器80M流量，調整目標10%，單個Partition的流量值是50M，一次調節後變成A 50M而B 130M，均衡度更差。2和3問題的出現，本質上都是由於我們調節的最小粒度是Partition。

• 透過監控資料模擬計算，模擬符合預期才觸發調整。取得各Partition的流量監控資料，帶入一致性雜湊函式，模擬調整虛擬節點個數並計算各節點流量值；
• 控制每次遷移的Partition個數，保證叢集整體穩定性；
• 計算方差決定是否調整，以防止無謂的震盪調整或往更壞的方向調整。方差能反應離散程度，只有當模擬調整後的方差變小才觸發調整；
• 設定最大調節次數，以設定調整目標無法達到時的無限模擬計算。