Shopify如何對商店MySQL實現K8S的Pod分片平衡？

分片再平衡策略
當新商家在平臺上註冊並加入時，他們會被分配到任意一個分片。隨著時間的推移，這些商家的規模不斷擴大。某些資源密集型商店可能最終生活在相同的分片中，導致某些分片的資料庫使用率較高而其他分片的資料庫使用率較低。資料庫使用中的這些不一致削弱了基礎設施，原因有兩個。首先，高流量分片由於可能過度使用而面臨更大的故障風險。其次，資料庫使用率低的分片沒有得到有效使用。

為了平滑分片之間的負載，我們需要重新平衡它們。我們將平衡的基礎架構定義為所有 pod 都健康且其分片得到有效利用的基礎架構。為了實現這種平衡的基礎架構，我們需要一種策略來實現跨分片的商店的持續重新分配。
在設計這種分片平衡策略時，很明顯有兩個問題需要解決：

1. 哪些商店應該住在哪些分片中？
2. 商店如何在儘可能少的停機時間的情況下從一個分片轉移到另一個分片？

哪些商店應該住在哪些碎片中？
根據商店數量在分片上分佈商店並不是一個好的策略，因為每個商店中的資料大小各不相同。以前使用的一種策略是分析分片的歷史資料庫利用率和流量資料，並根據它們的使用模式（即high_traffic, low_traffic，等）建立分類。適用的商店在這些分片佇列之間遷移，使用的方案是將每 N 家商店從一個high_traffic分片移動到另一個分low_traffic片。擬議的舉措進行了模擬，其預測效果用於驗證假設。

雖然這種策略很有效，但它並不是唯一的策略。放置策略可以任意複雜並優先考慮不同的指標（例如，商店規模、GMV、移動時間、閃購等）。通常會提出多個假設並根據最新資料進行檢驗。一旦確定了理想的商店分佈，就會生成一個商店移動列表，以實現我們系統的理想狀態。

商店如何移動？
瞭解哪些商店需要在哪些分片中居住後，移動商店的過程就可以開始了。當我們很快佈局時，將商店從其源分片移動到所需的目標分片可能是一個複雜的過程。由於對我們使用的策略施加了一些關鍵限制，因此它特別令人感興趣。

• 可用性：商店搬家必須完全線上。這確保商家和更廣泛的平臺不會招致明顯的停機時間。當資料從源資料庫分片移動到目標資料庫分片時，商家的店面必須可以進行互動。
• 資料完整性：移動過程中沒有資料丟失或損壞。該過程必須確保將移動開始時存在的所有資料複製到目標分片。此外，它必須確保複製自移動開始以來對源資料庫的所有寫入。
• 吞吐量：將資料從一個分片移動到另一個分片的過程必須及時，並允許合理的吞吐量。商店規模各不相同，因此一次遷移其中許多商店不應對基礎設施造成過度壓力。