# 分散式架構下如何選擇最佳 Store？

## 一、背景

開務資料庫是一款雲原生分散式資料庫，基於分散式架構特點其儲存資料預設有 3 份，分別儲存在各節點下的不同 Store 中。**在多節點多 Store 的情況下，如何選擇儲存資料的 Store 就顯得尤為重要。**

開務資料庫中透過特定演算法，根據 Store 的儲存容量、磁碟介質以及每個 Store 的 QPS 等綜合因素，計算出最佳的 Store 以完成資料儲存，我們把這個過程稱之為 **Store 的 Rebalance**。但是此過程從叢集初始化就持續地進行，因此將會帶來 2 大問題：

1）在資料量很大的情況下，如果從初始即進行 Store Rebalance，那麼就會嚴重影響效能；

2）如果存放資料的磁碟出現問題則需及時更換，那就意味著需暫停叢集服務，等待更換完畢之後才能重啟服務。

為此，開務資料庫研發了 Store 的禁用啟用功能，接下來為大家詳細介紹具體的設計思路。

## 二、設計思路

針對第 1 個問題，我們需要透過特定手段，在特定時間控制 Store 的行為，使它參與或不參與 Rebalance。這樣即可實現在業務繁忙的場景下，禁止 Store 參與正常的 Rebalance，避免效能消耗；等到空閒時段，再啟用 Store 進行 Rebalance。

至於第 2 個問題，我們僅需禁用出現問題的 Store，再將該 Store 上的資料全部遷移到其他可用的 Store 上，從而完成不停機磁碟更換操作。

## 三、總體設計

Store 的禁用啟用功能主要作用於 Rebalance，因為 Rebalance 是在 Store 級別上的，所以該需求可以轉換為加入節點後，不會將叢集中其他 Store 上的資料副本遷移到加入叢集節點上掛載的 Store 中。

在啟動命令上給掛載 Store 加一個屬性 STATE（DISABLE/ENABLE）用來表示該 Store 此時的狀態；然後在進行 Rebalance 時將屬性 STATE 為 DISABLE 的 Store 全部過濾掉，僅留下 ENABLE 的 Store 進行 Rebalance。這樣的做法可以避免 STATE 為 DISABLE 的 Store 參與 Rebalance 。

在使用者空閒的時間段，透過 Update 命令將該 Store 的 STATE 變為 ENABLE，使得該 Store 重新加入 Rebalance，這樣即可完成控制 Store 的 Rebalance。此外如果想要完成更換磁碟操作，我們需要將該 Store 上的副本全部都轉移到其他 Store 上，轉移完畢後更換該 Store 則不會對業務造成影響，如此便可實現禁用和啟用 Store。

![img](https://oscimg.oschina.net/oscnet/up-2e41fa6720237ea895d3740d720937bf54b.png)

## 四、邏輯架構

執行命令啟動節點時，透過命令解析獲取 STATE 值，將解析到的 STATE 值儲存在儲存層，之後根據儲存層記錄狀態完成 Store 的初始化，使得該 Store 中包含命令中的 STATE 屬性。

副本層在進行 Rebalance 時，會從現有的 Store 中根據選擇一批 Store 組成一個 List，在這裡需增加一個約束：過濾掉 STATE 值為 DISABLE 的 Store，即可獲取到由使用者控制的 List，如此便可實現手動控制 Rebalance。

在執行 Update 命令時，根據 STATE 值來完成儲存層初始化的 STATE 值修改，修改的值為 Update 命令中解析出來的 STATE 值。這樣即可改變 Store 的 STATE 狀態，之後透過節點之間的通訊方式來廣播到其他的 Store，使得其他的 Store 獲取到該節點最新的 STATE 值。

副本層由於該 Store 的 STATE 值為 ENABLE，所以不會受到新加約束限制，從而使得該 Store 可以重新加入 Rebalance 的 List。至此，即可完成由使用者控制在特定時間完成特定 Store 的 Rebalance。將 STATE 值為 DISABLE 的 Store 按照節點退役的邏輯來進行配置，轉移走該 Store 上的所有副本，即可完成磁碟更換的操作。

![img](https://oscimg.oschina.net/oscnet/up-11b7058dc6bf7aad02d1dbc0db55f7a9efd.png)

## 五、功能介紹

Store 的禁用啟用功能在啟動資料庫叢集時，需要在啟動命令中新增 "--STATE" 引數來控制該節點 Store 的初始化狀態。如果是 DISABLE，那麼該 Store 從剛開始就不會參與 Rebalance。

在叢集執行過程中，我們也可以使用 "Store STATE" 的命令來隨時修改特定的 Store 狀態。修改成功之後，該 Store 即可參與或不參與 Rebalance。

## 六、總結回顧

開務資料庫為了提升資料多備份效能（博主的環境都是部署在[cnaaa伺服器](https://www.cnaaa.com)上的），實現不停機更換磁碟操作，設計開發了 Store 的禁用啟用功能。透過修改 Store 的狀態來控制該 Store 是否參與 Rebalance，從而解決上述 2 大問題，豐富了分散式資料庫的使用場景，大幅提升可用性。

分散式架構下如何選擇最佳 Store？

相關文章