KunlunDB 快速入門2.0（對等部署最佳實踐）

一、瞭解對等部署

KunlunDB是計算&儲存分離的分散式資料庫，支援海量資料處理，可以解決傳統資料庫分庫&分錶帶來的複雜性問題。

KunlunDB的核心元件如下圖所示，由計算引擎和儲存引擎組成。

計算引擎主要負責資料處理計算，是CPU資源密集型伺服器，而儲存引擎是IO資源密集型伺服器，在實際生產環境部署過程中，可以將計算引擎和儲存引擎部署在同一臺伺服器上，以獲得資源的有效利用，同時通過不同節點間的元件冗餘來實現高可靠性。

 

典型的對等部署結構下圖所示：

 

KunlunDB叢集服務數量沒有限制，對等部署架構的特點是計算節點與儲存節點並存於同一臺物理伺服器內，每臺伺服器既執行計算節點，同時也執行儲存節點。

對於多副本Shard,主從副本不能位於同一臺伺服器內，而應該對等的分佈在其他的伺服器裡。

1.1 KunlunServer(計算節點）

 

計算節點執行無狀態計算&查詢引擎，與儲存進行互動執行SQL 任務，採用非同步通訊模式，計算節點不但可以本機上的儲存節點互動，也可以通過網路與對接節點上其他的儲存節點互動進行資料處理。

客戶應用程式可以連線到任意一臺計算節點執行KunlunDB叢集的資料處理任務。

1.2  KunlunStorage( 儲存節點）

儲存節點由多個儲存分片（Shard）組成，Shard的主從副本對等分佈在可用的伺服器中，每臺伺服器的儲存節點是由某個Shard的主副本及其他Shard的從副本組成。

 

對等部署的好處：

• 有效利用伺服器硬體資源

• 元件在伺服器之間相互冗餘提高系統可靠性

• 方便擴容，靈活擴充套件

二、對等部署指南

2.1  資源準備：在對等部署方案中，各臺服務的硬體配置應該一致， 作業系統及版本一致，伺服器之間的網路頻寬建議是千兆或以上。

 

2.2  每臺伺服器的執行一個計算節點。

 

2.3  叢集的Shard個數不應該超過伺服器的數量，每臺伺服器只能執行叢集的一個Shard的主節點。每個Shard的主從副本的引數配置應用一致。不同Shard的引數配置可以根據業務需求做個性配置。

 

2.4  每個Shard的副本數量可以根據業務需求定義，KunlunDB叢集對副本數量沒有限制，但從可靠性考慮，建議每個shard最少3個副本，副本數量不超過可用的機器數量。

 

2.5  在配置，建議主從副本不要執行在同一臺伺服器內。

2.6  管理元件及其他元件：

 

• 後設資料叢集：建議部署為一主兩從的高可用模式，暫用資源較少，可根據現網情況選擇相應伺服器部署。

  
  

• 叢集管理器：建議部署為一主兩從的高可用模式，暫用資源較少，可根據現網情況選擇相應伺服器部署。

  
  

• 節點管理器：每臺伺服器部署一個。

三、安裝部署過程

對等部署的安裝詳細過程可以參考文件:  KunlunDB快速入門安裝指南 , KunlunDB 1.0將支援基於WEB UI介面的對等模式安裝，提高安裝的易用性。

 

對等部署的伺服器資源規劃參照下面表格（以三節點為例）  

伺服器	Shard	埠
Server1	（SD1 主節點） （SD2 從節點） （SD3 從節點）	6004 6005 6006
Server2	（SD2 主節點） （SD1 從節點） （SD3 從節點）	6007 6008 6009
Server3	（SD3 主節點） （SD1 從節點） （SD2 從節點）	6010 6011 6012

四、對等部署伺服器配置要求

做為分散式資料庫，KunlunDB叢集對伺服器的配置要求相對較低，入門級的KunlunDB叢集的伺服器配置參考如下：

 

KunlunDB入門級機器配置：

• 伺服器3臺：亞馬遜m5.4xlarge機型（CPU 8cores 16Threads , 記憶體64G，儲存gp3, 通用型SSD卷3000IOPS ，125MB/s吞吐量，節點間網路頻寬10G）。

  
  

• 資料庫軟體：KunlunDB 0.9.1。
  

  
  

• 部署架構：對等部署，3Shard , 每個Shard有3個副本。

-END