本月，HStreamDB 團隊[正式釋出了 v0.8](https://hstream.io/zh/blog/hstreamdb-v-0-8-release-notes)，並啟動了 v0.9 的開發工作，v0.9 將在叢集、外部系統整合、分割槽等方面帶來重大改進。本月我們主要完成了新的叢集機制和資料整合框架 HStream IO 的設計和初步開發工作，並啟動了新的 Python 客戶端開發。同時正式釋出了 Erlang 客戶端的 0.1 版本，以及新增了 Helm 和阿里雲的部署支援。

## HServer 叢集機制改進

在 v0.8 以及之前版本，HServer 叢集主要採用的是基於 ZooKeeper 的中心化叢集機制，通過 ZooKeeper 來做 HServer 節點的註冊和發現以及節點之間的協調等，各個 HServer 節點之間不進行直接通訊。這種叢集方案被大量分散式系統採用，相對比較成熟，主要的缺點是需要依賴像 ZooKeeper 這樣的外部系統，不夠靈活，而且擴充套件性方面也有一些限制。

為了支援更大的叢集和更好的擴充套件性，以及減少對外部系統的依賴，v0.9 將採用去中心化的叢集機制，新的叢集方案將主要基於 SWIM[1] 論文，其核心包括一套高效的 failure dectation 演算法和 gossip style 的叢集訊息傳播機制，類似的方案已經應用在 Consul、Cassandra 等分散式系統中。目前新叢集相關功能還在研發過程中，將在 v0.9 正式釋出。

## 全新資料整合框架 HStream IO

為了滿足多種不同的業務需求，目前企業內部往往存在多套資料系統或者資料平臺，包括但不限於：線上事務庫、離線分析庫、快取系統、搜尋系統、批處理系統、實時處理系統、資料湖等等。**HSteamDB 在專注於精簡和重塑實時資料棧的同時，作為一個新興的流資料庫，也肩負著促進資料在整個資料棧內高效流轉以及推動企業資料棧現代化和實時化的使命，因此無縫對接和整合眾多外部系統的能力對於 HStreamDB 來說也非常重要。**

HStream IO 是 HStreamDB 內部的資料整合框架，它包含 source connectors、sink connectors、IO Runtime 等元件，能夠將外部系統的資料通過 source connectors 匯入到 HStreamDB，也可以通過 sink connectors 將 HStreamDB 內的資料匯出給外部系統。另外值得注意的是，HStream IO 將基於 Airbyte spec 來實現，這意味者我們將能夠完全複用 Airbyte 社群的大量開源 connectors，快速實現將 HStreamDB 和任意系統整合。本月 HStream IO 已經完成設計和前期開發工作，並將在 v0.9 中正式釋出。

## 客戶端更新

### 新增 Python 客戶端

本月我們也啟動了 HStreamDB 的 Python 客戶端 hstreamdb-py 的研發工作，支援 Python3.7 及以上版本，並將於下月正式釋出。

### hstreamdb-erlang v0.1 釋出

本月 HStreamDB 的 Erlang 客戶端 hstreamdb-erlang 正式釋出 v0.1，具體使用可參考 https://github.com/hstreamdb/hstreamdb-erlang/blob/main/README.md

## 部署方式更新

### 新增基於 Helm 的部署支援

Helm (https://helm.sh/) 能夠幫助使用者更容易的安裝和管理 K8s 應用，本月 HStreamDB 也提供了基於 Helm 的部署支援，具體可參考文件 https://hstream.io/docs/en/latest/deployment/deploy-helm.html#building-your-kubernetes-cluster

### 新增阿里雲 Terraform 部署支援

此前我們提供了基於 Terraform 在 AWS 和 華為雲上部署 HStreamDB 的教程，本月我們又新增了對阿里雲的部署支援，具體可參考文件 https://hstream.io/docs/zh/latest/deployment/deploy-terraform-aliyun.html

> [1]：Das, A., Gupta, I. and Motivala, A., 2002, June. Swim: Scalable weakly-consistent infection-style process group membership protocol. In *Proceedings International Conference on Dependable Systems and Networks* (pp. 303-312). IEEE.

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://hstream.io/zh/blog/hstreamdb-newsletter-202205](https://hstream.io/zh/blog/hstreamdb-newsletter-202205)

HStreamDB Newsletter 2022-05｜去中心化叢集機制、全新資料整合框架...

最新文章