本月，HStreamDB 團隊主要在進行 v0.9 的最後開發和釋出準備工作，對 v0.9 即將帶來的 stream 分割槽模型改進、新叢集機制、HStream IO 等新特性進行了進一步的完善和測試，同時也將主要的客戶端升級到適配 v0.9。

## Stream 分割槽模型改進

在之前版本中，HStreamDB 採用透明分割槽模型，每個 stream 內的分割槽數是根據寫入負載的情況動態調整的，且 stream 內部的分割槽對使用者不可見。這種模型的優勢在於保持使用者概念簡單性的同時也保留了實現的靈活性，能夠做到隨負載動態伸縮分割槽數量，且在伸縮過程中保持需要的資料順序性。

當前這一模型的主要缺點在於使用者無法直接進行分割槽級的操作和精細化控制，比如無法直接從任意位置讀取某個分割槽的資料。為此，我們決定將開放分割槽的操作和控制能力給到使用者，使使用者可以：

- 透過 `partitionKey` 控制資料在分割槽之間的路由
- 直接從指定位置讀取任意 shard 的資料
- 手動控制 stream 內分割槽的動態伸縮

在實現上，HStreamDB 採用的是 key-range-based 分割槽機制， stream 下的所有 shard 共同劃分整個 key space，每個 shard 歸屬一段連續的子空間（key range），shard 的擴充套件與收縮對應子空間的分裂與合併。同時分割槽的伸縮不會造成老資料的複製和遷移，而是引起父分割槽的封閉，新資料會自動進入子分割槽，但與此同時父分割槽的資料依然是可讀的。基於這種設計， 分割槽的動態伸縮將會更加可控、快速， 而且不會帶來由於老資料的重分佈引起的低效和影響資料順序等問題，這實際也是透明分割槽的內部工作機制。

上述的分割槽模型改進將包含在即將釋出的 v0.9 中（暫不包含控制分割槽分裂和合並的能力）。

## HStream IO 更新

HStream IO 是 HStreamDB v0.9 即將釋出一個內部資料整合框架，包含 source connectors、sink connectors、IO runtime 等元件，它能夠實現 HStreamDB 和多種外部系統的互聯互通，從而助力促進資料在整個企業資料棧內的高效流轉以及實時價值釋放。

繼上月我們新增了對多個資料庫的 cdc source 支援後， 本月我們新增了對 MySQL 和 PostgreSQL 的 sink connector 支援，另外也對 embbed IO runtime 在 connector 引數檢查、 配置文件生成以及任務安全退出等方面進行了改進和增強，同時也提供了 SQL commands 方便使用者透過 CLI 建立和管理 IO task，示例如下：

```pgsql
create source connector source01 from mysql with ("host" = "127.0.0.1", "port" = 3306, "user" = "root", "password" = "password", "database" = "d1", "table" = "t1", "stream" = "stream01");

create sink connector sink01 to postgresql with ("host" = "127.0.0.1", "port" = 5432, "user" = "postgres", "password" = "postgres", "database" = "d1", "table" = "t1", "stream" = "stream01");

show connectors;

pause connector source01;

resume connecctor source01;

drop connector source01;
```

## HStream MetaStore

目前 HStreamDB 使用 Zookeeper 儲存系統內的後設資料，比如 shard 的複製屬性和叢集節點的任務分配和排程資訊等，這給 HStreamDB 的部署和運維帶來了一些額外的複雜性，如部署需要依賴 JVM，要單獨管理 Zookeeper 叢集等。

為此，我們計劃移除 HStreamDB 對 Zookeeper 的直接依賴，並引入專門的 HStream MetaStore 元件（簡稱 HMeta）。HMeta 將提供一組抽象的後設資料儲存介面，理論上可基於多種儲存系統來實現。目前我們正在開發提基於 rqlite [https://github.com/rqlite/rqlite ]的預設實現。rqlite 基於 SQLite 和 raft，採用 Golang 編寫，非常輕量，易於部署和管理。

HMeta 的開發工作還在持續進行中，如我們之前 newsletter 中提到的， HServer 的新叢集機制已經不再依賴 Zookeeper ， 本月我們也已經實現了將 HStore 的 EpochStore 遷移到 HMeta。這項特性將不會納入即將釋出的 v0.9 中，它還需要更多的測試，我們計劃在 v0.10 中正式釋出它。

## 客戶端更新

本月客戶端也在適配 HStreamDB v0.9 方面帶來了多項升級，以 hstreamdb-java 為例，主要包含以下改動：

- `createStream` 可指定初始分割槽數
- 增加 `listShards` 方法
- `producer` 和 `bufferedProducer` 適配新的分割槽模型
- 增加 `Reader` 類，可用來讀取任意分割槽

其它語言的客戶端（Golang、Python）也將包含對 v0.9 的支援。

## 其它

本月完成的其它一些值得關注的特性包括：

- HServer 新增 `advertised-listeners`配置，該配置用於解決 HStreamDB 部署在複雜網路環境下時外部 client 訪問 HStreamDB 的問題。
- 改進了 HServer 叢集啟動時的 bootstrap 流程。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://hstream.io/zh/blog/hstreamdb-newsletter-202207](https://hstream.io/zh/blog/hstreamdb-newsletter-202207)

HStreamDB Newsletter 2022-07｜分割槽模型最佳化、資料整合框架進一步完善

相關文章