繼月初 [HStreamDB 0.9](https://hstream.io/zh/blog/hstreamdb-v-0-9-release-notes) 正式釋出之後，HStreamDB 團隊投入了新的 v0.10 的開發週期。本月主要新增了端到端壓縮、CLI 支援 TLS 等功能，並修復了多項已知問題，同時新的 Haskell gRPC 框架以及**雲原生的全託管流資料庫服務 HStream Cloud** 也正在開發中。

## 支援端到端壓縮

之前版本的 HStreamDB 支援 HServer 端的資料壓縮，即資料在傳送給 HStore 之前可以被 HServer 先進行壓縮，但從 client 到 HServer 的路徑上尚不支援壓縮。

本月我們新引入了端到端的壓縮功能，即資料在寫入時會在 client 端以 batch 為單位進行壓縮，且壓縮後的資料會被 HStore 直接進行儲存。另外 client 端在消費的時候能夠自動進行資料的解壓，整個過程對使用者無感知。

在高吞吐的場景下，透過啟用端到端資料壓縮能夠顯著緩解網路頻寬瓶頸，提升讀寫效能，在我們的 benchmark 中顯示會有 **4 倍**以上的吞吐提升，當然代價是會增加 client 端的 CPU 消耗。

目前此項功能尚未正式釋出，但大家可以透過 HStreamDB 的 [latest 映象](https://hub.docker.com/r/hstreamdb/hstream/tags) 搶先體驗。[Java Client v0.10.0-SNAPSHOT](https://s01.oss.sonatype.org/content/repositories/snapshots/io/hstream/hstreamdb-java/0.10.0-SNAPSHOT/) 也已經包含了對端到端壓縮的支援（目前僅支援 gzip 壓縮），可透過如下程式碼使用：

```reasonml
BufferedProducer producer =
        client.newBufferedProducer()
            .stream(streamName)
            .compressionType(CompressionType.GZIP)
            .batchSetting(batchSetting)
            .flowControlSetting(flowControlSetting)
            .build();
```

## 新 Haskell gRPC 框架

HServer 使用 gRPC 和 client 進行通訊，目前我們使用的 Haskell gRPC 框架是透過 Haskell 的 FFI (Foreign Function Interface) 繫結到 gRPC C core lib 的。為了增強效能與穩定性，我們正在嘗試開發一套新的 Haskell gRPC server 框架進行替換。

新框架受 [hsthrift](https://github.com/facebookincubator/hsthrift) 的啟發，將基於 C++ gRPC server 來實現，並且基本不需要對目前的 Haskell 原始碼進行改動。目前新框架還在開發和測試過程中，預計將在 v0.10 正式釋出。

## HStream CLI

本月 HStream CLI 也新增了對 TLS 的支援，可參考[文件](https://hstream.io/docs/en/latest/cli/cli.html)使用。

另外， CLI 還帶來了以下新功能和改進：

- 新增了多行的 SQL 語句輸入的支援
- 新增了 -e、--execute 選項用於非互動式地執行 SQL 語句
- 新增了對輸入命令的歷史記錄的持久化支援
- 最佳化了執行 SQL 時的錯誤資訊提示

## 其它問題修復和改進

- 更新了 HStream Helm chart 對 v0.9 的部署支援
- 修復了訂閱可能會將分割槽分配給已經失效的 Consumer 的問題
- 修復了 gossip 模組使用 `withAsync` 引起的記憶體洩漏問題
- 修復了建立 view 時沒有檢查依賴的 stream 是否存在的問題
- 修復了新節點加入叢集時可能會失敗的問題
- 改進了 seed-nodes 重啟的流程
- 改進了叢集啟動時對 address 的處理
- 最佳化了 gossip 模組的執行緒使用和排程

## HStream Cloud 即將上線

我們正在開發 HStream Cloud —— 基於公有云平臺的 **Streaming-Database-as-a-Service** 服務。Early Access 版本即將上線，使用者將無需部署和運維，即可快速上手使用 HStreamDB。敬請期待。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://hstream.io/zh/blog/hstreamdb-newsletter-202208](https://hstream.io/zh/blog/hstreamdb-newsletter-202208)

HStreamDB Newsletter 2022-08｜端到端壓縮提升讀寫效能、HStream Cloud 即將上線

相關文章