HStreamDB Newsletter 2022-06|新叢集機制、視覺化監控、Python 客戶端釋出…

EMQX 發表於 2022-07-04
Python 視覺化

本月,HStreamDB 團隊專注於 v0.9 的開發工作,目前已經完成了 HServer 去中心化叢集的切換、HStream IO Embedded Runtime 和 CDC Source Connector 的開發, 並帶來了新的 Grafana 監控整合以及正式釋出了首個可用的 Python 客戶端。另外,還與 EMQX 團隊協作完成了 HStreamDB 與 EMQX 的整合。

HServer 採用新的叢集機制

目前我們已經初步完成將 HServer 叢集機制從基於 ZooKeeper 的中心化方案切換到基於 SWIM[1] 的去中心化方案,其主要目的是為了支援更大的叢集和更好的擴充套件性,同時減少對外部系統的依賴。後續我們將繼續對新叢集機制進行更多測試和完善,這一特性將在 v0.9 中正式釋出。

HStream IO 支援 CDC Source

HStream IO 是 HStreamDB v0.9 即將釋出一個內部資料整合框架,包含 source connectors、sink connectors、IO Runtime 等元件,它能夠實現 HStreamDB 和多種外部系統的互聯互通,從而助力促進資料在整個企業資料棧內的高效流轉以及實時價值釋放。

本月我們完成了 Embedded IO Runtime 以及多種資料庫的 CDC Source Connector 的開發,包括:MySQL、PostgreSQL、SQL Server 等,能夠高效實現將這些資料庫的資料增量、實時地同步到 HStreamDB。

新增 Grafana 監控整合

為了方便使用者運維和管理 HStreamDB 叢集,我們新增了基於 Prometheus 和 Grafana 的監控支援,這也是目前業界主流的監控方案。HStreamDB 內部的監控資料會通過 Exporter 儲存到 Prometheus,然後通過 Grafana 的皮膚進行視覺化展示,當前效果如下圖所示。

關於監控相關的更多內容請參考文件 https://hstream.io/docs/en/la...

HStreamDB Newsletter 2022-06|新叢集機制、視覺化監控、Python 客戶端釋出…

Python 客戶端正式釋出

本月我們正式釋出了 HStreamDB 的 Python 客戶端 hstreamdb-py https://github.com/hstreamdb/hstreamdb-pyy v0.1.0,支援 HStreamDB v0.8,目前已經具備資料批量寫入、訂閱消費以及資源管理等核心功能,歡迎大家使用並反饋建議。

相關安裝指令可參考 https://pypi.org/project/hstr... ,更多使用文件參見 https://hstreamdb.github.io/h...

支援與 EMQX 整合

EMQX 是由 EMQ 開發的全球領先的開源 MQTT 訊息伺服器,在物聯網領域有著廣泛應用。本月通過與 EMQX 研發團隊合作,我們完成了 EMQX 與 HStreamDB 的高效整合,這將助力使用者實現一站式的物聯網裝置連線、資料接入、持久化儲存和實時分析。具體可參考 https://www.emqx.com/zh/blog/...

[1]:Das, A., Gupta, I. and Motivala, A., 2002, June. Swim: Scalable weakly-consistent infection-style process group membership protocol. In Proceedings International Conference on Dependable Systems and Networks (pp. 303-312). IEEE.

版權宣告: 本文為 EMQ 原創,轉載請註明出處。

原文連結:https://hstream.io/zh/blog/hstreamdb-newsletter-202206