面對物聯網時代海量裝置連線及其實時產生的大規模資料流，EMQ 提供從邊緣到雲的現代資料基礎設施，助力雲邊端物聯網資料的統一「連線、移動、處理、分析」。

如今，可「隨處執行、無限連線、任意整合」的雲原生分散式訊息中介軟體 EMQ X 已解決了海量連線的挑戰，流資料庫 HStreamDB 則正試圖解決海量物聯網資料的儲存、處理與實時分析。

作為首個專為流資料設計的雲原生流資料庫，HStreamDB 致力於高效的大規模資料流儲存和管理。EMQ X 與 HStreamDB 的組合，將使海量資料接入、儲存、實時處理與分析的一站式管理變得不再困難。

![EMQ X 與 HStreamDB](http://img.blog.itpub.net/blog/2021/12/21/3b5195ee83bd0fac.png?x-oss-process=style/bb "EMQ X 與 HStreamDB")

最近釋出的[ HStreamDB v0.6 ](http://blog.itpub.net/69958136/viewspace-2844051/)新增了資料寫入 Rest API，可以使用任何語言透過 Rest API 向 HStreamDB 寫入資料，方便開源使用者圍繞 HStreamDB 進行二次開發。我們也透過這一功能與 EMQ X 開源版的 Webhook 功能結合，實現了 EMQ X 和 HStreamDB 的快速整合。

本文就將詳細介紹使用 HStreamDB 對 EMQ X 的接入資料進行持久化儲存的具體操作。

> 注：本文介紹基於 EMQ X 4.3 和 hstreamdb/hstream:v0.6.1 映象。

## 啟動 EMQ X 和 HStreamDB

首先我們需要一個執行中的 EMQ X，如何安裝、部署並啟動請參考：[EMQ X 文件](https://docs.emqx.cn/broker/v4.3/getting-started/install.html) 。

同時，我們需要一個執行中的 HStreamDB，更詳細的如何安裝、部署與啟動教程請參考：[HStreamDB Docs](https://hstream.io/docs/en/latest/start/quickstart-with-docker.html) 。

對於不熟悉 HStreamDB 的使用者，可以先透過 docker-compose 快速啟動一個單機的 HStreamDB 叢集。

### 啟動 HStreamDB

先直接透過[連結](https://raw.githubusercontent.com/hstreamdb/hstream/main/docker/quick-start.yaml)下載 `docker-compose.yaml` 檔案。

建立一個用來儲存資料庫資料的檔案：

```shell
mkdir /data/store
```

在後臺啟動 HStreamDB：

```shell
docker-compose -f quick-start.yaml up -d
```

透過：

```shell
docker-compose -f quick-start.yaml logs hstream-http-server
```

將會看到以下 log：

```
Server is configured with:
     gRPCServerHost: hserver
     gRPCServerPort: 6570
     httpServerPort: 6580
 Setting gRPC connection
 Setting HTTP server
 Server started on port 6580 
```

### 透過 HStreamDB CLI 建立所需要的 Stream

Stream 是 HStreamDB 中用來儲存流式資料的物件，可以看作是一些資料的集合。

#### 啟動 HStreamDB CLI

用 docker 啟動一個 HStreamDB 的命令列介面：

```shell
docker run -it --rm --name some-hstream-cli --network host hstreamdb/hstream hstream-client --port 6570 --client-id 1
```

你將會進入到以下介面:

```
      __  _________________  _________    __  ___
     / / / / ___/_  __/ __ \/ ____/   |  /  |/  /
    / /_/ /\__ \ / / / /_/ / __/ / /| | / /|_/ /
   / __  /___/ // / / _  _/ /___/ ___ |/ /  / /
  /_/ /_//____//_/ /_/ |_/_____/_/  |_/_/  /_/

>
```

建立 HStreamDB Stream，用來儲存橋接過來的資料：

```
> CREATE STREAM emqx_rule_engine_output ;
emqx_rule_engine_output
```

當然我們也可以透過 `SHOW` 得到已經建立好的 Stream：

```
> SHOW STREAMS;
emqx_rule_engine_output
```

## 配置 EMQ X

然後，我們開啟 EMQ X 的 Dashboard，點選規則引擎（Rule Engine），進入資源（Resource）介面。

![EMQ X Dashboard 資源頁面](http://img.blog.itpub.net/blog/2021/12/21/70ccbbaac22c1b31.png?x-oss-process=style/bb "EMQ X Dashboard 資源頁面")

我們可以先建立一個 WebHook 資源，如下圖：

![EMQ X Dashboard 建立 WebHook](http://img.blog.itpub.net/blog/2021/12/21/fd631744599d039a.png?x-oss-process=style/bb "EMQ X Dashboard 建立 WebHook")

在 `Request URL` 一欄中填入 `hstream-http-server` 的監聽地址，`<host>:6580/streams/emqx_rule_engine_output:publish`，然後點選 `test connection` 測試連結。

![EMQ X Dashboard test connection](http://img.blog.itpub.net/blog/2021/12/21/ad73aea67a135cae.png?x-oss-process=style/bb "EMQ X Dashboard test connection")

接著，我們來建立所需要的規則引擎規則：

![建立 EMQ X 規則引擎規則](http://img.blog.itpub.net/blog/2021/12/21/acf32c6d4967f343.png?x-oss-process=style/bb "建立 EMQ X 規則引擎規則")

```
SELECT 
  payload,                 -- 在 HStreamDB 的 http 協議中，我們需要一個 payload 項
  str(payload) as payload, -- HStreamDB 要求 payload 是一個 JSON String
  0 as flag                -- HStreamDB 中 flag 為 0 表示 payload 是一個JSON String
FROM 
  "#"                      -- 這個符號會匹配所有的 topic
```

我們需要增加一個 Action Handler ，選擇 `Action` 為 `Data to Web Server`：

![EMQ X 規則引擎 Action](http://img.blog.itpub.net/blog/2021/12/21/830db0a77a0dbe6f.png?x-oss-process=style/bb "EMQ X 規則引擎 Action")

將 `Method` 設定為 `POST` ，`Header` 加入 `content-type` `application/json`。

這個時候，我們已經完成了最基本的橋接的設定，接下來讓我們透過 websocket 和 hstreamdb-cli 來測試一下吧。

## 透過 HStreamDB CLI 觀察資料的持久化儲存是否完成

首先我們在剛剛啟動的 HStreamDB CLI 中建立一個 Query：

```
> SELECT * FROM emqx_rule_engine_output EMIT CHANGES;
```

在 HStreamDB 中，每一個 Stream 都表示一串動態變化的資料流，因此一個 Query 並不是簡單地讀取資料，而是會持續讀取並輸出被寫入 Stream 中的資料。在 CLI 中，讀取和輸出資料的起點是就是成功建立 Query 的這一刻。當前，我們可以觀察到的是，CLI 中並沒有任何輸出。

此時我們可以透過 EMQ X DashBoard 的 WebSocket 或者其他 MQTT 客戶端（例如跨平臺 MQTT 5.0 桌面客戶端工具 - MQTT X）向 EMQ X 寫入資料。

以下用 WebSocket 舉例，我們可以先連線上我們啟動的 EMQ X 叢集：

![EMQ X DashBoard 的 WebSocket 客戶端](http://img.blog.itpub.net/blog/2021/12/21/7eba0d5e3f1dea52.png?x-oss-process=style/bb "EMQ X DashBoard 的 WebSocket 客戶端")

再向指定的 topic 傳送資料：

![EMQ X DashBoard 的 WebSocket 傳送資料](http://img.blog.itpub.net/blog/2021/12/21/99c76a8c001ccb60.png?x-oss-process=style/bb "EMQ X DashBoard 的 WebSocket 傳送資料")

如果一切正常的話，我們就可以實時地在 HStreamDB CLI 看到我們發到 EMQ X 的資料。

```
> SELECT * FROM emqx_rule_engine_output EMIT CHANGES;
{"location":{"lng":116.296011,"lat":40.005091},"speed":32.12,"tachometer":9001.0,"ts":1563268202,"direction":198.33212,"id":"NXP-058659730253-963945118132721-22","dynamical":8.93}
```

至此，我們完成了 EMQ X 接入的資料在 HStreamDB 的持久化儲存。

透過將 EMQ X 與 HStreamDB 整合，我們不僅可以實現對傳送到 EMQ X 的資料的持久化儲存，還能對這些資料進行實時處理分析，獲得進一步的資料洞察。隨著兩個產品的不斷完善，我們相信在未來，EMQ X + HStreamDB 的高效組合將在 IoT 領域實時流資料的分析和處理場景發揮重要作用，成為資料轉化與變現過程中的重要一環，為企業資料資產的價值創造提供動力。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/integration-practice-of-emqx-and-hstreamdb](https://www.emqx.com/zh/blog/integration-practice-of-emqx-and-hstreamdb)
>
>技術支援：如對本文或 EMQ 相關產品有疑問，可訪問 EMQ 問答社群 [https://askemq.com](https://askemq.com) 提問，我們將會及時回覆支援。
>
>更多技術乾貨，歡迎關注我們公眾號【EMQ 中文社群】。</host>

EMQ X 與 HStreamDB 整合實踐：透過規則引擎實現資料儲存

相關文章