九月，[eKuiper](https://ekuiper.org/docs/zh/latest/) 處於 v1.7.0 的開發週期中，開發團隊和社群的夥伴共同完成了一系列的新功能。我們初步實現了 Lookup Table（查詢表）的支援，從而完善了流批結合的運算能力，例如實時資料補全的能力。另外，我們擴充套件和最佳化了資料整合，新增了 HTTP 推送源、Influx V2 sink；擴充套件了 EdgeX 源的資料格式支援。同時，九月底我們也釋出了 1.6.2 版本，主要是 Bug 修復和管理控制檯的增強。

## 流批結合計算

並非所有的資料都會經常變化，即使在實時計算中也是如此。在某些情況下，你可能需要用外部儲存的靜態資料來補全流資料。例如，使用者後設資料可能儲存在一個關聯式資料庫中，流資料中只有實時變化的資料，需要連線流資料與資料庫中的批次資料才能補全出完整的資料。新的版本中，eKuiper 新增了新的 Lookup Table 概念，用於繫結外部靜態資料，可以在規則中與流資料進行連線，實現流批結合的運算。

使用查詢表時，通常有三個步驟。

1. 建立資料流。該步驟與之前建立普通資料流的過程無異。

`CREATE STREAM demoStream() WITH (DATASOURCE="demo", FORMAT="json", TYPE="mqtt")`

2. 建立查詢表。建立表時，增加了新的屬性 KIND，用於指定是否為查詢表。此處表的源型別為 SQL，需要在 etc/sources.sql.yaml 中配置資料庫連線的相關資訊。DATASOURCE 屬性指定了要連線的物理表名。

`CREATE TABLE myTable() WITH (DATASOURCE=\"myTable\", TYPE=\"sql\", KIND=\"lookup\")`

3. 建立規則，連線流和表，並進行計算。

`SELECT * FROM demoStream INNER JOIN myTable on demoStream.id = myTable.id`

與之前版本支援的動態表不同，查詢表不需要在記憶體中儲存表資料的快照，而是在連線時直接查詢外部資料，從而可支援更大量的靜態資料的查詢。查詢表提供了可配置的資料記憶體快取的支援，提高查詢效率。

查詢表本身需要有儲存能力，因此並非所有資料來源都可作為查詢表型別。目前，我們適配或新增了以下幾種查詢源（source)：

- SQL
- Redis
- Memory ：配合規則流水線，可將別的規則的歷史結果作為查詢源使用

此外，原生外掛中增加了 LookupSource 介面，供使用者自定義查詢源擴充套件。

## 使用 HTTP 推送資料流

新增了 httppush source ，它作為一個 HTTP 伺服器，可以接收來自 HTTP 客戶端的訊息。所有的 HTTP 推送源共用單一的全域性 HTTP 資料伺服器。每個源可以有自己的 URL，這樣就可以支援多個端點。HTTP 推送源的配置分成兩個部分：全域性伺服器配置和源配置。全域性伺服器配置位於 `etc/kuiper.yaml` 中，可配置伺服器的監聽地址和埠，以及 HTTPS 的相關證書配置。源配置位於 `etc/sources/httppush.yaml` 中，用於配置推送的 HTTP 方法。建立資料流時，可透過 DataSource 屬性，配置資料流監聽的 URL 端點，從而區分各個資料流的推送 URL。

```routeros
CREATE STREAM httpDemo() WITH (DATASOURCE="/api/data", FORMAT="json", TYPE="httppush")
```

在此例中，DataSource 配置為 `/api/data`。假設使用者使用預設伺服器配置，則推送到 `http://localhost:10081/api/data` 中的資料將形成資料流 httpDemo。後續可建立規則對該資料流進行處理。

## InfluxDB 2.x Sink

之前的版本中，[eKuiper](https://github.com/lf-edge/ekuiper) 提供了 InfluxDB sink，支援寫入資料到 1.x 版本的 InfluxDB 中。然而，由於 InfluxDB 2.x 的 API 不相容 v1，原有的 sink 不支援寫入到 v2 中。新的版本中，感謝社群使用者 @elpsyr 提供了 InfluxDB 2.x sink 外掛，我們實現了寫入 InfluxDB 2.x 的支援。

## 處理 EdgeX Foundry 影像資料

EdgeX Foundry 中使用 `application/cbor` 格式傳輸二進位制資料，例如影像資料。新的版本中，我們提供了對該格式的支援，使得使用者使用 eKuiper 處理 EdgeX 中的影像資料成為可能。Edge X Camera 服務採集到影像資料，可透過 eKuiper 進行預處理、AI 推理、後處理等，從而實現使用 SQL 規則完成 AI 影像處理流水線的功能。

## 即將到來

十月我們將繼續進行 v1.7.0 的開發，計劃的新功能包括連線資源管理、分流計算等。預計將在十月底完成釋出。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/ekuiper-newsletter-202209](https://www.emqx.com/zh/blog/ekuiper-newsletter-202209)

提供流批結合計算能力

相關文章