十月，eKuiper 正式釋出了 1.7.0 版本。這一版本引入了查詢表和可更新 Sink 的概念，支援資料流與外部儲存的資料一起計算，進一步完善了流批結合的實時計算能力。與此同時，我們改進了分析函式，支援分流進行有狀態計算，新增了更多的分析函式，繼續提高規則的表達能力。在外部連線整合方面，我們豐富了source/sink，部分資源整合適配了新的查詢表和可更新 Sink 的能力。另外，新版本也著力提高產品運維的能力，最佳化了管理控制檯的外部資源 source/sink 的管理邏輯；提供了規則集的批次匯入匯出和初始化功能。

在之前的 Newsletter 中，我們已經對 v1.7.0 的部分功能進行了介紹，本文將重點介紹本月新新增的功能。歡迎大家[下載試用](https://ekuiper.org/downloads-and-install?version=1.7.0&os=Docker&oslabel=Docker)，並提出您的寶貴反饋。

## 強化分析能力

新版本新增和改進了 SQL 語法和內建函式，支援更多原生的分析能力。

- 新增了新的 Lookup Table 概念，用於繫結外部靜態資料，可以在規則中與流資料進行連線，實現流批結合的運算。
- 可更新的 Sink，除了原有的新增功能，支援透過規則對外部輸出進行修改和刪除。例如，可配置規則修改 SQL 資料庫和 Redis 的資料。
- 分析函式執行最佳化及分流計算。
- 新增分析函式 Latest，可獲取資料點位最新的值。用於採集資料點位不固定，可自動拼接計算完整資料。
- SQL 支援選擇 * 的同時，選擇更多的函式計算、別名等。

### 分析函式分流計算

分析函式指的是透過儲存狀態進行狀態相關分析的函式，使得使用者可以無需透過複雜的時間視窗或者自定義函式完成一部分常用的有狀態計算。eKuiper 原有版本中已經提供了諸如 `lag`、 `changed_col` 和 `had_changed` 等分析函式。新的版本中，我們對分析函式進行了強化。

首先，分析函式在 SQL 邏輯計劃中將被放置於資料來源之後執行。執行時在流式處理規則中，分析函式需要在事件觸發時進行狀態更新。若在部分子句中，例如帶 `WHERE` 過濾的規則中使用，有可能函式尚未執行規則已經返回。新的改動保證在事件觸發時可及時進行狀態更新。

其次，分析函式中新增了 `Partition By` 的分流語法。分析函式的計算預設是在資料流的所有輸入事件上進行的。然而，有部分使用者的資料流事實上包含了來自不同維度的資料，例如多個裝置的資料混雜在一個 MQTT topic 中。新的語法允許使用者在做分析計算時根據 `Partition By` 定義的維度進行分流計算。其語法如下所示：

```stylus
textAnalyticFuncName(<arguments>...) OVER ([PARTITION BY <partition key="">])
```

假設使用者接入一個資料流，其中的事件為來自多個裝置的溫度資料。以下兩個示例分別演示了有無分流的計算效果。

示例 1：獲取之前溫度值的函式

```stylus
lag(temperature)
```

示例 2：獲取相同裝置之前溫度值的函式

```pgsql
lag(temperature) OVER (PARTITION BY deviceId)
```

## 擴大連線生態

新版本在資源連線方面主要完成了兩部分工作：一方面繼續增加內建和擴充套件的 source/sink；另一方面，擴充套件現有 source/sink 功能，並適配 Lookup Table 和 Updatable Sink 的能力。

- Httppush source，透過 HTTP 協議向 eKuiper 推送資料。
- Influx V2 sink，支援寫入到 InfluxDB 2.x 版本中。
- Redis lookup source，支援使用 Redis 作為外部查詢表。
- EdgeX source 支援 application/cbor 格式，可處理 EdgeX camera 等接入的二進位制資料。
- Memory 和 SQL source 適配 Lookup Table
- Memory、Redis 和 SQL sink 支援更新
- Redis sink 移到內建 Sink 中，無需安裝外掛即可使用。

## 增強運維體驗

新的版本重構了外部連線配置相關的 API 以實現在管理控制檯上更易用的連線資源管理功能。另外一個較大的更新來自於流和規則的批次匯入匯出和初始化功能，方便使用者進行規則的遷移。

#### 統一資源管理

資源是資料整合的關鍵概念 。eKuiper 需要從源資源中接入資料然後從動作目標資源中匯出處理的資料。

在管理控制檯上，當建立多個規則時，以前只支援源部分的資源複用，而針對動作，即使不同規則的動作目標一致，也需要多次重複輸入資源資訊。本次更新後，管理控制檯中突出了資源管理概念，支援在單獨頁面配置資源，可分別對源和目標動作連線資源單獨配置，在配置好後一鍵測試連線可用性，並支援使用者在建立規則時引用已建立好的連線資源，簡化規則編寫步驟。
[![](http://img.blog.itpub.net/blog/2022/11/10/063a4d1754d9593c.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/ekuiper-newsletter-202210)
[![](http://img.blog.itpub.net/blog/2022/11/10/fd39680df983b24b.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/ekuiper-newsletter-202210)
#### 批次流和規則管理

新版本中提供了 REST API 和 CLI 介面，用於匯入匯出當前 eKuiper 例項中的所有流，表和規則定義。這樣可以快速地備份規則配置或者移植配置到新的 eKuiper 例項中。匯入匯出的規則集為文字的 JSON 格式，可讀性較強，也可以手工編輯。

此外，匯出的規則集檔案可命名為 `init.json`放置於 `data` 目錄中。eKuiper 首次執行時將自動載入此初始規則集，從而可實現預置規則，提高分發效率。

[![](http://img.blog.itpub.net/blog/2022/11/10/4a93613cd72e8bb4.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/ekuiper-newsletter-202210)

## 即將到來

下個月我們將進行 1.7.1 版本開發，主要包括 EdgeX Levski 版本的適配和 Bug 解決。此外，我們也將啟動 v1.8.0 以及 Flow Editor 的開發。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/ekuiper-newsletter-202210](https://www.emqx.com/zh/blog/ekuiper-newsletter-202210)</partition></arguments>

流批結合計算以及更多原生分析能力支援

相關文章