12月， eKuiper 團隊繼續專注於 1.8.0 版本新功能的開發。我們重構了外部連線（source/sink) 的格式機制，更加清晰地分離了連線、格式和 Schema，同時支援了格式的自定義；受益於新的格式機制，我們大幅完善了檔案源（file source）的能力，支援定時監控檔案系統及各種格式的檔案，並且採用流的方式消費檔案系統資料；最後，我們增加了完整資料包括規則和配置的匯入匯出功能，支援節點的遷移。另外，我們也修復了一些問題，併發布到 1.7.x 版本中。

12月的版本釋出包括：

- [v1.8.0-alpha.3](https://github.com/lf-edge/ekuiper/releases/tag/1.8.0-alpha.2)：包含 1.8.0 已開發完成的新功能
- [v1.7.4](https://github.com/lf-edge/ekuiper/releases/tag/1.7.4)：包含 bug fixes
- [v1.7.5](https://github.com/lf-edge/ekuiper/releases/tag/1.7.5)：包含 bug fixes

## 連線格式最佳化和自定義：序列化和 Schema

eKuiper 透過 source/sink 與外部系統進行連線、讀入或寫出資料。以 source 為例，每種型別的 source 讀取資料時都需要經過連線（connect）和序列化（serialization）兩個步驟。例如，MQTT source，連線意味著遵循 MQTT 協議連線 broker，而序列化則是將讀取到的資料 payload 解析成 eKuiper 內部的 map 格式。

### 連線和序列化

此前，連線和序列化通常在 source 內部實現，因此當使用者需要解析自定義格式時，即使連線協議是 MQTT 等已支援協議，仍然需要編寫完整的 source 外掛。新的版本中，格式和 source 型別進一步分離，使用者可以自定義格式，而各種格式可以與不同的連線型別結合使用。自定義格式的編寫方法請參考[格式擴充套件](https://ekuiper.org/docs/zh/latest/rules/codecs.html#格式擴充套件)。

例如，建立 MQTT 型別的資料流時可定義各種不同的 payload 格式。預設的 JSON 格式：

```routeros
CREATE STREAM demo1() WITH (FORMAT="json", TYPE="mqtt", DATASOURCE="demo")
```

MQTT 型別的資料流使用自定義格式，此時 MQTT 的 payload 中的資料應當使用自定義的格式：

```routeros
CREATE STREAM demo1() WITH (FORMAT="custom", SCHEMAID="myFormat.myMessage", TYPE="mqtt", DATASOURCE="demo")
```

### Schema

此前 eKuiper 支援在 Create Stream 的時候指定資料結構型別等。然而該方式有幾個問題：

- 額外效能消耗。當前的 Schema 沒有與資料原本的格式 Schema 關聯，因此在資料解碼之後，需要再額外進行一次 validation/轉換；而且該過程基於反射動態完成，效能較差。例如，使用 Protobuf 等強Schema 時，經 Protobuf 解碼之後的資料應當已經符合格式，不應再進行轉換。
- Schema 定義繁瑣。同樣無法利用資料本身格式的 Schema，而是需要額外配置。

新的版本中，Stream 定義時支援邏輯 Schema 和格式中的物理 Schema 定義。SQL 解析時，會自動合併物理 Schema 和邏輯 Schema，用於指導 SQL 的驗證和最佳化。同時，我們也提供了 API，用於外部系統獲取資料流的實際推斷 Schema。

```awk
GET /streams/{streamName}/schema
```

### 格式列表

新版本中，支援的格式擴充套件到如下幾種。部分格式包含內建的序列化；部分格式，例如 Protobuf 既可以使用內建的動態序列化方式也可以由使用者提供靜態序列化外掛以獲得更好的效能。在 Schema 支援方面，部分格式帶有 Schema，其中自定義格式也可以提供 Schema 實現。

[![](http://img.blog.itpub.net/blog/2023/01/05/8cfffe6a39409488.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/ekuiper-newsletter-202212)

## 檔案源

之前版本的檔案源主要用於建立 Table，對流式處理的支援不夠完善。新的版本中，檔案源也支援作為用作流，此時通常需要設定 `interval` 引數以定時拉取更新。同時增加了資料夾的支援，多種檔案格式的支援和更多的配置項。

新版本中支援的檔案型別有：

- json：標準的 JSON 陣列格式檔案。如果檔案格式是行分隔的 JSON 字串，需要用 lines 格式定義。
- csv：支援逗號分隔的 csv 檔案，以及自定義分隔符。
- lines：以行分隔的檔案。每行的解碼方法可以透過流定義中的格式引數來定義。例如，對於一個行分開的 JSON 字串，檔案型別應設定為 lines，格式應設定為 JSON。

建立讀取 csv 檔案的資料流，語法如下：

```routeros
CREATE STREAM cscFileDemo () WITH (FORMAT="DELIMITED", DATASOURCE="abc.csv", TYPE="file", DELIMITER=",", CONF_KEY="csv"
```

## 資料匯入匯出

新版本中提供了 REST API 和 CLI 介面，用於匯入匯出當前 eKuiper 例項中的所有配置（流、表、規則、外掛、源配置、動作配置、模式）。這樣可以快速地備份配置或者移植配置到新的 eKuiper 例項中。匯入匯出的規則集為文字的 JSON 格式，可讀性較強，也可以手工編輯。

匯出配置的 rest 介面如下，透過此 API 可匯出當前節點的所有配置

```routeros
GET /data/export
```

匯出配置的 rest 介面如下，透過此 API 可匯入已有配置至目標 eKuiper 例項中

```armasm
POST /data/import
```

如果匯入的配置中包含外掛 (native)、靜態模式(static schema)的更新，則需要呼叫以下介面

```fortran
POST /data/import?stop=1
```

匯入配置的狀態統計可用以下介面檢視

```fortran
GET /data/import/status
```

## 即將到來

本月我們將繼續進行 1.8.0 版本其他功能的開發，並重構文件，同時推進 Flow Editor 整合到 eKuiper manager 中。敬請期待。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/ekuiper-newsletter-202212](https://www.emqx.com/zh/blog/ekuiper-newsletter-202212)

連線格式最佳化，支援自定義

相關文章