這個五月，eKuiper 處在 1.6.0 版本新功能開發早期階段，產品功能開發主要包括 protobuf 編解碼支援。針對使用者多次提出的用拖拽方式編寫資料處理規則需求，我們也在進行原型驗證。v1.5.1 的 bug 修復也在進行中，預計於 6 月初發布。

此外，作為邊緣流式資料處理軟體，eKuiper 還參與了中國信通院發起的《邊緣流式資料處理技術能力要求》標準評估，透過後 eKuiper 將成為首個透過此標準認定的產品。

## protobuf 編解碼支援

目前 source 和 sink 關於編解碼的配置屬性 format 預設值為 JSON，使用者可以透過新增的 protobuf 的選項選用 protobuf 的編解碼能力。相比於 JSON，protobuf 編碼的資料量更小，有利於節省雲邊之間傳輸的頻寬。該功能目前已經開發完成但尚未釋出，使用者可以透過邊緣原始碼的 v1.6.0 分支進行試用。

相比於無模式（schema）的 JSON 格式，protobuf 需要定義 proto 檔案作為編解碼的 schema。在使用 protobuf 格式之前，使用者需要先註冊 schema，並透過新增的 schemaId 屬性，指定編解碼選用的 schema。

#### Schema 管理

使用 REST API 註冊，schema 內容可透過檔案路徑或者文字提供。

```awk
// POST /schemas
{
  "id":"fileName",
  "file":"http://myhost/files/abc.proto"
}
```

或者透過文字內容配置：

```1c
// POST /schemas
{
  "id":"schemaName",
  "content":"message Person {
    required string name = 1;
    required int32 id = 2;
    optional string email = 3;
  }"
}
```

無論何種方式，內容會被儲存於 etc/schemas/protobuf。

#### Sink 中使用 protobuf

- format，用於指定使用的編碼
- schemaId， 用於指定使用的 schema

```awk
{
  "mqtt":{
    "server":"tcp://127.0.0.1:1883",
    "topic": "result",
    "format":"protobuf",
    "schemaId":"schemaName.Person"    // protobuf的 ID分為兩部分，前面為檔名，後面為message名
  }
}
```

#### Source 中使用 protobuf

FORMAT，支援 protobuf

SCHEMA_ID ，用於指定使用的 schema

```routeros
CREATE STREAM demo() WITH (TYPE="NEURON", FORMAT="protobuf", SCHEMA_ID="schemaName.Person")
```

## 視覺化拖拽編輯能力

之前 eKuiper 針對流式資料僅支援 SQL 形式編寫資料處理規則，有一定門檻，不方便業務人員直接參與規則編寫。為了進一步降低使用門檻，eKuiper 準備支援以視覺化方式拖拽資料處理單元並進行簡單編輯配置，最終將多個資料處理單元連線起來自動形成資料處理規則，方便更多人直接使用 eKuiper 進行業務處理。目前這個方案正在原型設計階段。

[![eKuiper 視覺化拖拽編輯能力](http://img.blog.itpub.net/blog/2022/06/10/a099202a9dd5589e.png?x-oss-process=style/bb "eKuiper 視覺化拖拽編輯能力")](https://www.emqx.com/zh/blog/ekuiper-newsletter-202205 "eKuiper 視覺化拖拽編輯能力")

## 即將到來

下個月我們將完善視覺化拖拽編輯，併合併到主分支中。另外，eKuiper 將最佳化 sink 出錯之後的快取機制，實現記憶體 + 磁碟的離線儲存，並在錯誤恢復後順序重發，以支援網路斷開情況下更強的恢復能力，快取更長時間的資料。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/ekuiper-newsletter-202205](https://www.emqx.com/zh/blog/ekuiper-newsletter-202205)

eKuiper Newsletter 2022-05｜protobuf 編解碼支援、視覺化拖拽編寫規則

相關文章