[![](http://img.blog.itpub.net/blog/2023/04/07/443d99d28e1f248a.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/ekuiper-newsletter-202303)

3 月份，eKuiper 團隊主要進行了 1.9.0 版本的開發，增加了一些重要的功能，進一步提高了 [eKuiper](https://ekuiper.org/zh) 的效能和可用性：

1. IO Connectors 增強。新增了多 Neuron 連線的功能；在 HTTP 連線方面，我們提供了類 oAuth 的基於動態 token 的鑑權過程的支援；此外還支援了 MQTT 連線中壓縮和解壓，減少邊雲傳輸的頻寬損耗。
2. 分析能力增強。我們新增了許多新的轉換函式，包括 JSON 字串相關、base64 編碼相關以及壓縮相關的函式，方便使用者更靈活地處理和轉換資料流。
3. 運營效率增強。新版本中繼續最佳化了資料匯入和匯出功能，支援選擇需要的規則進行匯入匯出，實現了規則依賴的流、配置和外掛等的自動推斷和匯出。另外，我們最佳化了 eKuiper manager 中的規則管理介面，可以更準確地展示規則啟動中的狀態。

eKuiper 1.9.0 將在本月底釋出。除此之外，eKuiper 也在 3 月份釋出了 1.8.2 版本，主要修復了使用者和社群反饋的問題。

## 多 Neuron 對接

[Neuron](https://www.emqx.com/zh/products/neuron) 是執行在各類物聯網邊緣閘道器硬體上的工業協議閘道器軟體，可以採集來自繁雜多樣工業裝置的不同協議型別資料，採集的資料經由 eKuiper 做流式的實時處理，獲取更大的價值。eKuiper 一直在持續最佳化和 Neruon 的對接和整合。

*參考閱讀：[Neuron+eKuiper 實現工業物聯網資料採集、清理與反控](https://www.emqx.com/zh/blog/industrial-iot-data-collection-cleaning-and-control)

eKuiper 1.5.0 版本加入了基於 NNG ipc 通訊方式的 Neuron source 和 sink，使得使用者無需配置即可在 eKuiper 中接入 Neuron 中採集到的資料進行計算；也可以方便地從 eKuiper 中透過 Neuron 控制裝置 。NeuronEX 版本中整合了 Neuron + eKuiper ，使得使用者無需任何額外部署和配置工作，即可處理採集到的工業資料。整合的方式滿足了一部分使用者的使用場景，但是在另一類場景中，使用者需要單獨部署 Neuron 和 eKuiper，而且可能需要兩者分別根據資料量等情況進行部署伸縮。這種情況下，我們就需要 eKuiper 可以對接多個 Neuron 例項。

1.9.0 版本中，eKuiper 中的 Neuron source 和 sink 的配置中增加了連線 URL 的配置。基於此， eKuiper 可以配置多個不同的 Neuron 連線，採用不同的 host/IP 和 埠來識別，然後把連線應用到流和 sink 中，實現多 Neuron 連線。連線 URL 預設為 tcp，也可以配置為 ipc，用於與舊版 Neuron 連線。建立流之後，資料處理規則建立和管理的功能與原來的版本相同，詳細教程請參考[使用 eKuiper 對 Neuron 採集的資料進行流式處理 | eKuiper 檔案](https://ekuiper.org/docs/zh/latest/integrations/neuron/neuron_integration_tutorial.html#使用-ekuiper-對-neuron-採集的資料進行流式處理)。
[![](http://img.blog.itpub.net/blog/2023/04/07/79799a885d35bdf5.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/ekuiper-newsletter-202303)
![](http://img.blog.itpub.net/blog/2023/04/07/5215a94453726438.png?x-oss-process=style/bb)
實現 eKuiper 和 Neuron 多對多連線需要兩個元件同時進行開發。各個版本之間的對接關係有以下幾種組合：

1. eKuiper 1.9 之後版本與 Neuron 2.4 之後版本可支援多對多對接。
2. eKuiper 1.9 之後版本與 Neuron 2.4 之前版本對接只能透過 ipc，需要配置 `SOURCES__NEURON__DEFAULT__URL: "ipc:///tmp/neuron-ekuiper.ipc"`，並且啟用 volumes nng-ipc 的配置。Neuron 無需暴露 7081 埠。
3. eKuiper 1.9 之前版本與 Neuron 2.4 之前版本對接只能透過 ipc，需要去除 `SOURCES__NEURON__DEFAULT__URL` 環境變數配置並且啟用 volumes nng-ipc 的配置。Neuron 無需暴露 7081 埠。
4. eKuiper 1.9 之前版本與 Neuron 2.4 之後版本無法直接對接，可透過 MQTT 中轉。

## 連線動態 token 的 HTTP 服務

在本次更新中，eKuiper 新增了 HTTPPull 源以及 Rest Sink 的動態令牌鑑權的支援。這些功能使 eKuiper 更容易地連線到各種服務和資料來源。

之前的版本中，我們支援透過自定義 header 的方式設定 apikey 等 header 實現基於固定 token 的認證方式。該方式可以覆蓋一些安全配置要求較低的介面，例如內部的介面。還有許多介面需要動態獲取和更新 token。為了接入這類 HTTP 服務，我們實現了相同的類似 OAuth 的認證流程的配置方式。在這個流程中，使用者需提前獲取認證碼或者 API key。之後，eKuiper 中可配置該認證碼，規則執行後會使用認證碼來請求訪問令牌，並可能在到期後透過重新整理令牌來重新整理令牌。

有了這個功能之後，eKuiper 可訪問動態令牌的 HTTP 服務，例如 Neuron 的 REST API，從而實現對 Neuron 的自動控制。例如，可以配置 HTTPPull 監聽 Neuron 的節點 API，當節點變化時自動觸發規則。以下為訪問 Neuron 節點 API 的 HTTPPull source 配置示例，需要配置 access token 的獲取方式，使用者也可以在 manager 上進行配置。

```oxygene
neuron_pull:
  # url of the request server address
  url: http://127.0.0.1:7000/api/v2/node/state
  # HTTP headers required for the request
  headers:
    Accept: application/json
    Authorization: 'Bearer {{.token}}'
  # Get token
  oAuth:
    # Access token fetch method
    access:
      # Url to fetch access token, always use POST method
      url: http://127.0.0.1:7000/api/v2/login
      # Body of the request
      body: '{"name": "admin","pass": "0000"}'
      # Expire time of the token, time unit is second, allow template
      expire: '3600'
```

## 節省傳輸頻寬：MQTT 壓縮/解壓

MQTT 是雲邊協同最常用的資料傳輸方法。雲邊傳輸頻寬成本昂貴，透過減小傳輸資料的大小，可以提高資料傳輸的效率並降低成本。定位在邊緣端的 eKuiper 透過 MQTT sink 上報資料到雲端時，支援設定壓縮方式，目前支援的演演算法包括 `zlib`, `gzip` 和 `flate`。使用方式有很簡單，新版本中 MQTT sink 新增了屬性 `compresson`，配置需要的壓縮演演算法名字即可。

```json
"mqtt": {
    "server": "{{mqtt_broker_address}}",
    "topic": "result/sinkcompress",
    "sendSingle": true,
    "compression": "zlib"
  }
```

同時，MQTT source 也支援解壓縮，以接收雲端下發的壓縮資料或者部署在雲端時接收邊緣端上傳的資料。MQTT source 的配置中新增了 `decompression` 屬性，配置成所需的解壓演演算法即可。

## 豐富資料轉換函式

eKuiper 1.9.0 版本還增加了許多新的轉換函式，例如 to_json、parse_json、decode等。這些函式使eKuiper的表達能力更加強大，可以更靈活地處理和轉換資料流。例如，如果您要將資料流轉換為JSON格式並進行特定欄位的過濾，則可以使用以下程式碼：

```pgsql
SELECT id, compress(to_json(object_construct("recordId", newuuid(), "recordDateTime", timestamp, "groupName", group_name, "recordData", values)), \"zlib\") as trainData FROM demo
```

這段程式碼使用 `object_construct` 函式動態拼接出一個物件，再用 `to_json` 函式將物件轉為字串，最後再用 `compress` 函式，使用 zlib 演演算法將其壓縮作為 trainData 欄位。

這個版本中，我們新提供的函式包括：

- compress(value, method ): 壓縮字串或二進位制資料，壓縮演演算法支援 zlib, gzip 和 flate
- decompress(value, method): 解壓縮二進位制資料
- to_json(object)：資料轉換為 JSON 字串
- parse_json(json_str)：將 JSON 字串解析為物件等資料
- decode(str, method): 解碼 base64 字串，編碼方法之前版本已支援

需要注意的是，相比 MQTT 的壓縮解壓功能，此處的壓縮解壓方法採用函式提供，可針對區域性的欄位而非整體的 payload 進行壓縮操作。

## Coalesce 函式處理缺失值

eKuiper 現在提供對 Coalesce 函式的支援。該函式返回一組值中的第一個非空值，可用於將流中的 null 值替換為指定的值。當處理包含缺失值或 null 值的資料時，這可以確保資料被正確處理。

```pgsql
SELECT COALESCE(email, phone) AS contact_info
FROM customer;
```

在此示例中，`COALESCE` 函式將在 `email` 和 `phone` 列中查詢第一個非空值，並將其作為 `contact_info`列的值返回。如果 `email` 列為空，則返回 `phone` 列的值。

## 區域性資料匯入和匯出

eKuiper 前幾個版本中陸續新增了一部分匯入匯出功能，方便節點的遷移。之前的匯出為全量匯出，匯入為覆蓋式的全量匯入，對增量管理不友好。新版本中，我們支援部分資料匯入和匯出。該功能使使用者可以匯入和匯出僅部分資料，而不是整個資料集。當使用大型資料集時，這可以節省時間並減少傳輸的資料量，提高效率。

區域性資料匯入和匯出 API 與全量資料相似，主要特點在於基於規則進行設計，匯出時使用者僅需指定要匯出的規則，API 會計算規則的依賴，包括流定義、配置和外掛等等相關資訊，一併匯出。在 eKuiper manager 中，使用者可以在規則管理介面選擇需要匯出的規則進行匯出。

[![](http://img.blog.itpub.net/blog/2023/04/07/4d88f664bd0adc4d.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/ekuiper-newsletter-202303)

## 更易用的規則管理

由於規則的啟停 API 是非同步的，API 呼叫完成後無法立刻得知啟動是否成功，所以在之前版本的 eKuiper manager 中，點選啟動或重啟，規則立刻變為啟動狀態。然而，規則有執行時錯誤時使用者無法立刻從介面上獲得反饋，從而形成一定程度的誤導。新的版本中，規則啟動時將即時進入啟動中的狀態，使得使用者可以得到立即的反饋。若啟動成功，規則狀態會變為綠色，否則會變為紅色，使得使用者可以感知到啟動最終的狀態。

[![](http://img.blog.itpub.net/blog/2023/04/07/f15bb03d0e7f2247.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/ekuiper-newsletter-202303)

## Bugfixes

3 月我們解決了一些 Python 外掛熱更新等問題，併發布到 1.8.2 版本中。主要的 bug fix 列表如下：

- 修復 redis source 連線測試問題
- 修復更新規則內容錯誤時不報錯的問題
- 修復視窗過濾條件不滿足導致視窗不觸發的問題
- Portable 外掛超時可配置以防止 AI 模型匯入超時
- 修復 Portable 外掛更新到不正確的外掛時無法熱恢復的問題
- 修復 Flow Editor 部分節點引數輸入框，描述不正確等問題

## 即將到來

4 月我們將主要進行 1.10.0 版本的開發，這個版本將進行 EdgeX Minisota 版本的適配。另外，我們也會探索外部狀態，如 Redis 狀態的使用，實現持久化的狀態。敬請期待。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/ekuiper-newsletter-202303](https://www.emqx.com/zh/blog/ekuiper-newsletter-202303)

對接多個 Neuron 例項，實現多閘道器協同分析與裝置聯動

相關文章