[Neuron](https://www.emqx.com/zh/products/neuron) 是執行在各類物聯網邊緣閘道器硬體上的工業協議閘道器軟體，支援同時為多個不同通訊協議裝置、數十種工業協議進行一站式接入及 MQTT 協議轉換，僅佔用超低資源，即可以原生或容器的方式部署在 X86、ARM 等架構的各類邊緣硬體中。同時，使用者可以透過基於 Web 的管理控制檯實現線上的閘道器配置管理。

在 eKuiper 1.5.0 之前的版本中，Neuron 與 eKuiper 之間需要採用 [MQTT](https://www.emqx.com/zh/mqtt) 作為中轉。二者協同時，需要額外部署 MQTT broker。同時，使用者需要自行處理資料格式，包括讀入和輸出時的解碼編碼工作。

近日釋出的 [eKuiper 1.5.0 版本](https://www.emqx.com/zh/blog/ekuiper-v-1-5-0-release-notes)加入了 Neuron source 和 sink，使得使用者無需配置即可在 eKuiper 中接入 Neuron 中採集到的資料進行計算；也可以方便地從 eKuiper 中透過 Neuron 控制裝置 。兩個產品的整合，可以顯著降低邊緣計算解決方案對資源的使用要求，降低使用門檻。

本文將以工業物聯網資料採集和清洗的場景為例，介紹如何使用 eKuiper 和 Neuron 進行雲邊協同的資料採集、資料清理和資料反控。

## Neuron 與 eKuiper 的整合

[Neuron 2.0 ](https://www.emqx.com/zh/blog/neuron-v-2-0-product-introduction)中，北向應用增加了 eKuiper 支援。當 Neuron 開啟北向 eKuiper 應用之後，二者之間透過 NNG 協議的程式間通訊方式進行連線，從而顯著降低網路通訊消耗，提高效能。

[![Neuron 與 eKuiper 的整合](http://img.blog.itpub.net/blog/2022/06/20/2e1432d4b8f6a759.png?x-oss-process=style/bb "Neuron 與 eKuiper 的整合")](https://www.emqx.com/zh/blog/industrial-iot-data-collection-cleaning-and-control "Neuron 與 eKuiper 的整合")

eKuiper 與 Neuron 之間的整合是雙向的，其實現主要包含兩個部分:

- 提供了一個 Neuron 源，支援從 Neuron 訂閱資料。
- 提供了一個 Neuron sink，支援透過 Neuron 控制裝置。

典型的工業物聯網邊緣資料處理場景中，Neuron 和 eKuiper 部署在同一臺邊緣機器上。這也是目前二者整合所支援的場景。若需要透過網路進行通訊，則仍然可以透過之前 MQTT 的方式進行協同。

## 準備工作

Neuron 和 eKuiper 部署在靠近裝置的邊緣端閘道器或者工控機上。Neuron 採集的資料經過 eKuiper 處理後傳送到雲端的 MQTT broker 以便於雲端的應用進行下一步的處理。同時，eKuiper 可以接收雲端 MQTT 的指令，透過 Neuron 控制本地的裝置。

開始動手操作之前，需要準備以下環境：

- MQTT 伺服器：可以使用 EMQ 提供的[公共 MQTT 伺服器](https://www.emqx.com/zh/mqtt/public-mqtt5-broker)，或參考 [EMQX 文件](https://www.emqx.io/docs/zh/v4.4/getting-started/getting-started.html#快速開始)快速部署一個本地 MQTT broker。假設 MQTT broker 地址為 `tcp://broker.emqx.io:1883`，以下教程將以此地址為例。
- 為了方便觀察執行結果，我們需要安裝一個 MQTT 客戶端，例如 [MQTT X](https://mqttx.app/zh)。

## 快速部署

Neuron 和 eKuiper 都支援二進位制安裝包以及 Docker 容器化部署方案。本文將以 Docker 方案為例，採用 [docker compose](https://docs.docker.com/compose/) 方式，一鍵完成邊緣端兩個元件的快速部署。

1. 複製 [docker-compose.yml](https://ekuiper.org/docs/zh/latest/tutorials/neuron/docker-compose.yml) 檔案到部署的機器上。其內容如下，包含了 Neuron、eKuiper 以及 eKuiper 的管理介面 eKuiper manager（可選）。其中，eKuiper 和 Neuron 共享了名為 nng-ipc 的 volume ，用於二者通訊。

```nestedtext
   version: '3.4'
   
   services:
     manager:
       image: emqx/ekuiper-manager:1.5
       container_name: ekuiper-manager
       ports:
         - "9082:9082"
     ekuiper:
       image: lfedge/ekuiper:1.5-slim
       ports:
         - "9081:9081"
         - "127.0.0.1:20498:20498"
       container_name: manager-ekuiper
       hostname: manager-ekuiper
       environment:
         MQTT_SOURCE__DEFAULT__SERVER: "tcp://broker.emqx.io:1883"
         KUIPER__BASIC__CONSOLELOG: "true"
         KUIPER__BASIC__IGNORECASE: "false"
       volumes:
         - nng-ipc:/tmp
     neuron:
       image: neugates/neuron:2.0.1
       ports:
         - "127.0.0.1:7001:7001"
         - "127.0.0.1:7000:7000"
       container_name: manager-neuron
       hostname: manager-neuron
       volumes:
         - nng-ipc:/tmp
   
   volumes:
     nng-ipc:
   ```

2. 在該檔案所在目錄，執行:

```1c
   # docker compose up -d
   ```

3. 所有的容器啟動完畢之後，請使用 docker ps 命令確定所有的容器已經正常啟動。

```apache
   CONTAINER ID   IMAGE                        COMMAND                  CREATED        STATUS          PORTS                                                NAMES
   3d61c1b166e5   neugates/neuron:2.0.1        "/usr/bin/entrypoint…"   18 hours ago   Up 11 seconds   127.0.0.1:7000-7001->7000-7001/tcp                   manager-neuron
   62a74d0be2ea   lfedge/ekuiper:1.5-slim    "/usr/bin/docker-ent…"   18 hours ago   Up 11 seconds   0.0.0.0:9081->9081/tcp, 127.0.0.1:20498->20498/tcp   manager-ekuiper
   7deffb470c1a   emqx/ekuiper-manager:1.5   "/usr/bin/docker-ent…"   18 hours ago   Up 11 seconds   0.0.0.0:9082->9082/tcp                               ekuiper-manager
   ```

## 配置 Neuron 和 eKuiper

Neuron 啟動之後，我們需要配置 Neuron 的南向裝置和北向 eKuiper 應用通道，然後啟動模擬器進行模擬資料採集。

南向裝置和模擬器配置，請參考[Neuron 快速教程](https://neugates.io/docs/zh/latest/getting-started/quick_start.html#資源準備)，完成到執行和使用的 3. 南向配置部分。該教程中的北向配置部分為 MQTT 應用，本教程需要採用 eKuiper 作為北向應用。

### Neuron 北向 eKuiper 應用配置

在配置選單中選擇北向應用管理，進入到北向應用管理介面，此時未新增任何應用，需要手動新增應用，在本例中，我們將建立一個 eKuiper 應用。

第一步，新增北向應用：

1. 點選右上角的新增配置按鍵；
2. 填寫應用名稱，例如，ekuiper-1；
3. 下拉框中顯示在該軟體版本中，我們可用的北向應用，此次我們選擇 ekuiper 的外掛，如下圖所示。 [![Neuron 新增北向應用](http://img.blog.itpub.net/blog/2022/06/20/5014d780e045122d.png?x-oss-process=style/bb "Neuron 新增北向應用")](https://www.emqx.com/zh/blog/industrial-iot-data-collection-cleaning-and-control "Neuron 新增北向應用")
4. 建立應用成功之後，會在北向應用管理介面出現一個剛剛建立的應用的卡片，此時應用的工作狀態在初始化，連線狀態在斷開連線狀態中，如下圖所示。 [![Neuron 北向應用管理](http://img.blog.itpub.net/blog/2022/06/20/9b01e11d29980819.png?x-oss-process=style/bb "Neuron 北向應用管理")](https://www.emqx.com/zh/blog/industrial-iot-data-collection-cleaning-and-control "Neuron 北向應用管理")

第二步，訂閱 Group：

點選第一步應用卡片 ekuiper-1 中任意空白處，進入到訂閱 Group 介面，如下圖所示。

[![Neuron 訂閱 Group](http://img.blog.itpub.net/blog/2022/06/20/394790920bfea2d5.png?x-oss-process=style/bb "Neuron 訂閱 Group")](https://www.emqx.com/zh/blog/industrial-iot-data-collection-cleaning-and-control "Neuron 訂閱 Group")

1. 點選右上角的新增訂閱按鍵新增訂閱；
2. 下拉框選擇南向裝置，這裡我們選擇上面建好的 modbus-plus-tcp-1 的裝置；
3. 下拉框選擇所要訂閱的 Group，這裡我們選擇上面建好的 group-1；
4. 點選提交，完成訂閱。
5. 點選北向應用管理，點開應用卡片中的工作狀態開關，使應用進入執行中的狀態。

至此，Neuron 已配置好資料採集，並將採集到的資料傳送到北向的 eKuiper 通道中。

### eKuiper manager 配置

eKuiper manager 是一個 Web 管理介面，可管理多個 eKuiper 例項。因此，我們需要設定 manager 管理的 eKuiper 例項。詳細設定請參考 [eKuiper 管理控制檯的使用](https://ekuiper.org/docs/zh/latest/operation/manager-ui/overview.html#開始使用)。

eKuiper 管理可使用 REST API，命令列以及管理控制檯。以下教程中，我們主要使用 REST API 進行管理，包括流和規則的建立。

## 建立流

使用如下命令建立名為 neuronStream 的流。其中，type 屬性設定為neuron，表示該流會連線到 neuron 中。neuron 中採集到的資料會全部傳送過來，從而在 eKuiper 中多條規則都會針對同一份資料進行處理，因此流屬性shared設定為 true。

```ada
curl -X POST --location http://127.0.0.1:9081/streams \
    -H 'Content-Type: application/json' \
    -d '{"sql":"CREATE STREAM neuronStream() WITH (TYPE=\"neuron\",FORMAT=\"json\",SHARED=\"true\");"}'
```

## 採集規則

Neuron 流建立之後，我們可以在 eKuiper 裡建立任意多條規則，對採集的資料進行各種計算和處理。本文以兩個採集規則為例，實現邊緣採集到雲端的場景。更多 eKuiper 的資料處理能力，請參考擴充套件閱讀部分。

### 清洗資料到雲端

假設 Neuron 中設定的兩個 tag 的真實含義為:

- tag1: decimal 表示的溫度資料，實際溫度應該除以10
- tag2: 整型的溼度資料。

本規則將採集的 Neuron 資料換算為正確的精度，並重新命名為有意義的名字。結果傳送到雲端的 MQTT 動態 topic ${nodeName}/${groupName}中。 建立規則的 REST 命令如下。其中，規則名為 ruleNAll, 規則的 SQL 中對採集的值進行計算，並選取了node_name 和 group_name 這些後設資料。在動作中，規則的結果傳送到雲端的 MQTT broker，而且 topic 為動態名字。根據前文配置，我們採集的 node_name 為 modbus-plus-tcp-1，group_name 為 group-1。因此，在 MQTT X 中，訂閱 modbus-plus-tcp-1/group-1 主題即可得到計算的結果。

```crmsh
curl -X POST --location http://127.0.0.1:9081/rules \
    -H 'Content-Type: application/json' \
    -d '{
  "id": "ruleNAll",
  "sql": "SELECT node_name, group_name, values->tag1/10 as temperature, values->tag2 as humidity FROM neuronStream",
  "actions": [{
    "mqtt": {
      "server": "tcp://cloud.host:1883",
      "topic": "{{.node_name}}/{{.group_name}}",
      "sendSingle": true
    }
  }]
}'
```

開啟 MQTT X，連線到雲端 broker， 訂閱 `modbus-plus-tcp-1/group-1` 主題，則可得到如下結果。由於採集頻率為100ms 一次，此處收到的資料也是類似的頻率。

[![MQTT X](http://img.blog.itpub.net/blog/2022/06/20/4ba3fe0345351e49.png?x-oss-process=style/bb "MQTT X")](https://www.emqx.com/zh/blog/industrial-iot-data-collection-cleaning-and-control "MQTT X")

在 Modbus TCP 模擬器修改資料，可得到變化的輸出。

### 採集變化資料到雲端

採集頻率較高而資料變化頻率較低時，使用者通常會採集到大量的冗餘重複資料，全部上傳雲端會佔據大量頻寬。eKuiper 提供了應用層的去重功能，可以建立規則採集變化資料。對上面的規則進行改造，增加過濾條件，僅當採集到的任一 tag 資料變化時才傳送資料。新的規則變為：

```n1ql
curl -X POST --location http://127.0.0.1:9081/rules \
    -H 'Content-Type: application/json' \
    -d '{
  "id": "ruleChange",
  "sql": "SELECT node_name, group_name, values->tag1/10 as temperature, values->tag2 as humidity FROM neuronStream WHERE HAD_CHANGED(true, values->tag1, values->tag2)",
  "actions": [{
    "mqtt": {
      "server": "tcp://cloud.host:1883",
      "topic": "changed/{{.node_name}}/{{.group_name}}",
      "sendSingle": true
    }
  }]
}'
```

開啟 MQTT X，連線到雲端 broker， 訂閱 changed/modbus-plus-tcp-1/group-1 主題，收到資料的頻率大大降低。在 Modbus TCP 模擬器修改資料才可收到新的資料。

## 透過 Neuron 控制裝置

得益於 Neuron sink 元件，eKuiper 可以在資料處理後透過 Neuron 控制裝置。在下面的規則中，eKuiper 接收 MQTT 的指令，對 Neuron 進行動態的反控。

假設有個應用場景，使用者透過往雲端的 MQTT 伺服器的某個主題傳送控制指令來對部署在邊緣端的裝置進行控制操作，比如設定目標裝置的期望的溫度。首先，我們在 eKuiper 中需要建立一個 MQTT 流，用於接收從別的應用發到 command MQTT 主題的指令。

```ada
curl -X POST --location "http://127.0.0.1:9081/streams" \
    -H 'Content-Type: application/json' \
    -d '{"sql":"CREATE STREAM mqttCommand() WITH (TYPE=\"mqtt\",SHARED=\"TRUE\",DATASOURCE=\"command\");"}'
```

接著，我們建立一個規則，讀取來自該 MQTT 流的資料，並根據規則透過 Neuron 寫入資料。與前文相同，假設 tag1 為溫度感測器的 decimal 型別的讀數。該規則讀取 MQTT payload 中的 temperature 值並乘 10 之後作為 tag1 的值；使用 payload 中的 nodeName、groupName 欄位作為寫到 Neuron 中的動態 node 和 group 名。

```crmsh
curl -X POST --location http://127.0.0.1:9081/rules \
    -H 'Content-Type: application/json' \
    -d '{
  "id": "ruleCommand",
  "sql": "SELECT temperature * 10 as tag1, nodeName, groupName from mqttCommand",
  "actions": [{
    "log": {},
    "neuron": {
      "nodeName": "{{.nodeName}}",
      "groupName": "{{.groupName}}",
      "tags": [
        "tag1"
      ]
    }
  }]
}'
```

規則執行之後，開啟 MQTT X，向 command 主題寫入如下格式的 JSON 串。需要注意的是，應當確保 node 和 group 在 Neuron 中已建立。在本教程的配置中，只建立了 modbus-plus-tcp-1 和 group-1。

```json
{
  "nodeName": "modbus-plus-tcp-1",
  "temperature": 24,
  "groupName": "group-1"
}
```

開啟 Neuron 的資料監控，可見 tag1 資料更改為 240，表明反控成功。

[![Neuron 資料監控](http://img.blog.itpub.net/blog/2022/06/20/eb71887f045f719e.png?x-oss-process=style/bb "Neuron 資料監控")](https://www.emqx.com/zh/blog/industrial-iot-data-collection-cleaning-and-control "Neuron 資料監控")

同時，前文建立的兩個規則應該採集到新的數值。

> **擴充套件閱讀**
>
> 本教程使用到了 Neuron source 和 sink 的一部分功能，以及一部分流式計算的場景。
>
> - 詳細瞭解 Neuron 流入資料格式，請閱讀 [Neuron Source 參考](https://ekuiper.org/docs/zh/latest/rules/sources/builtin/neuron.html)。
> - 詳細瞭解 Neuron 反控的相關引數，請閱讀 [Neuron Sink 參考](https://ekuiper.org/docs/zh/latest/rules/sinks/builtin/neuron.html)。
> - 瞭解 eKuiper 的[概念和基本使用場景](https://ekuiper.org/docs/zh/latest/concepts/ekuiper.html)。
> - 瞭解[規則的組成和引數](https://ekuiper.org/docs/zh/latest/rules/overview.html)。
> - [eKuiper 管理控制檯的使用](https://ekuiper.org/docs/zh/latest/operation/manager-ui/overview.html#開始使用)。

> 版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/industrial-iot-data-collection-cleaning-and-control](https://www.emqx.com/zh/blog/industrial-iot-data-collection-cleaning-and-control)

Neuron+eKuiper 實現工業物聯網資料採集、清理與反控

相關文章