Protocol Buffers (Protobuf) 是一種語言中立、平臺中立的可擴充套件機制，用於序列化結構化資料的二進位制傳輸格式。相比常規資料傳輸格式（如 JSON 或 XML），Protobuf 更加高效和快速並節省傳輸頻寬，因此得到了廣泛的應用。

在雲邊協同架構中，往往既需要傳送資料到雲端，同時也需要接收雲端傳送過來的資料，進行雲邊協同計算。大規模的雲邊協同計算傳輸的資料總量巨大，在公網頻寬資源有限而且昂貴的情況下，採用更緊湊的資料傳輸格式顯得尤為重要。

LF Edge [eKuiper](https://ekuiper.org/zh) 是適合部署於資源受限的邊緣端的超輕量物聯網邊緣資料流式分析引擎，可透過 source 和 sink 連線 MQTT、HTTP 等各種通訊協議的外部系統。eKuiper 支援配置 source/sink 的傳輸資料的編解碼格式，目前可支援 JSON、ProtoBuf 和 Binary 格式。

本文將以 Protobuf 格式為例，講解如何在 eKuiper 中設定編解碼格式，透過 source 讀入並解析該格式的資料以及在 sink 中使用該格式編碼寫入，從而實現高效的雲邊協同資料傳輸，緩解雲邊傳輸頻寬緊張問題。

> 本教程採用 eKuiper Manager 進行規則的建立和管理，請參考 [UI 教程](https://github.com/ngjaying/kuiper/blob/doc/docs/zh_CN/operation/manager-ui/overview.md)。您也可以採用 [REST API](https://github.com/ngjaying/kuiper/blob/doc/docs/zh_CN/operation/restapi/overview.md) 或者在 eKuiper 執行的邊端執行[命令列工具](https://github.com/ngjaying/kuiper/blob/doc/docs/zh_CN/operation/cli/overview.md)來完成相同的規則管理操作。

## 環境準備

開始動手操作之前，需要準備以下環境：

- [MQTT 伺服器](https://www.emqx.com/zh/mqtt/public-mqtt5-broker)用於資料傳輸。 本教程使用位於 `tcp://broker.emqx.io:1883` 的 MQTT 伺服器， `broker.emqx.io` 是一個由 [EMQX Cloud](https://www.emqx.com/zh/cloud) 提供的公共 MQTT 伺服器。若本地執行 eKuiper，需要更改 `etc/mqtt_source.yaml`，配置項 server 改為"tcp://broker.emqx.io:1883"；若使用 docker 啟動，應設定環境變數 MQTT_SOURCE**DEFAULT**SERVER="tcp://broker.emqx.io:1883"。
- 為了方便觀察執行結果，我們需要安裝一個 [MQTT 客戶端](https://www.emqx.io/zh/mqtt-client)，例如 [MQTT X](https://mqttx.app/zh) 。

## 模式註冊（Schema Registry）

相比於無模式的 JSON 格式，Protobuf 需要提前定義資料結構，即模式。在 proto 檔案中，可以包含多個 message 以及其他實體的定義，但是在編解碼格式的配置中，只有 message 的定義可以被使用。 本教程中，我們使用以下模式進行資料結構的定義。該檔案定義了一個名為 Book 的 message 結構，其中包含字串型別的 title 和整型的 price。傳輸的資料將依據此結構對書籍資料進行二進位制資料的編解碼。

```protobuf
message Book {
  required string title = 1; 
  required int32 price = 2;
}
```

1. 註冊模式。在管理控制檯中，開啟配置->模式，點選建立模式。

[![eKuiper 註冊模式](http://img.blog.itpub.net/blog/2022/08/18/6b0e4564c001c287.png?x-oss-process=style/bb "eKuiper 註冊模式")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "eKuiper 註冊模式")

2. 在模式建立視窗中，如下圖所示填寫。其中，模式型別選擇`protobuf`；模式名稱可輸入自定義的不重複的名稱作為後續規則建立中模式的標識 id；模式內容可採用檔案或者文字內容填寫。選擇 file 的情況下，需要填寫檔案所在的 url；本教程使用的模式較為簡單，因此可選擇 content，然後在內容框中填入 proto 檔案的文字。

[![在模式建立視窗中](http://img.blog.itpub.net/blog/2022/08/18/69bd12afadcdcb7a.png?x-oss-process=style/bb "在模式建立視窗中")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "在模式建立視窗中")

3. 點選提交。在模式列表中應當能夠看到新建立的模式。後續可使用操作欄中的按鈕進行修改或刪除的操作。

[![點選提交](http://img.blog.itpub.net/blog/2022/08/18/460f0118bd6f8243.png?x-oss-process=style/bb "點選提交")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "點選提交")

至此，我們已經註冊了名為`schema1`的模式，其中定義了`Book`這種型別，在規則的 source 和 sink 中可以使用該註冊的模式。使用者也可以繼續在此介面進行更多的模式註冊和管理工作。

## 讀取 Protobuf 資料

本節中，我們以 MQTT source 為例，介紹如何接入並解析基於 Protobuf 編碼傳輸的資料，使之可以在 eKuiper 中進行規則的計算。需要注意的是，在 Source 中，編碼格式與傳輸協議並不是繫結的。任何的 source 型別如 MQTT， httpPull 等都可以搭配不同的編碼格式，例如 ProtoBuf 和 JSON 等。

假設我們有一個 [MQTT 主題](https://www.emqx.com/zh/blog/advanced-features-of-mqtt-topics) `demo`，出於節省傳輸頻寬的目的，裡面傳輸的資料為 Protobuf 編碼的二進位制資料。接下來，我們將配置 eKuiper 資料來源，接入這個主題的資料並進行處理。

1. 建立資料流：在管理控制檯中，選擇源管理->流管理，點選建立流。

2. 配置資料流及其格式：流名稱可設定為自定義的不重複的名稱；資料來源為要監聽的 MQTT 主題；流型別設定為 mqtt；流格式選擇 `protobuf`；模式名稱選擇上一步註冊的 `schema1`；模式訊息設定為 proto 檔案裡定義的 message `Book`。該配置表示資料流 `protoDemo` 將監聽 MQTT 主題 `protoDemo`，收到二進位制資料後將採用 `schema1` 中的 `Book` 的格式進行 protobuf 解碼。點選提交，在流列表中應當列出新建立的流。

[![配置資料流及其格式](http://img.blog.itpub.net/blog/2022/08/18/24dad7bc13dac0c9.png?x-oss-process=style/bb "配置資料流及其格式")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "配置資料流及其格式")

3. 建立規則：選擇規則，點選新建規則，進入規則建立介面。如下圖所示，右上角點選進入文字模式，輸入自定義的規則ID，規則名字，在文字內容中輸入規則的 JSON 文字。該規則表示選擇流 `protoDemo` 中的內容，傳送到 MQTT 主題 `result/protobuf` 中。

```json
   {
      "id": "ruleDecode",
      "sql": "SELECT * FROM protoDemo",
      "actions": [{
        "mqtt": {
          "server": "tcp://broker.emqx.io:1883",
          "topic": "result/protobuf",
          "sendSingle": true
        }
      }]
   }
   ```

[![建立規則](http://img.blog.itpub.net/blog/2022/08/18/fa4ad1add8c72420.png?x-oss-process=style/bb "建立規則")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "建立規則")

4. 傳送資料並檢視結果：我們將使用 MQTTX 傳送 Protobuf 編碼後的二進位制資料到 `protoDemo` 主題中，觀察收到的結果是否是解碼後的正確資料。

1. 開啟 MQTT X，連線到雲端 `tcp://broker.emqx.io:1883`。

2. 訂閱主題上文規則傳送結果的主題 `result/protobuf`，便於觀察結果。

3. 在訊息傳送窗格中，設定主題為 `protoDemo`，Payload 格式為 `Hex`, 傳送根據 schema1 中 Book 格式編碼的二進位制資料，例如 `0a1073747265616d696e672073797374656d107b`。

[![在訊息傳送窗格中設定主題](http://img.blog.itpub.net/blog/2022/08/18/744ebd376ecf9350.png?x-oss-process=style/bb "在訊息傳送窗格中設定主題")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "在訊息傳送窗格中設定主題")

4. 確保接收視窗收到正確的 JSON 資料，如下圖所示。

[![接收 JSON 資料](http://img.blog.itpub.net/blog/2022/08/18/7ef503e1c9e9f903.png?x-oss-process=style/bb "接收 JSON 資料")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "接收 JSON 資料")

至此，我們完成了 Protobuf 資料的讀取和解碼並用簡單的規則進行處理輸出。使用者像處理普通 JSON 格式資料一樣建立各種各樣的規則。若未得到預期結果，可在管理控制檯的規則列表頁面，檢視規則狀態，確保規則資料入出的指標符合預期。

## 寫入 Protobuf 資料

本節中，我們將展示讀取 JSON 格式資料進行處理後採用 Protobuf 格式傳送到雲端 MQTT broker 的用法。在物聯網邊雲協同的場景中，該用法可節省邊雲傳輸的頻寬開銷。部署在邊緣端的 eKuiper 接入本地的 MQTT broker 無需消耗頻寬，可透過處理較快的 JSON 格式接入。規則運算之後，計算結果需要傳送到雲端 MQTT broker 時，可使用 Protobuf 編碼節省頻寬。

1. 建立資料流：在管理控制檯中，選擇源管理->流管理，點選建立流。如下圖所示，建立一個連入 demo 主題，JSON 格式資料的流。

[![建立資料流](http://img.blog.itpub.net/blog/2022/08/18/d20d5c5262434f23.png?x-oss-process=style/bb "建立資料流")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "建立資料流")

2. 建立規則，使用 Protobuf 格式傳送到雲端。

1. 點選新建規則，輸入自定義的 Rule ID 和名稱，輸入 SQL `SELECT * FROM demo`。

2. 點選動作右邊的新建按鈕，配置 MQTT 動作。其中，MQTT 伺服器地址配置為雲端 broker 地址，MQTT 主題為 `result/protobufOut`；資料按條傳送配置為 true，確保收到的為單條資料以匹配格式配置；流格式配置為 `protobuf`，模式名稱為第一節註冊的 `schema1`，模式訊息為 `Book`。該規則將讀取 JSON 資料，然後按照 Book 的格式編碼成二進位制資料發往 `result/protobufOut` 主題。點選提交，完成動作配置。

[![配置 MQTT 動作](http://img.blog.itpub.net/blog/2022/08/18/93c07e0a1c0206c0.png?x-oss-process=style/bb "配置 MQTT 動作")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "配置 MQTT 動作")

[![配置 MQTT 動作1](http://img.blog.itpub.net/blog/2022/08/18/193a9ffe403983ee.png?x-oss-process=style/bb "配置 MQTT 動作1")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "配置 MQTT 動作1")

3. 每個規則可以有多個動作，每個動作使用的編碼格式是獨立的。使用者可以繼續配置其餘動作。全部配置完成後，點選提交，完成規則的建立。

3. 傳送資料並檢視結果，該流程與上一節類似。本次我們將向 demo 主題傳送 JSON 資料，並期望在訂閱的 `result/protobufOut` 主題中檢視到 protobuf 編碼的二進位制資料。如下圖所示，注意資料格式的配置以免顯示亂碼。

[![傳送資料並檢視結果](http://img.blog.itpub.net/blog/2022/08/18/c058b34696bf7e0c.png?x-oss-process=style/bb "傳送資料並檢視結果")](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data "傳送資料並檢視結果")

## 總結

本教程介紹瞭如何在 eKuiper 中進行 Protobuf 資料的讀取和寫入。ProtoBuf 格式是 eKuiper 對外連線的格式的一種，各種格式之間可以任意組合，接入系統後使用的都是內部的格式表示。首先，使用者需要先定義 Protobuf 的模式；之後在流的建立和動作的建立中可配置 Protobuf 格式，並選擇已定義的模式進行資料的編解碼。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data](https://www.emqx.com/zh/blog/using-ekuiper-to-process-protocol-buffers-data)

使用流式計算引擎 eKuiper 處理 Protocol Buffers 資料

相關文章