隨著[車聯網](https://www.emqx.com/zh/use-cases/internet-of-vehicles)與 5G 技術的融合以及車輛智慧化的發展，車聯網的資料採集需求呈現爆發式增長。傳統的車輛資料採集主要用於車輛的遠端監測和故障診斷。隨著車輛應用的豐富和智慧化水平的提高，車輛資料採集逐漸應用到更多的場景，如研發用資料採集、資料統計和分析、規則引擎與報警系統、車輛實時控制等。

## 為什麼需要靈活數採

現有的資料採集方案往往透過車載資料採集終端（T-BOX）韌體中的採集功能或自行編寫的採集程式進行車輛資料採集。通常採集程式所採集到的車身資訊是固定且直接固化在車載終端上的。在智慧車聯網時代之前，採集的資料種類少、全量採集壓力不大，這種做法是可行的。

隨著車聯網技術的發展，車輛整車網路構成也越來越複雜，可採集的車身資訊多樣化，全量採集資料量過大而且浪費寶貴的頻寬資源，因此需要根據 TSP 應用的需求按需進行採集。此外，不同車型的汽車通常會有不同的資料，例如 CAN 匯流排的資料在不同車型上會有不同的 DBC 檔案。固定採集程式無法移植，必須重新編寫，並 OTA 升級採集程式。

總的來講，固定採集程式存在以下問題：

- 採集的資料固定，無法靈活變更採集的專案。實際上隨著車聯網的發展，資料採集專案將根據應用呈現更多變化，固定的採集方式無法滿足經常變動的真實需求。
- 採集資訊解析配置固定，無法匹配新的車型或匯流排資料變化。例如，採集 CAN 匯流排資料的採集程式，無法變更 DBC 檔案以匹配匯流排資料的變化。
- 擴充套件不易，新的感測器或匯流排協議需要重新開發。

因此，業界迫切需要一種靈活的、支援弱網情況的資料採集方案。

> 注：DBC（Data Base CAN）檔案是由德國 Victor 公司釋出的，它被用來描述單一 CAN 網路中各邏輯節點資訊，依據該檔案可以開發出監視和分析 CAN 網路中所有邏輯節點的執行狀態。

## 如何實現靈活數採

針對固定數採程式缺陷，我們需要一個靈活資料採集引擎，並具備以下能力：

- 靈活資料埋點配置和規則，並可熱更新和熱啟停資料採集規則。
- 多資料來源對接和解析能力，例如 CAN 匯流排、HTTP 訊號等。
- 靈活配置資料來源解析的能力。以 CAN 匯流排為例，應當支援 DBC 檔案的靈活載入和更新。
- 採集資料靈活分發的能力。可根據業務建立規則，將一部分資料本地儲存，一部分資料回傳雲端。
- 弱網工況下，採集資料高效回傳的能力。
- 足夠輕量高效，從而可以執行在多種車型，包括車機資源受限的車型上。

基於大量的車聯網使用者案例和經驗，EMQ 推出了基於 eKuiper 與 QUIC 協議的車雲系統方案，實現了一套易部署可移植的車聯網靈活數採方案。方案架構如下圖所示。

[![](http://img.blog.itpub.net/blog/2022/11/14/e55252fd1b5e076e.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/how-to-achieve-flexible-data-collection-for-internet-of-vehicles)

在該方案中，我們採用開源邊緣流式處理引擎 eKuiper 實現車載終端上的靈活資料採集功能，採用[大規模分散式物聯網 MQTT 訊息伺服器 EMQX](https://www.emqx.com/zh/products/emqx) 實現採集資料的連線、移動和處理以及車雲一體的控制指令互動。在之前的車聯網文章中，我們已經詳細介紹了[基於 EMQX 的車聯網訊息平臺的架構設計](https://www.emqx.com/zh/blog/mqtt-messaging-platform-for-internet-of-vehicles)，本文不再贅述。接下來，本文將以 eKuiper 為例，介紹如何實現車聯網靈活數採。

## 靈活數採方案剖析

LF Edge eKuiper（簡稱 eKuiper）是開源的超輕量資料分析和流式計算引擎。eKuiper 相容性強，可適配 X86 和 ARM 等多種 CPU 架構的車機終端。軟體較輕量且可裁剪，核心包和初始執行記憶體在 10MB 級別，支援高吞吐低時延的各種資料處理和計算。在方案中，以部署於車機端的 eKuiper 為核心，可以實現近實時的靈活資料採集和處理轉發等功能。

如下圖所示，eKuiper 具備了資料流的接入、處理和流轉能力。南向部分，eKuiper 支援接入各種協議的資料流，例如 CAN 匯流排、MQTT 協議、Socket（TCP 或 UDP）和 DDS 等。接入的資料可以在引擎內部根據使用者定義的規則，進行資料的採集、轉換、過濾和分析等資料處理工作，之後再將採集或處理的結果傳送到各種北向的目的地中，例如存到本地的檔案、資料庫中以便後續車載應用使用；或是透過 HTTP/MQTT 等協議傳送到雲端或 TSP 應用端進行處理。

[![](http://img.blog.itpub.net/blog/2022/11/14/12b8c94e101f2817.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/how-to-achieve-flexible-data-collection-for-internet-of-vehicles)

在靈活數採的場景中，假設 eKuiper 已部署到車機中，要完成一個數採任務，一般只需要兩個步驟：

1. 接入資料流
2. 建立採集規則

在 eKuiper 中，這兩個步驟無需編寫程式碼，可使用 SQL 語句或者視覺化 Flow 編輯器進行配置。

### 資料流接入

CAN（Controller Area Network）是最常見的車聯網匯流排網路。本文以接入和解析 CAN 資料為例，介紹 eKuiper 如何實現車載資料流的接入。

在 eKuiper 中提供了CAN 資料來源，其中主要實現了兩個能力：

1. 連線協議
2. 根據 DBC 解碼 CAN 報文

#### 連線協議支援

若 eKuiper 可以直接連線 CAN 匯流排，則可透過 CAN 協議建立到車載匯流排的連線，獲取匯流排資料。出於安全的原因，eKuiper 也經常被部署到與匯流排隔離的硬體上。例如，eKuiper 部署在 MPU 中；而在 MCU 中部署 CAN 匯流排連線應用，透過 TCP、UDP 或者 MQTT 協議等，將報文透傳出來。eKuiper 同樣支援透過這些協議進行連線，獲取匯流排資料包文。

[![](http://img.blog.itpub.net/blog/2022/11/14/e3186f7d070d1d13.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/how-to-achieve-flexible-data-collection-for-internet-of-vehicles)

#### 靈活 CAN 報文解碼

我們從匯流排接收到的報文為二進位制編碼的資料，人類難以閱讀。CAN DBC 是一種文字檔案，用於 CAN 報文的描述檔案。透過讀取 DBC 的描述資訊，我們可以把 CAN 報文的資料解析為物理值的資訊。例如，一段 CAN ID 0x208 的資料 0x0500000000000000，根據 DBC 的描述資訊可能解析為一系列訊號，可表示為鍵值對或者 JSON 串 `{"temperature":10, "voltage": 100}` 等。

eKuiper 的 CAN 資料來源可將資料解析為可讀的鍵值對，這樣編寫資料採集規則的時候，可以直接選取可讀的訊號，大大簡化採集邏輯的編寫。CAN 報文解析功能具有極大的靈活性，可以動態地更新 DBC 檔案以適配不同的車型或升級車載匯流排資料而無需編碼。

CAN 報文解析的靈活性主要體現在如下方面：

- DBC 檔案可配置，可熱更新
- 支援多個 DBC 檔案
- 支援 CAN FD 格式
- 支援白名單和 container ID 對映

基於靈活的報文解碼支援，當匯流排資料結構改變或者更改車型時，僅需更新 DBC 檔案即可適配。

在 eKuiper 中，流（stream）是用於定義資料接入的一個實體。我們可使用如下的 SQL 語句，定義一個接入 CAN 匯流排的資料流。

```routeros
CREATE STREAM canDemo () WITH ( Type="can",  CONF_KEY="test", SHARED="TRUE")
```

該語句定義了一個名為 canDemo 的流，其型別為`can`，即接入 CAN 匯流排的資料來源型別；CONF_KEY 表示接入配置定義在名為 `test` 的配置中，其中可配置使用的 DBC 檔案地址等；SHARED 設定為 true，表示使用該資料流的所有規則共享一份資料，確保解碼只會進行一次。

該流將接入解析 CAN 匯流排資料，得到 JSON 資料流。接下來，應用開發人員可以在其上建立多條規則，定義如何採集資料。

#### 接入擴充套件

隨著汽車智慧化程度的提高，車載的感測器和資料匯流排的數量和種類越來越多。eKuiper 提供了擴充套件機制，使用者可以編寫外掛實現新的協議或私有協議的接入和解析。安裝後的外掛遵循使用邏輯，應用開發人員可以與使用原有的資料流型別相同的方法建立資料流。

### 靈活配置採集規則

前文中我們已經建立了連線 CAN 匯流排的資料流，接下來我們可以建立多個資料採集規則進行靈活的數採。本節介紹一些常見的採集規則。規則內容為 JSON 文字資料，可透過 REST API 等方式進行規則的動態下發管理，具體管理方法將在下一節介紹。

eKuiper 的規則分為兩個部分，其中 SQL 用於編寫業務邏輯，例如需要採集哪些資料、對資料做哪些處理；Actions 部分用於描述規則命中後執行的動作，例如儲存到本地檔案或者傳送到雲端 MQTT 的某個主題中。假設上一節建立的資料流 canDemo 中，匯流排中的資料解析為包含發動機相關資料如發動機轉速（rpm）、進氣溫度（inletTemperature）、進氣壓力（inletPressure）以及電池相關資料，如電池電壓（voltage），電池電流（current）等資料的鍵值對資料，如 `{"rpm":2000, "inletTemperature":230, "inletPressure":27, "voltage":15,"currency":2}`。下列配置的規則將針對這個匯流排資料進行採集。

1. 採集指定的訊號

本規則可實時採集發動機的訊號併傳送到 MQTT topic `collect` 中。規則透過 SQL 語句中的 SELECT 子句定義了需要採集的資料點。

```prolog
   {
     "id": "ruleCollect",
     "sql": "SELECT rpm, inletTemperature, inletPressure FROM canDemo",
     "actions": [{
       "mqtt": {
         "server": "tcp://yourserver:1883",
         "topic": "collect"
       }
     }]
   }
   ```

2. 採集有變化的訊號

某些訊號可能變化週期比較長，全部採集的話大部分為重複值，佔據儲存和頻寬。eKuiper 提供了內建的變化採集函式`CHANGED_COLS`，可以僅採集訊號數值變化的情況。下面的示例規則中，我們採集了電池的變化資訊，並儲存在本地檔案中。

```swift
   {
     "id": "ruleChangeCollect",
     "sql": "SELECT CHANGED_COLS(\"\", true, voltage, currency) FROM canDemo",
     "actions": [{
       "file": {
         "path": "/tmp/cell"
       }
     }]
   }
   ```

3. 根據事件採集

某些訊號只有在特定的情況下才需要採集，例如碰撞後採集相關的資料。eKuiper 中可以靈活設定採集的條件。以下的規則中，當電池電壓異常（不在10到20之間）的情況下，採集所有資料到 MQTT 的 Topic `exception` 中。

```prolog
   {
     "id": "ruleExpCollect",
     "sql": "SELECT * FROM canDemo WHERE voltage NOT BETWEEN 10 AND 20 ",
     "actions": [{
       "mqtt": {
         "server": "tcp://yourserver:1883",
         "topic": "exception"
       }
     }]
   }
   ```

### 車雲一體規則管理

規則構思完成後，需要進行動態下發和管理。EMQ 提供了車雲一體的規則管理控制檯，使用者可以在裡面進行規則的編寫、下發和狀態管理。管理控制檯可以在雲端集中管理多個車機邊緣節點。

#### 規則編寫

管理控制檯上提供了規則編寫的圖形介面。如下圖所示，使用者可以在介面上填入規則的 ID、SQL 和動作等。提交後，規則即可下發到對應車機節點。

[![](http://img.blog.itpub.net/blog/2022/11/14/586d65f97ddb0ce7.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/how-to-achieve-flexible-data-collection-for-internet-of-vehicles)

我們也將提供規則編寫的視覺化 Flow 編輯器介面。使用者可採用拖拽的方式編寫自己的業務規則。

#### 規則管理

eKuiper 中的規則都是可靈活管理的。規則可以熱新增、熱更新和熱啟停。在管理控制檯中，使用者可以檢視規則的執行狀態，進行規則的修改、啟停、刪除等操作。

[![](http://img.blog.itpub.net/blog/2022/11/14/776f9ecd08a70856.png?x-oss-process=style/bb)](https://www.emqx.com/zh/blog/how-to-achieve-flexible-data-collection-for-internet-of-vehicles)

#### 雲端集中管理

透過雲端可集中管理在車輛邊緣端上的資料分析應用。

- 大規模線上車輛支援：基於 EMQX Enterprise，百萬級別線上車輛支援
- 車輛線上自動更新應用：支援離線車輛應用更新、升級；車輛線上後自動更新應用，並報告狀態
- 車輛離線後狀態查詢支援：車輛離線狀態下可獲取應用部署的最後狀態
- HTTP Rest API 服務介面支援：同步 HTTP 介面，接入前端應用 (web & mobile)

## 更多可能

eKuiper 作為一個通用的流式計算引擎，除了實現資料採集之外，還可以實現很多邊緣計算功能，充分利用車載終端算力。例如，eKuiper 可支援下列功能：

- 資料變換和格式化，例如將傳輸訊號由整型轉換回浮點型，或者將訊號格式化為目標系統要求的格式。
- 資料分析，例如計算一段時間內的平均值等統計值。
- SOA 服務呼叫，實現場景聯動，例如根據車內溫度自動開關空調。
- AI/ML 演算法整合，例如根據採集到的訊號識別使用者的充電意圖等。

更多功能歡迎讀者們自行探索。

## 總結

車聯網軟硬體技術發展的浪潮下，傳統的固定資料採集方案難以應對層出不窮的採集需求。透過本文介紹的基於 eKuiper 與 EMQX 的車雲系統方案，可實現端到端的靈活資料採集需求。eKuiper 採用基於文字型業務處理應用下發，避免複雜 OTA 升級，幫助車聯網企業實現靈活的資料採集以及高效的車雲資料協同。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/how-to-achieve-flexible-data-collection-for-internet-of-vehicles](https://www.emqx.com/zh/blog/how-to-achieve-flexible-data-collection-for-internet-of-vehicles)

如何實現車聯網的靈活資料採集

相關文章