在不久前落幕的 2022 阿里雲全球資料湖峰會上，EMQ 與阿里雲聯合釋出了一站式工業數字化解決方案的構想。這一方案的實現基於雲原生分散式物聯網訊息伺服器 [EMQX](https://www.emqx.com/zh/products/emqx) 和阿里雲表格儲存 Tablestore 的高效整合，結合 EMQ 物聯網資料基礎設施產品矩陣中的其他邊緣計算產品，實現邊緣工業資料到雲端的綜合接入、匯聚與清洗，以及後端大資料分析和應用。

經過雙方研發團隊的共同努力，目前 EMQX 與 Tablestore 已正式完成技術對接。結合雙方產品在資料採集和儲存分析方面的優勢，EMQ 與阿里雲共同打造了一套更加通用、適用於更多行業場景的一體化解決方案。

## 合作背景

### 產品互補性強

作為一家物聯網資料基礎設施軟體供應商，EMQ 致力於幫助企業客戶快速構建雲邊一體化的 IoT 基礎設施能力底座。在構建物聯網平臺與應用的過程中，很多企業會選擇公有云方式部署，往往會需要公有云提供 IoT 儲存服務。阿里雲表格儲存（Tablestore）則可以面向海量結構化資料提供 Serverless 表儲存服務，同時針對物聯網場景深度最佳化提供一站式的 IoTstore 解決方案。

### 行業客戶高度重疊

以 EMQX 為核心的 EMQ 雲邊一體化產品組合廣泛應用在車聯網、能源電力、充電樁、智慧家居、工業網際網路和訊息通訊等行業場景。阿里雲表格儲存（Tablestore）提供的海量資料低成本儲存、毫秒級線上資料查詢和檢索以及靈活的資料分析能力，也適用於海量賬單、IM 訊息、物聯網、車聯網、風控、推薦等場景中的結構化資料儲存。EMQX+TableStore 有高度重疊的應用場景和目標客戶，可共同為企業客戶提供一站式的物聯網訊息通訊、資料整合和 IoT 資料儲存服務。

### 解決多元化資料儲存需求

物聯網應用場景往往面臨多元化資料儲存的需求，EMQ 雲邊一體化產品組合透過邊緣的協議接入、資料清洗以及雲端強大的規則引擎，可以實現後設資料、訊息資料、時序資料的一站式整合對接能力。在 IoTstore 組合儲存方面，客戶大多是透過開源產品組合方案（Mysql+ES+HBase+OPENTSDB 等）實現 ，技術架構、運維等往往成本較高，Tablestore 則透過一體化架構，為 IoTstore 提供了大規模、免運維、低成本、易擴充套件的解決方案。

## 方案詳解

### 產品介紹

#### EMQX: 雲原生分散式物聯網訊息伺服器

EMQX 透過一體化的分散式 MQTT 訊息服務和強大的 IoT 規則引擎，為高可靠、高效能的物聯網實時資料移動、處理和整合提供動力，「隨處執行，無限連線，任意整合」，助力企業快速構建關鍵業務的 IoT 平臺與應用。

以 EMQX 為核心，結合[物聯網邊緣工業協議閘道器軟體 Neuron](https://www.emqx.com/zh/products/neuron)、超輕量[邊緣 MQTT 訊息伺服器 NanoMQ](https://www.emqx.com/zh/products/nanomq) 以及超輕量物聯網邊緣資料流式分析引擎 eKuiper，共同構成了 EMQ 面向未來的現代物聯網資料基礎設施。在邊緣側可以實現工業協議適配、邊緣輕量級訊息服務、邊緣流計算(資料過濾、清洗、聚合與 AI 推理擴充套件)，在雲端則可實現全網路、多協議的海量訊息接入能力，強大的規則引擎實現 IoT 資料的編解碼、資料轉發、資料持久化等靈活整合能力，為後端大資料分析和應用提供可靠的資料支撐，構建雲邊一體化的 IoT 基礎設施能力底座。

#### TableStore：一站式物聯網儲存 IoTstore

表格儲存（Tablestore）是阿里雲推出的一款雲上的結構化資料儲存產品，面向海量結構化資料提供 Serverless 表儲存服務，具備極為豐富的產品功能和生態，提供了物聯網儲存 IoTstore、寬表引擎、多元索引等能力來滿足時序資料、訊息資料、後設資料場景的需求。同時針對物聯網場景深度最佳化提供一站式的 IoTstore 解決方案，提供海量資料低成本儲存、毫秒級的線上資料查詢和檢索以及靈活的資料分析能力。

表格儲存 Tablestore 提供的 Serverless 服務模式極為適合物聯網資料儲存，計算和儲存均可獨立彈性擴充套件。在使用過程中無需關心儲存容量和計算擴容，儲存容量可彈性擴充套件至 PB 級，提供冷熱分層儲存大大降低儲存成本。底層對裝置後設資料進行多維索引，滿足靈活的裝置檢索需求。提供 SQL 能夠對時序資料進行查詢和分析，靈活的滿足資料分析需求。

### 方案架構

[![EMQX+Tablestore 方案架構圖](http://img.blog.itpub.net/blog/2022/05/20/d3de09a12d796987.png?x-oss-process=style/bb "EMQX+Tablestore 方案架構圖")](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution "EMQX+Tablestore 方案架構圖")

該方案透過 EMQX 的規則引擎實現與 Tablestore 整合，使用者可以利用視覺化的規則引擎配置介面，快速便捷實現裝置後設資料、時序資料、訊息資料快速整合入庫。

EMQX 與 Tablestore 團隊針對產品高效對接都做了專項最佳化工作，實現了多元的 IoT 資料高效儲存整合。透過 Tablestore 一體化架構，為 IoTstore 提供大規模、免運維的低成本、易擴充套件的一站式解決方案，有效解決了資料庫產品的技術選型、分類儲存等技術難點。

EMQX+Tablestore 聯合解決方案為企業客戶提供一站式的物聯網訊息通訊、資料整合和 IoT 資料儲存，可以廣泛應用於車聯網、充電樁、IM 訊息、物聯網、智慧推選等應用場景。

以車聯網場景為例，該場景涉及很多車況感知資料上報和車控訊息的下發，車輛定時會更新當前的最新狀態資訊，如發動機當前轉速、當前車速等。這些描述車輛最新狀態資訊的資料我們稱之為後設資料；而在智慧汽車行駛過程中，車輛的狀態資料會隨著時間而變化，如車輛一段時間內的車速、胎壓等，這些描述車輛歷史狀態資訊的資料我們稱之為時序資料；還有一種資料場景是對車輛行為進行控制的指令訊息，例如透過車主的手機 APP 遠端開啟空調的車控指令下發和執行結果反饋，這些控制指令的上下行被稱為訊息資料。

不同型別的資料應用的場景各不相同，所以對儲存系統的需求也有所不同。我們之前可能需要透過 MySQL、Kafka、Redis、HBase 等多套不同的資料庫產品來融合實現，而現在我們則可以基於 EMQX+Tablestore 輕鬆實現一站式資料採集與儲存。

## 方案實踐：如何實現 EMQX 與 Tablestore 的對接

### 建立資料庫例項

> 建立例項操作步驟請參考 Tablestore 官方文件

點選例項管理，點選時序表列表。建立時序表。

[![建立 Tablestore 時序表](http://img.blog.itpub.net/blog/2022/05/20/8722d0adfe09f3f8.png?x-oss-process=style/bb "建立 Tablestore 時序表")](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution "建立 Tablestore 時序表")

點選上一步中建立的時序表，進入時序表管理。點選資料管理，建立時間線，按照業務設計建立出時間線。

[![Tablestore 建立出時間線](http://img.blog.itpub.net/blog/2022/05/20/5bf4a2b6474a4f34.png?x-oss-process=style/bb "Tablestore 建立出時間線")](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution "Tablestore 建立出時間線")

### 建立規則引擎資源

登入 EMQX Dashboard，點選規則引擎-資源-建立資源，下拉框中找到 阿里雲表格儲存 Tablestore (時序)

[![建立 EMQX 規則引擎資源](http://img.blog.itpub.net/blog/2022/05/20/625e6ad51c9ec0b1.png?x-oss-process=style/bb "建立 EMQX 規則引擎資源")](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution "建立 EMQX 規則引擎資源")

使用建立出的例項屬性，填寫對應 Tablestore 伺服器 和 例項 名稱。

AccessKey & Secret 需要使用阿里賬號申請，詳細申請步驟，請參考 Tablestore 官方文件。

伺服器地址請按照部署方式的不同，填寫不同的域名。

### 建立規則

規則中 SQL 語句的編寫，請參考官網文件中[規則引擎](https://docs.emqx.com/zh/enterprise/v4.4/rule/rule-create.html)章節。

[![建立 EMQX 規則引擎規則](http://img.blog.itpub.net/blog/2022/05/20/16045d460ad0f1b9.png?x-oss-process=style/bb "建立 EMQX 規則引擎規則")](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution "建立 EMQX 規則引擎規則")

### 建立動作

表名與度量名稱，請按照建立的表名與度量名稱填寫（度量名稱可以為空字串）。

開啟同步寫入之後，規則引擎將按照批次大小與批次間隔寫入資料，以提高高併發場景下的服務效能。

[![建立 EMQX 規則引擎動作](http://img.blog.itpub.net/blog/2022/05/20/47db4801ae7761ff.png?x-oss-process=style/bb "建立 EMQX 規則引擎動作")](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution "建立 EMQX 規則引擎動作")

Tablestore 支援的資料格式：

- int
- double
- boolean
- string
- binary

這些格式可以被規則引擎自動的識別並分類。但是字串型資料，預設處理方式為二進位制資料，以保證最佳的相容性。如果需要指定欄位值為字串型別，可以在建立動作時，將欄位填寫到字元型資料列名中。之後會則引擎會按照字串的格式方式處理改欄位值。

[![Tablestore 支援的資料格式](http://img.blog.itpub.net/blog/2022/05/20/c33f7923109c9d3a.png?x-oss-process=style/bb "Tablestore 支援的資料格式")](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution "Tablestore 支援的資料格式")

### 生產測試資料

使用先進的桌面 [MQTT 客戶端 - MQTT X](https://mqttx.app/zh) ，登入裝置，併傳送一條資料。

[![MQTT X](http://img.blog.itpub.net/blog/2022/05/20/c65ee7d21480d1c7.png?x-oss-process=style/bb "MQTT X")](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution "MQTT X")

輸入度量名稱（演示使用的是 m_re2），client ID 為 123456，我們使用 client=123456 作為查詢條件，點選查詢。

[![Tablestore](http://img.blog.itpub.net/blog/2022/05/20/b913c860e0617cdb.png?x-oss-process=style/bb "Tablestore")](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution "Tablestore")

可以看到資料已經寫入成功。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution](https://www.emqx.com/zh/blog/emqx-and-tablestore-multi-scenario-one-stop-iot-data-solution)

EMQX + 阿里雲 Tablestore 多場景一站式 IoT 資料解決方案

相關文章