## 引言：全新的資料整合能力

為物聯網平臺與應用提供高效能的實時資料處理與整合，一直是 EMQX 最重要的能力之一。最新發布的 [EMQX 5.0](https://www.emqx.com/zh/blog/emqx-v-5-0-released) 針對資料整合相關功能進行了深度的重構和最佳化，以期幫助使用者更加輕鬆靈活地使用。

EMQX 5.0 將 Webhook、資料儲存/橋接外掛整合到一起，使用統一介面來管理南北向資料流，使用者在原有資料採集上報場景進行規則處理的基礎上，還可實現透過規則處理雲端到裝置的南向訊息。

同時，EMQX 5.0 還提供了資料整合視覺化檢視能力（Flows）。透過 Dashboard 頁面，使用者可以清晰看到物聯網資料如何透過規則處理，以及資料如何流向外部資料服務或裝置。

後續版本還將支援在 Dashboard 上以拖拽的方式編排規則和資料橋接（Flow Editor），透過視覺化介面將物聯網硬體資料流輕鬆連線在一起。

本文將為讀者詳細展示 EMQX 這一重要能力的價值與應用，以及 EMQX 5.0 中對其進行了哪些升級最佳化。

## 什麼是資料整合

EMQX 資料整合即 4.x 版本中的[規則引擎](https://www.emqx.com/zh/solutions/iot-rule-engine)與橋接功能的組合。它是在釋出訂閱模型基礎之上的資料處理與分發元件，透過簡單、視覺化的配置，即可將**訊息流**、**裝置事件**與 Kafka、RabbitMQ 等訊息中介軟體以及各類 SQL / NoSQL / 時序資料庫等資料系統整合。

EMQX 實時、簡潔、高效的資料整合方案主要透過**規則**與**資料橋接**兩個功能實現。

規則用於訊息和事件資料的處理，透過 SQL 語法結合內建或使用者擴充套件的自定義函式，實現諸如資料格式轉換、訊息編解碼、業務邏輯處理等操作。關於規則的詳細資訊，請參見[規則](https://www.emqx.io/docs/zh/v5.0/data-integration/rules.html)。

資料橋接用於對接資料系統，在 EMQX 和外部系統之間實現雙向、高效能的資料資料移動。透過資料橋接，使用者可以實時地將訊息從 EMQX 傳送到外部資料系統，或者從外部資料系統拉取資料併傳送到 EMQX 的某個主題。關於資料橋接的詳細資訊，請參見[資料橋接](https://www.emqx.io/docs/zh/v5.0/data-integration/data-bridges.html)。

[![資料整合](http://img.blog.itpub.net/blog/2022/08/16/e285c64ff0aa1777.png?x-oss-process=style/bb "資料整合")](https://www.emqx.com/zh/blog/iot-data-integration "資料整合")

## 為什麼需要資料整合

MQTT 協議被設計用於硬體裝置到伺服器的訊息傳遞，而要實現完整的物聯網應用，則需要將裝置與業務系統連線起來，實現上報資料的雲端儲存與業務指令的下發。

傳統的物聯網應用開發中，實現這一目的需要開發人員編寫對應的程式碼，之後的業務變更則需要對整個應用進行升級。而裝置端、業務平臺端往往都是獨立團隊運營，如何實現裝置端和雲端業務平臺解耦並高效完成業務對接是專案能否快速交付並升級迭代的關鍵。

EMQX 資料整合即旨在解決這一問題。透過提供靈活低程式碼的配置能力，幫助使用者輕鬆上手，快速實現各類應用整合與業務創新。

經過多年來在各行業物聯網應用場景中的落地實踐，EMQX 資料整合能力已經成為構建整體應用的必備關鍵功能，持續為使用者創造價值。

[![EMQ 車聯網整體解決方案](http://img.blog.itpub.net/blog/2022/08/16/3b8213ec3629a446.png?x-oss-process=style/bb "EMQ 車聯網整體解決方案")](https://www.emqx.com/zh/blog/iot-data-integration "EMQ 車聯網整體解決方案")

## 雙向資料流：資料上報與訊息下發均支援規則處理

物聯網應用中裝置與業務系統之間的資料通常都是雙向的，既有資料採集上報的場景，也有云端訊息下發的需求，兩者結合共同實現完整的業務流程。

在此前版本中，EMQX 的規則是透過裝置的訊息和事件觸發執行的。這就意味著規則僅能用於資料採集上報場景，雲端到裝置的訊息下發場景則無法直接使用規則的資料處理能力。使用者需要使用中轉方案將資料先傳送到 EMQX 某個主題中，再透過規則進行處理。

EMQX 5.0 對此進行了最佳化：提供了雙向資料橋接能力——除了將裝置資料橋接至外部系統外，還能從外部資料系統如另一個 MQTT 服務、Kafka 中橋接資料至 EMQX，並經過規則處理後傳送到指定裝置。

[![EMQX 資料整合南向訊息處理下發流程示意圖](http://img.blog.itpub.net/blog/2022/08/16/d3303344e7971024.png?x-oss-process=style/bb "EMQX 資料整合南向訊息處理下發流程示意圖")](https://www.emqx.com/zh/blog/iot-data-integration "EMQX 資料整合南向訊息處理下發流程示意圖")

雙向資料流的資料橋接在雲端下發場景解耦了業務系統與 EMQX 連線，能夠實現持續的大規模訊息下發與實時處理，為物聯網業務開發提供了更多的可能性。

## Flow Editor：透過視覺化編排規則處理資料流

在之前的版本中，EMQX 的資料整合是透過配置 SQL + 規則動作的方式實現的，這種模式有以下好處：

- SQL 語法在資料庫領域廣泛應用，有技術背景的使用者可以很快上手並在短時間內掌握寫出複雜規則；
- SQL 規則相比編碼有更好的可閱讀性，且能夠在執行時建立、變更，適合快速變化的業務。

圍繞 SQL 的資料整合與資料處理方式可以讓使用者快速開發實現所需業務，但也帶來了一些問題：

- 技術人員需要先熟悉 EMQX 規則 SQL 語法才能開始編寫業務，而對於非技術人員，SQL 不夠直觀，上手使用門檻較高；
- 使用 SQL 無法實現一些複雜的場景，例如在同一條規則中根據條件將資料分發到不同資料橋接，這將導致使用者不得不建立多條相似的規則；
- 無法在不修改 SQL 的情況下增加一個事件以複用同一條規則；
- 規則較多的情況下無法提供清晰的資料處理與整合流程，很難維護和管理。

在 EMQX 5.0 中，我們透過視覺化檢視能力（Flows）優先解決了多個規則下資料整合難以維護和管理的問題。透過 Dashboard 頁面，使用者可以清晰看到物聯網資料如何透過規則處理並流向外部資料系統或是從外部資料系統經規則處理後分發到裝置的資料整合拓撲，並監控這一鏈路中任意規則或資料橋接節點的狀態。

[![Flow Editor：透過視覺化編排規則處理資料流](http://img.blog.itpub.net/blog/2022/08/16/00e0d71fdabd5044.png?x-oss-process=style/bb "Flow Editor：透過視覺化編排規則處理資料流")](https://www.emqx.com/zh/blog/iot-data-integration "Flow Editor：透過視覺化編排規則處理資料流")

後續版本中，我們將在 EMQX 上內建一個具有視覺化編排能力的資料流編輯器 -- Flow Editor。它基於瀏覽器使用並搭配底層的執行引擎，將允許使用者在 EMQX Dashboard 上以拖拽的方式自由編排規則和資料橋接。透過視覺化介面將物聯網硬體資料流輕鬆連線在一起，實現更靈活、快速的物聯網業務開發與交付。

## 資料整合升級指南：從 v4 遷移到 v5

EMQX 5.0 規則 SQL 完全相容 4.x 版本的語法，但是在設計上將原屬於規則下的動作拆分為內建動作（訊息重發布、控制檯輸出）與資料橋接（Webhook、MQTT Bridge），以便實現規則與資料橋接的複用。

除了架構設計之外，EMQX 還對舊版本中資料整合相關功能進行了整合。在 4.x 版本的規則引擎功能推出之前，使用者可以使用外掛實現簡單的資料整合。出於相容性考慮，規則引擎推出之後我們沒有移除這些外掛，這帶來了一定的功能碎片化情況。

EMQX 5.0 正式移除了相關的外掛，以便為使用者提供更加清晰且完整的資料整合能力，降低學習和選擇的難度。

以下為 EMQX 開源版 4.x 升級到 5.0 功能變化對照關係：

[![表格](http://img.blog.itpub.net/blog/2022/08/16/bc3b54ab4d705913.jpeg?x-oss-process=style/bb "表格")](https://www.emqx.com/zh/blog/iot-data-integration "表格")

## 結語

在各行業構建物聯網平臺與應用的過程中，根據需求對海量資料進行準確、實時的處理，與各類上層業務系統應用對接，是必不可少的環節和挑戰。作為一個可「隨處執行、無限連線、任意整合」的[物聯網 MQTT 訊息伺服器](https://www.emqx.io/zh)，EMQX 將透過強大易用且不斷完善的資料整合能力，幫助使用者輕鬆應用資料處理難題，實現業務創新。

>版權宣告： 本文為 EMQ 原創，轉載請註明出處。
>
>原文連結：[https://www.emqx.com/zh/blog/iot-data-integration](https://www.emqx.com/zh/blog/iot-data-integration)

全新物聯網資料整合：Flow 視覺化編排 & 雙向資料橋接

相關文章

全新物聯網資料整合 ：Flow 視覺化編排 & 雙向資料橋接

相關文章

全新物聯網資料整合：Flow 視覺化編排 & 雙向資料橋接