EMQX Enterprise 5.5 釋出：新增 Elasticsearch 資料整合

5.5.0 版本已正式釋出！

在這個版本中，我們引入了一系列新的功能和改進，包括對 Elasticsearch 的整合、Apache IoTDB 和 OpenTSDB 資料整合最佳化、授權快取支援排除主題等功能。此外，新版本還進行了多項改進以及 BUG 修復，進一步提升了整體效能和穩定性。

新增 Elasticsearch 資料整合

Elasticsearch 是一個分散式的搜尋和資料分析引擎，能夠提供多樣化資料的全文搜尋、結構化搜尋以及分析等功能。在這個版本中，EMQX 新增了對 Elasticsearch 的資料整合，支援資料的插入、更新和刪除操作，這意味著裝置資料可以被寫入到 Elasticsearch，使用者可以靈活地使用 Elasticsearch 的搜尋和分析能力對資料進行處理。

裝置資料寫入到 Elasticsearch 後，使用者可以靈活的使用 Elasticsearch 的搜尋和分析能力對資料進行處理。典型的使用場景包括物聯網裝置的事件和日誌監測、地理位置資料（Maps）的處理以及終端安全監測。例如，物聯網裝置會生成大量的日誌資料，這些資料可以被髮送到 Elasticsearch 中進行儲存和分析。透過連線到視覺化工具，例如 Kibana，可以根據這些日誌資料生成圖表，實時展示裝置狀態、操作記錄以及錯誤訊息等資訊。

Apache IoTDB 與 OpenTSDB 資料整合最佳化

Apache IoTDB 與 OpenTSDB 資料整合在這個版本中得到了最佳化，現在支援配置資料寫入模板，透過指定每個欄位的時間戳、欄位名稱、資料型別，實現靈活的資料寫入，使得資料整合開發更加快速和靈活。

InfluxDB, IoTDB 與 TDengine 資料整合支援批次設定寫入欄位

在工業、車聯網等應用中，時序類資料整合開發中，存在一條訊息包含數百乃至更多資料點位的場景。要配置將它們從訊息中提取，並一一對應儲存到資料庫中是一個重複且複雜的工作。

為了解決這個問題，EMQX 提供了批次設定功能，使用者可以透過 CSV 檔案編輯要寫入的欄位名稱以及從 Payload 中的取值方式，將其透過 Dashboard 進行匯入，實現對應資料整合的快速配置。目前支援的資料整合有 InfluxDB、Apache IoTDB, 以及 TDengine。

訊息橋接 SysKeeper 穿透支援

在電力生產系統的網路安全要求下，生產控制區、生產非控制區和生產管理區之間的網路通訊需要透過單向網閘裝置保障網路安全。

EMQX 在資料整合中新增了正向網閘 SysKeeper 2000 穿透功能，透過配置可以啟用此功能，進行 EMQX 訊息在不同生產區之間的橋接傳輸。這一功能確保符合規章制度的情況下，實現了兩個生產區之間資料通訊，為電力行業物聯網應用落地提供了定製化的支援，助力電力系統的安全、高效運營。

授權快取支援排除主題

EMQX 提供了開箱即用的客戶端授權功能，為應用安全提供了強有力的保障。其中還支援授權快取，能夠大大減少後端壓力，實現系統高效能穩定執行。

在啟用快取的基礎上，對於一些安全敏感的業務，使用者希望將其排除不生成快取，以實現實時的許可權更新保障通訊安全。在這個版本中，EMQX 支援為授權快取新增多個排除主題，客戶可以靈活的定製不同安全級別要求，實現整個系統高效穩定執行。

可觀測性提升

EMQX 為使用者提供了豐富的指標和指標監控服務整合。此前用於指標整合的 Prometheus 只能獲取叢集執行和客戶端、MQTT 相關的基礎指標，對於認證授權、規則引擎和資料整合的執行指標沒法實現監控管理。

在這個版本中，我們進一步增強了可觀測性，暴露了更多的指標，包括：

1. 認證與授權：每個認證與授權器的狀態和允許/拒絕情況
2. 規則：能夠獲取每個規則的執行情況，例如觸發、透過與未透過、失敗次數，以及執行的速度
3. 資料整合：每個外部整合的連線狀態，Sink 與 Source 的執行情況
4. SSL/TLS 證書有效期，用以實現證書的輪換監控
5. License 過期時間

透過這些更詳細的指標，使用者能夠實現業務層面的監控，能夠詳細瞭解當前主要元件執行狀態，更便捷地監測和排除系統問題。

效能提升

1. 提高了 Kafka 生產者資料整合的效能，改善了 Kafka 服務側的資源佔用。這對於大量使用 Kafka 作為資料流通道的應用來說有非常大的幫助，因為它可以提高系統的整體效能和效率。
2. 叢集節點通訊支援批次更新多個訂閱操作，進一步提高了 Core - Replicant 架構在跨地域叢集、高網路延遲場景下的訂閱速度。實測在 220ms 的網路延遲中，能夠提升 20% 的訂閱速度。該設計還減輕了叢集連線代理池的負載，從而最大限度地減少系統過載的風險。
3. 提高了路由清理時的網路通訊效率，在新的實現中，當一個節點當機時，其餘的存活節點只需要交換一個“匹配並刪除”操作，這大大減少了所需的網路資料包數量，從而降低了叢集間的網路負載。對於在網路延遲較高的跨地域環境中部署的 EMQX 叢集，這種最佳化將會非常有益。
4. GreptimeDB 資料整合支援非同步寫入操作，以提供更好的效能。
5. 支援併發建立和更新資料整合，提高了例如匯入備份檔案時的操作速度。

其他功能更新

1. JWT 認證中，Token 攜帶的 ACL 許可權列表採用新的資料格式，使用上更加靈活。
2. 保留訊息支援搜尋以及一鍵清除，此前已經支援了保留訊息的列表檢視和管理，現在我們對管理的使用者體驗進行了增強，支援在 Dashboard 上透過主題或者主題搜尋管理保留訊息列表，並實現保留訊息的一鍵清除。
3. 延遲訊息支援指定主題進行批次刪除，此項更新提高了操作效率並減少管理的複雜性。
4. 調整 REST API 分頁大小上限，將分頁 REST API 的請求分頁大小限制由 3000 調整為 10000，以支援更大資料量的 API 呼叫。
5. 資料整合 MQTT 橋接重構，現在一組 MQTT 連線能夠用於在多個訊息訂閱、訊息釋出配置中。這一改進將使得資料整合配置和管理更加靈活和高效。

BUG 修復

以下是主要 BUG 修復列表：

• 修復了一系列可能導致全域性路由狀態不一致的細微競爭條件，確保全域性路由狀態的正確性和一致性，提高系統的穩定性。
• 改進了 /clients 介面的錯誤處理方式。現在，如果查詢字串驗證失敗，EMQX 將返回 400 狀態和更詳細的錯誤資訊，而不是通用的 500。這樣可以讓使用者更清楚地知道出錯的原因，提高了錯誤處理的透明度。
• 修復了保留訊息索引的問題。此前如果客戶端有萬用字元訂閱，可能會收到與其訂閱主題不匹配的無關保留訊息。
• 修復了訊息流量較大的情況下，重啟資料整合可能導致指標停止收集的問題。現在可以確保在任何情況下都能正確收集資料整合指標，提高了系統的可靠性。
• 修復了 InfluxDB 中的行協議數值字面量被儲存為字串型別的問題。現在數值字面量將被正確地儲存為數值型別，提高了資料的準確性。

更多功能變更和 BUG 修復請檢視 。