小 T 導讀：SIMICAS® OEM 裝置遠端運維套件是由 SIEMENS DE&DS DSM 團隊開發的一套面向裝置製造商的數字化解決方案。在確定選擇 [TDengine ]( https://www.taosdata.com/"TDengine ")作為系統的時序資料庫後，他們在 SIMICAS® OEM 2.0 版本中移除了 Flink、Kafka 以及 Redis，大大簡化了系統架構。
![](http://img.blog.itpub.net/blog/2022/07/28/2e143a92aeda0122.jpeg?x-oss-process=style/bb)

**專案背景**
IIoT（Industrial Internet of Things）是工業物聯網的簡稱，它將具有感知、監控能力的各類採集、控制感測器或控制器，以及行動通訊、智慧分析等技術不斷融入到工業生產過程的各個環節，從而大幅提高製造效率，改善產品質量，降低產品成本和資源消耗，最終實現將傳統工業提升到智慧化的新階段。

透過新的網際網路連線裝置獲取的資料可用於提高效率、實時決策、解決關鍵問題，並最終創造新的創新體驗。然而隨著相互連線的裝置越來越多，公司所面臨的碎片化和新挑戰也越來越多。為了獲取和利用資料的力量，他們需要解決方案來提供可互操作的端到端協作，從而在網際網路和裝置之間架起橋樑，同時駕馭即將到來的創新浪潮。

SIMICAS® OEM 裝置遠端運維套件是由 SIEMENS DE&DS DSM 團隊開發的一套面向裝置製造商的數字化解決方案，該方案藉助物聯網實現裝置的高效遠端運維，對售後服務資料進行智慧分析，從而真正實現整體售後環節的降本增效。

在 IIoT 大背景的發展浪潮下，SIMICAS 為企業提供了一個踏入數字化世界的靈活選擇，幫助企業根據自身發展需求定製數字化發展路徑。SIMICAS 解決方案由四個部分組成：SIMICAS 智慧閘道器、SIMICAS 組態工具，以及兩個在西門子基於雲的開放式物聯網作業系統 MindSphere 基礎上開發的 APP——SIMICAS 生產透鏡和 SIMICAS 產效分析。

**一、系統架構**
在其 1.0 版中，我們使用了 Flink + Kafka + PostgreSQL + Redis 的架構。該系統的資料流如下：
![](http://img.blog.itpub.net/blog/2022/07/28/9613f93e24ef6a68.png?x-oss-process=style/bb)

裝置資料透過部署至現場的閘道器上傳至物聯網接入元件，元件根據配置對資料進行解析處理後，將其寫入 Kafka 佇列，Flink 從 Kafka 中消費資料並進行計算，原始值及計算後的指標資料都會被寫入 PostgreSQL 中，最新值還會存一份到 Redis 中，以便更快地響應前端實時的資料查詢，裝置歷史資料則從 PostgreSQL 中查詢。

**二、業務挑戰**
1.0 系統落地之後，我們遇到了兩大挑戰，一個是部署繁瑣，一個是應用複雜。

具體來說，因為引入了 Flink 和 Kafka，導致系統部署時非常繁瑣，伺服器開銷巨大；同時為了滿足大量資料的儲存問題，PostgreSQL 中不得不做分庫分表操作，應用程式較為複雜。

如何降低系統複雜度、減少硬體資源開銷，幫助客戶減少成本，成為研發團隊的核心任務。

**三、技術選型**
從產品的實際痛點出發，結合未來產品的發展規劃，我們團隊計劃對產品的資料處理部分進行重構，在技術選型時主要考慮瞭如下幾個方面：

1. 高效能，可以支援百萬級別的併發寫入、萬級的併發讀取，大量聚合查詢時依然有高效能表現
2. 高可用，可支援叢集部署，可橫向擴充套件，不存在單點故障
3. 低成本，資料庫對硬體資源要求低，資料壓縮率高
4. 高度一體化，在具備以上三個特點的基礎上，是否具備一定的訊息佇列、流式計算和快取的功能

本著以上幾個需求，在對各種開源資料平臺、時序資料庫（Time Series Database）進行選型對比後，我們發現 TDengine 正好符合產品重構所有的要求，尤其是低成本和高度一體化這兩個點，這是目前絕大部分資料平臺或時序資料庫都不具備的，所以團隊果斷選擇了 TDengine。

**四、落地實踐**
**資料流程**
在確定選擇 TDengine 作為系統的序資料庫後，我們在 SIMICAS® OEM 2.0 版本中移除了Flink、Kafka 以及 Redis，新系統的資料流如下：
![](http://img.blog.itpub.net/blog/2022/07/28/ad3d96ad380e78e1.png?x-oss-process=style/bb)

**資料建模
建立資料庫**
資料預設儲存 2 年，資料庫採用 3 節點叢集，資料採用 3 副本儲存，保留 update 能力；
```cpp
create database if not exists simicas_data keep 712 replica 3 update 2;
```
**建立實時資料表格**
為平臺中的每種裝置型別建立一個獨立的超級表（super table），為每種裝置型別下的每個具體裝置建立獨立的裝置子表。
```cpp
create stable if not exists product_${productKey} (ts timestamp,linestate bool,${device_properties}) tags (device_code binary(64));
create table if not exists device_${device_code} using product_${productKey} tags (${device_code})
```
**建立狀態表**
為平臺中所有裝置建立一個共同的超級表。
```cpp
create stable if not exists device_state (ts timestamp,linestate bool,run_status int,error_code binary(64),run_total_time int,stop_total_time int,error_total_time int) tags (device_code binary(64),product_key binary(64));
create table if not exists device_state_${device_code} using device_state tags (${device_code},${productKey})
```
**指標計算**
我們基於 JEXL 表示式 + 實時查詢的方式實現了系統中的指標計算。我們使用 JEXL 表示式來定義指標的計算表示式，系統解析後將變數替換成 SQL 查詢任務，在查詢返回結果後再到系統中進行計算，返回至前端。

比如計算某專案下所有裝置當前電壓的平均值，其表示式為 avg(voltage,run_status=1 && project=abc)，它會被分解為：1）查詢 run_status=1 && project=abc 的所有裝置；2）查詢第一步結果中所有裝置 voltage 欄位的最新值；3）計算第二步所有裝置最新結果的平均值。

得益於多執行緒和 TDengine 高效的查詢表現，單個 KPI 的查詢 P99 表現小於 100ms。
![](http://img.blog.itpub.net/blog/2022/07/28/aad33ffbb454fde7.png?x-oss-process=style/bb)

**五、遇到的問題**
在 TDengine 官方推薦的最佳實踐中，資料表建模建議使用多列模式，我們團隊在一開始選擇了這種方式，但是在實際使用中發現，部分客戶的裝置測點非常多，甚至超過 2000 列，這樣可能會因為單行資料過大而導致插入資料 SQL 過長的問題[1] ；另一個問題是現場裝置是按照“OnChange（突發上送）”方式進行資料上傳，導致非常多的 NULL 值出現，在執行 select last(*) from device_xxx 時效率較低[2]。
![](http://img.blog.itpub.net/blog/2022/07/28/50715ce7e863597b.jpeg?x-oss-process=style/bb)

在與 TDengine 官方的技術人員溝通後，我們瞭解到，last 函式是對每列進行查詢，直到最近一條非 NULL 值為止，在當時的版本下，cache 對 last 函式是無效的。

後來，團隊透過對專案中單個裝置引數的最大數量進行限制，解決了問題[1]；又透過修改裝置資料的上傳方式，解決了問題[2]。

但是在根本上，還是我們在最初建模時，沒有充分考慮到客戶的業務場景，從而導致了以上問題。因此，我們團隊後續在系統中實現了同時支援多列模式和單列模式，這樣客戶就可以根據現場的實際情況，自由切換建模方式。

**六、寫在最後**
與其他開源資料平臺或資料庫相比，目前 TDengine 的運維監控能力還不算強大，不過前段時間釋出的 TDinsight 已經帶來了很多改進，我們團隊也規劃在下一階段試用一下。
特別感謝濤思資料的陳偉燦及其他同事在產品開發過程給予的支援，雖然在過程中遇到一些問題，但整體而言，TDengine 的各項優異表現給了我們團隊很多驚喜。

最後期待 TDengine越來越好，幫助更多客戶、更多場景降本增效！

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/grafanaplugin"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

TDengine 助力西門子輕量級數字化解決方案

相關文章