![](http://img.blog.itpub.net/blog/2022/07/26/30ba0d132c0c808a.jpeg?x-oss-process=style/bb)

> 小 T 導讀：在 [TDengine ]( https://www.taosdata.com/"TDengine ")平穩執行的數週時間裡，中天鋼鐵的新系統平均每週收錄 3000 多輛車輛表與 100 多條船隻表，每張表中資料或多或少，累計數量已達百萬，業務的實際效果也達到了預期。本文分享了他們對於新專案的資料庫選型、應用的思考，同時也進行了業務效果分析。

為了滿足業務發展需求，我們需要新開發一套功能，對廠內每輛運輸車輛的實時 GPS 位置進行追蹤，透過大資料平臺對 GPS 座標進行處理、分析、視覺化展示。同時也需要對公司貨運船隻進行實時監控，運用 GPS 平臺的分析處理能力對船隻的航運軌跡進行預判，計算其是否偏離航線。這些 GPS 資料來自於中天雲商 App，只要運輸車輛司機開啟雲商 App，系統每隔 10 秒會自動傳送該車輛 GPS 訊號到大資料平臺，再由大資料平臺分析處理。

資料處理路徑主要為，大資料平臺將 ERP 中關聯過合同的 MMSI 資訊同步到 GPS 平臺，由 GPS 平臺挑選出 300 條船舶的 MMSI 同步至船達通平臺，同時將接收資料介面地址傳送到船達通平臺，船達通平臺會根據 MMSI 編號以及推送地址，每隔 10 分鐘將該船隻的最新位置以及動靜態資訊推送至 GPS 平臺。基於此，調研到一個合適的資料庫，對於實現專案的資料處理需求至關重要。

**關於資料庫選型調研的思考**

本質上來講，行車記錄、行船記錄都是[時序資料]( https://www.taosdata.com/"時序資料")，天然帶有時間戳，這些時序資料到達伺服器時都是有序遞增的，且時序資料的特點是流量平穩卻非常巨大，這點和電商資料不太一樣，比如雙十一時電商資料會出現陡增，平常卻沒有那麼高流量。作為典型的時序資料，車聯網資料每隔 10 秒或 10 分鐘傳送一條，相對固定，在調研時我們發現，TDengine “一輛車一張表”的模型很契合這一場景。

同時，時序資料在查詢時要匹配特定的時間線或資料標籤，且實時狀態查詢、資料降精度、整體趨勢分析較多，普通資料庫無法提供這種函式。基於“一輛車一張表”這樣的設計，TDengine 能夠實現任何一臺裝置採集的資料，在儲存介質裡都是一塊一塊連續存放的，且按照時間排序，保證了在查詢單個裝置一個時間段的資料時，查詢效能能夠有數量級的提升。

另外一方面，雖然不同裝置由於網路的原因，到達伺服器的時間無法控制，是完全亂序的，但對於同一個裝置而言，資料點的時序卻是可以保證的。“一個裝置一張表”就保證了一張表插入的資料是有時序保證的，這樣一來資料插入操作就變成了一個簡單地追加操作，插入效能也有了大幅度提升。

在壓縮效能上，透過下表幾家 Database 的對比，也可看出 TDengine 的優秀：
![](http://img.blog.itpub.net/blog/2022/07/26/7b1370ce0513e747.png?x-oss-process=style/bb)

同時 TDengine 針對同型別裝置間的聚合問題，創新性地提出超級表的概念，讓多裝置間的聚合變得靈活方便，也讓實時資料大屏顯示、監測裝置分類管理變得極其簡單。總結而言，TDengine 針對時序資料的寫入、儲存、索引、查詢等方面都進行了特定的最佳化，從而實現了更優的資料載入、壓縮、查詢、寫入效能，非常匹配工業感測器資料的應用分析場景。

雖然接入裝置繁多，但 TDengine 相容性很強，寫入、讀取和統計效率也大大高於其他同型別資料庫。對比 InfluxDB 來看，其測試資料顯示如下：
![](http://img.blog.itpub.net/blog/2022/07/26/c40f4275b7737507.png?x-oss-process=style/bb)

為了評估不同長度的時間視窗對查詢效能的影響，我們選取了第四個查詢場景，設定並行執行的 work 數量 16， 時間區間是隨機選取的 1h / 2h / 4h / 8h / 12h 等連續時間段，單個聚合時間視窗維持在 1min 不變。獲得的查詢響應時間如下所示：
![](http://img.blog.itpub.net/blog/2022/07/26/3dc8cd5b7c061601.png?x-oss-process=style/bb)

**平臺架構的實現**

下圖是我們的資料處理路徑圖，資料透過中天雲商、船達通平臺將資料抽到 GPS 平臺，透過 GPS 平臺分析處理後將資料存入資料倉儲（TDengine）。
![](http://img.blog.itpub.net/blog/2022/07/26/f1f330d09325110a.png?x-oss-process=style/bb)

基於 TDengine，GPS 平臺會對實時獲取的 GPS 資料以及 AIS 資料進行分析處理和儲存，再透過每輛車、每條船對應的表，實現車輛船隻軌跡視覺化。

根據業務不同，我們建立了兩張超級表，分別為車超級表與船超級表。超級表是具有溝通的 Schema 共同後設資料表的集合，可以認為建立一個超級表，它下面能夠再次建立很多子表，對超級表的查詢相當於作用到它下面所有的子表。

比如當你要查一個超級表的平均值，假設它下面有 100 萬張表，我就相當於對這 100 萬張表做了查詢，這樣用一個超級表就解決了這個問題。每新增一條資訊則依照對應載具資訊新建子表或者在已有子表中插入最新資料。

**測試與查詢**

目前 TDengine 在我們的生產環境中執行平穩，透過對生產環境的機器進行檢測，CPU 使用率平常不到 1%，記憶體使用率穩定在 25%。下圖為叢集中一臺機器的監控圖表：
![](http://img.blog.itpub.net/blog/2022/07/26/3752ff2683d179f2.png?x-oss-process=style/bb)

在 TDengine 平穩執行的數週時間裡，中天鋼鐵的新系統平均每週收錄 3000 多輛車輛表與 100 多條船隻表，每張表中資料或多或少，累計數量已達百萬，業務的實際效果也達到了預期。
![](http://img.blog.itpub.net/blog/2022/07/26/2154d0023fc60ba7.png?x-oss-process=style/bb)

現在可以根據車輛車牌號、需要查詢的時間區間來視覺化車輛軌跡。在資料庫中儲存上車輛資訊時間、經緯度、車牌資訊，在展示頁面中就會實時顯示當前廠內所有提貨車輛的最新位置（前提是必須保持中天雲商處於開啟狀態），當車輛提貨出廠後，則不再傳送 GPS 資訊，系統會將該車輛判斷為離線狀態，不再顯示。或者當司機異常關閉中天雲商超過 8 個小時，系統也將視該車輛為離線，從螢幕顯示中去除，直到重新接收到 GPS 訊號。
![](http://img.blog.itpub.net/blog/2022/07/26/1ef21fcf11e5113a.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/07/26/9959b06d6ca4a982.png?x-oss-process=style/bb)

根據船舶名稱、需要查詢的時間區間，就可以查詢該艘船隻的歷史 AIS 軌跡圖，如果有的船隻中途異常關閉 AIS 資訊傳送裝置，則系統無法接收到該船隻的 AIS，展示的歷史軌跡中則會出現間斷。船隻 AIS 資訊永久儲存在 TDengine 庫中，在其中可以查詢任意時間段內的 AIS 軌跡。
![](http://img.blog.itpub.net/blog/2022/07/26/b8d6580b6b3136ab.jpeg?x-oss-process=style/bb)

**未來規劃**

本次在中天鋼鐵 GPS 平臺車輛排程中使用了 TDengine，我們發現它不僅效能高效，在設計上也很人性化，其支援的 SQL 查詢語句，讓人無需學習就能立刻上手。再就是關於 TDengine 在監控領域的應用，監控無非是做一個資料的儲存，資料庫的儲存效能相當重要，TDengine 表現很突出。

總而言之，TDengine 的應用真正讓車聯網、工業網際網路、運維監測大資料平臺的搭建變得簡單，不僅降低硬體成本、運維成本，還能大幅降低對研發和運維人員的需求。後續我們也會繼續分享 TDengine 的更多應用場景和實踐經驗等，給到大家參考。

當然，對於 TDengine 我們也有一些建議，希望它能夠發展地越來越好：

1. 支援更加豐富的 SQL 語句：能夠針對特有的場景，提供更加靈活的 SQL 語句，便於做更加複雜的計算分析，這也是 AIOps 的進階部分。
2. 子表自動清理功能：由於域名會存在下線問題，目前的 TTL 策略只是針對資料而不是 Table 本身，淘汰子表還需要人工運維介入。
3. 現在 TDengine 對於資料的更新只有相同時間戳覆蓋這種辦法，希望能提供資料刪除功能（小T提示：[TDengine 2.6 企業版已經提供刪除功能]( https://www.taosdata.com/engineering/10452.html"TDengine 2.6 企業版已經提供刪除功能") ⬅️點選連結文章看詳情）。
4. 提供簡潔易操作的視覺化介面，如 Navicat 之於 MySQL。

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/grafanaplugin"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

中天鋼鐵在 GPS、AIS 排程中使用 TDengine

相關文章