> 小 T 導讀：在拓斯達的智慧工廠整體解決方案專案中，傳統的關係型資料庫已經無法高效處理時序資料，在載入、儲存和查詢等多個方面都遇到了挑戰，最終他們選擇了 TDengine 來匹配工業感測器資料的應用分析場景。本文將講述他們應用 TDengine 的具體實踐。

**企業簡介**

廣東拓斯達科技股份有限公司（簡稱：拓斯達，股票程式碼：300607）是廣東省首家登陸創業板的機器人骨幹企業。拓斯達堅持“讓工業製造更美好”的企業使命，透過以工業機器人、注塑機、CNC為核心的智慧裝備，以及控制、伺服、視覺三大核心技術，打造以核心技術驅動的智慧硬體平臺，為製造企業提供智慧工廠整體解決方案。

**專案介紹**

在工業領域， 生產、測試、執行階段都可能會產生大量帶有時間戳的感測器資料，這都屬於典型的時序資料。時序資料主要由各型別實時監測、檢查與分析裝置所採集或產生，涉及製造、電力、化工、工程作業等多個行業，具備寫多讀少、量非常大等典型特性。

在我們的業務中，傳統的關係型資料庫（Relational Database）已經無法高效處理時序資料，在載入、儲存和查詢等多個方面都遇到了挑戰。主要問題可以彙總如下：

- 寫入吞吐低：單機寫入吞吐量低，很難滿足時序資料千萬級的寫入壓力；
- 儲存成本大：在對時序資料進行壓縮時效能不佳，需佔用大量機器資源；
- 維護成本高：單機系統，需要在上層人工進行分庫分表，維護成本高；
- 查詢效能差：海量實時資料的聚合分析效能差。

為了更好地滿足時序資料的處理需求，我們決定進行資料庫選型調研，最終選擇了時序資料庫（Time-Series Database）TDengine。 事實證明，TDengine 針對時序資料的寫入、儲存、索引、查詢等方面都進行了特定的最佳化，從而實現了更優的資料載入、資料壓縮、查詢寫入效能，非常匹配工業感測器資料的應用分析場景。

**選擇 TDengine 的理由**

與通用資料庫相比，TDengine 的壓縮率表現驚人，核心原因是其採用列式儲存，而且採用了二階段壓縮策略，還針對不同資料型別採取了不同的壓縮演算法，這種壓縮機制使其壓縮率遠超其他資料庫。

此外 TDengine 還擁有極高的讀寫效能，並且讀寫速度受資料儲存規模的影響微乎其微，要知道通用資料庫的資料量一旦過百萬級，讀寫速度就會有明顯下降，之前我們做過一次 MySQL 批次插入資料的測試，效能差距明顯，這也是在大量級資料儲存下我們會選擇TDengine的重要原因之一。具體來說，TDengine 優勢如下：

- 資料的讀寫速度快且自帶時間戳，使用 SQL 進行資料庫操作，簡單易學，支援複雜查詢
- 資料壓縮率高，大量級的資料也不會佔據過多儲存空間，可匯出資料進行備份
- 擁有交流社群和交流群，遇見問題可以和 TDengine 的其他使用者一起探討，而且官方的同學也能提供及時的幫助

當然，世上沒有完美的資料庫，我們在應用之後總結出了兩點待改進的地方：

- 無法使用視覺化軟體如 Navicat 等進行資料庫操作（TDengine GUI）
- 目前還沒有 Windows 版的服務端，像我們上一個客戶，只在本地 Windows 上使用程式，在沒有安裝虛擬機器和部署到伺服器的情況下，就無法部署 TDengine

但每一款產品都是在發現問題和改進問題的步伐中逐漸進步的，而且對於我們的業務實現來說，TDengine 不存在明顯的短板。沒有最優的資料庫，在場景匹配的情況下，我們最終採用了 TDengine。

**落地實踐**

- 平臺架構

我們是透過閘道器採集裝置資料推送到 MQTT，Java 後端監聽到後會寫入 TDengine，在後端按需求查詢處理後再把資料返回給前端。

具體來說，閘道器會先讀取後臺釋出的上行規則，在採集到裝置資料後，使用上行規則對資料進行處理計算後再將結果返回給下行規則模組，後臺監聽到後，會連線 TDengine 進行資料庫表的建立修改和資料寫入。之前在雲平臺我們使用過 Kafka 進行資料的釋出訂閱，現在所有環境都改為 MQTT 了。

- 超級表及建模思路

在應用 TDengine 時，我們建立了流水資料庫 “iot_platform” 用來儲存閘道器傳來的資料，便於日後查詢使用。我們遵循“一個採集點一張表，一類資料一個超級表”的思路來建表，在具體實踐上設計了兩張超級表，一張是用於儲存 log 指令內容的“logs”表，另一張是用於儲存其它指令內容的“datas”表，資料型別基本為電流電壓、裝置狀態等。在進行資料儲存時首先會對資料加以判斷，再決定將資料儲存到哪張表裡。

**落地效果**
執行一段時間後，TDengine 的查詢、寫入速度完全可以滿足我們目前的客戶需求，最慢的分鐘級，最快的能達到 1 秒一條；一個裝置一天最多能寫入近十萬條資料，近千個裝置同時寫入也完全沒有問題，相較於之前，寫入速度提升了數十倍。查詢資料在以月為單位的時間範圍內沒有過於明顯的延遲，整體的資料壓縮比大概是1/10，目前每天產生的資料量在數G左右。

- 流水資料查詢

![](http://img.blog.itpub.net/blog/2022/06/08/3c177620575cc814.png?x-oss-process=style/bb)

查詢某一時間段內的流水資料，使用查詢語句：
```cpp
SELECT datagettime as ts , ${dataName} as data FROM ${tableName}
 <where>
    uuid = ${uuid}
    <if test="startTime != null ">
        and datagettime > #{startTime}
    </if>
    <if test="endTime != null ">
        and #{endTime} > datagettime
    </if>
    and ${dataName} is not null
 </where>
 limit 0, ${countLimit}
```

- 聚合函式計算一天的資料

![](http://img.blog.itpub.net/blog/2022/06/08/e8c5f9538e9dfbfe.png?x-oss-process=style/bb)

```cpp
select diff(${dataName}) as data
 from ${tableName}
 where ${dataName} > 0
  and datagettime > #{startTime}
   and #{endTime} >= datagettime
```
- 計算某一時間段內的資料

![](http://img.blog.itpub.net/blog/2022/06/08/40bd9529f822df87.jpeg?x-oss-process=style/bb)

```cpp
select ${method}(${dataName}) as data
 from ${tableName}
 where uuid = ${uuid}
  and datagettime > #{startTime}
  and #{endTime} > datagettime;
```

**寫在最後**

在工業網際網路快速發展的大背景下，工業生產現場投放了大量的裝置感測器和監控系統，二者提供的實時資料能夠反映裝置的狀態和生產的進度，其中的大多資料都是按照時間順序形成的實時資料，這些海量實時資料有著多樣化的分析需求和重要的參考價值。

未來希望 TDengine 可以提供更復雜的流式計算、查詢分析以及監測預警等能力，可以為產品的視覺化運維、預測性維護、遠端智慧管理等方面提供資料依據，從而降低人員、時間等成本，加速工業化與資訊化的深度融合，促進複雜重型裝備製造業的轉型升級，產生社會經濟效益。

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/TDengine"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

寫入速度提升數十倍，TDengine 在拓斯達智慧工廠解決方案上的應用

相關文章