TDengine 使用者案例合集 | 智慧環保專案的時序資料處理難點與最佳化實踐

智慧環保系統通常涉及大量的感測器和監測裝置，以收集環境資料並對其進行分析和處理，這些資料通常是時序資料，即在一段時間內按時間順序生成的資料，規模龐大且要求快速準確地進行分析和處理。也因此時序資料處理是智慧環保系統面臨的一個重要難題，很多專案在建立之初採用了傳統的大資料解決方案，隨著資料體量的日益增長，效能差、效率低、成本高等問題逐漸顯露。在本篇文章中，我們彙總了三個典型的智慧環保專案的資料架構升級實踐，給到有需要的企業參考。

中科惠軟 x TDengine

“以往智慧環保專案我們採用傳統資料庫架構設計，對在海量秒級監測資料實時統計和分析耗時長、CPU 和記憶體利用率低、磁碟 IO 超負荷。在 A 市智慧環保物聯網應用專案我們創新使用了 TDengine，利用了實時流式計算相關函式，解決了大資料儲存和計算，降低了程式碼開發複雜度，讓運維工作變得極為簡單，極大降低了運營成本。”

業務背景

中科惠軟承建的 A 市“智慧環保”物聯網應用專案需要採集各類感知裝置產生的監測資料和監控裝置各種執行狀態，專案每天採集各類監測資料 2 億餘條，如果使用公司原架構，可以勉強將每天的資料儲存下來，但如果需要實現“某天下午兩點 A 路段有多少輛渣土車透過”類似條件的多緯度分組聚合查詢，那麼採用傳統的資料庫就無法達成這類查詢需求了。考慮到各類感知監測裝置會時刻產生大量秒級和分鐘級監測資料儲存和實時計算，在經過多個時序資料庫（Time Series Database）之間的效能和穩定性方面對比，最終，中科惠軟採用了 TDengine 對生態環境監測資料進行實時儲存、計算。

中科惠軟選型測試結果

昆嶽互聯 x TDengine

“應用 TDengine 後，在進行每分鐘的平均量進行實時計算時，我們只需要簡單的定義時間視窗和滑動增量，資料庫就能返回每分鐘的平均量；在處理實時監測、預警的指標上，可以專門為這類資料建立流計算，並將計算結果寫入新的表（如下strm_pt_0304）中儲存，這樣整個實時計算的結果也可以做歷史回顧。原本很多需要在程式中處理的數值計算，現在完全都由 TDengine 承擔，不僅分擔了程式的計算壓力，更重要的是聚合結果可以自動持久化儲存，支援歷史資料即時回看。”

業務背景

昆嶽互聯的“a 環保”APP 基於自主打造的環保產業網際網路平臺（INECO 平臺），對環境基礎設施海量資料實時處理與分析，可以秒級實時採集工業大氣環保各項監控指標的資料，分別透過年、月、日三個維度，結合不同的採集頻率週期，對採集到的海量資料進行分析、展示。在進行資料庫選型中，分別對比了阿里的時序資料庫 TSDB、傳統的 MySQL 以及 TDengine 後，最終 TDengine 憑藉著高效的效能和獨特的設計思路脫穎而出。

架構圖

廣東環境科學研究院 x TDengine

“我們的一張超級表中儲存了 76.5 億條資料（四張超級表總共 160 億條資料），分散在 19,419 張子表中，平均每張表 39 萬行。由於 TDengine 超級表特性，再加上列式儲存和超高的壓縮能力，這些資料僅佔用了 240GB 記憶體，不僅幫助我們節省了大量的儲存空間，也為資料查詢效能打下了良好的基礎：對於 76 億行的超級表，分組 TOP 查詢僅用了 0.2 秒；基於 TDengine 返回 2,968 行，僅用了 0.06 秒。”

業務背景

為解決國內環境質量管理、汙染源監管和數字政府等生態環境資料的管理工作，廣東科學研究院建立了生態環境資料治理服務專案，幫助企業打通所有相關的業務資訊系統、建立資料倉儲。與一般的資料儲存要求不同，該專案感知層的儲存方案對資料讀寫頻度和低延時要求更高，同時由於資料量極大，還需要更高的儲存效率，此前採用關係型資料庫進行資料儲存，最多隻能保留 3-5 天的資料，不得不按天刪除舊資料。之後考慮過採用 PostgreSQL 的 TimescaleDB 擴充套件，但卻不滿足政務資訊化自主可控的要求。在經過很長一段時間的研究和測試後，TDengine 被成功應用。

架構圖

結語

從上述企業實踐來看，TDengine 在智慧環保專案上的應用具有很大的優勢，可以實現高效的資料採集、儲存、分析和展示等功能，為環保系統提供有力的技術支援。目前，全託管的時序資料雲服務平臺 TDengine Cloud 也已經上線，優秀的彈性伸縮能進一步提升業務的降本增效，非常歡迎大家來試用~如果你正面臨資料處理難題，也可新增小Tvx（tdengine），申請加入 TDengine 技術交流群，和志同道合的開發者共同探討解決路徑。