![](http://img.blog.itpub.net/blog/2022/08/02/264940ba60e4e869.jpeg?x-oss-process=style/bb)

> 小 T 導讀：除了要對幾千臺攝像頭進行資料採集加線上檢測，蘇州大學還有 1500 多臺交換機和 4000 多臺伺服器，在資料庫的選擇上，它需要在扛住如此大量裝置 24 * 7 高頻長期寫入的同時，還要確保相當出色的查詢效率。從 PostgreSQL 到[ TDengine]( https://www.taosdata.com/?zh" TDengine")，本文分享了江蘇縱目在面對業務難點時，在資料庫的選擇、應用和成效方面的經驗。

**企業簡介**
蘇州大學（Soochow University），簡稱“蘇大”，坐落於美麗的江蘇省蘇州市，是教育部與江蘇省人民政府共建高校，國家“雙一流”建設高校，國家“211 工程”、“2011 計劃”首批入選高校，前身是 1900 年創辦的東吳大學，是中國最早以現代大學學科體系舉辦的大學。

**專案介紹**
作為一所重點高校，蘇州大學具備規模較大的 IT 基礎設施及應用系統，資源壓力大，網路故障波及使用者數量多。為保障全校系統以及網路、伺服器硬體、作業系統的可用性、可靠性和安全性，學校必須建立規範且全面的運維管理體系。**在此背景下，我們江蘇縱目與蘇州大學與開展技術合作，打造了蘇州大學智慧運維管理平臺。**

該業務場景面臨著以下難點：

- 資源裝置型別、品牌、版本繁雜，各廠商協議區別大，人員經驗無法全覆蓋，原廠難以及時響應。
- 業務應用、服務與資源的關聯關係複雜，問題定位時間遠超過解決問題的時間。
- 缺乏事前運維的有效工具，系統網路異常會波及各部門/院系師生的教學工作的開展，被動處理負擔重，導致業務部門投訴。

![](http://img.blog.itpub.net/blog/2022/08/02/820dc461ba8f3d70.jpeg?x-oss-process=style/bb)

**海量裝置資料的儲存和查詢問題首當其衝**
對於這樣一個規模較大的 IT 基礎設施及應用系統來說，解決問題本身並不難，難的是如何高效地處理小問題、科學地預防大問題、迅速地定位問題的根本原因。就從監控資料層面來說，如果想對裝置進行 24 * 7 不間斷監控的話，那麼海量的裝置資料儲存和查詢對於 Database 的壓力將會非常大。

蘇州大學有幾千臺攝像頭，光攝像頭的資料採集加線上檢測的資料量就已經很大了，更別提還有 1500 多臺交換機、4000 多臺伺服器，在資料庫的選擇上，它需要在扛住如此大量裝置 24 * 7 高頻長期寫入的同時，還要確保相當出色的查詢效率。

此前，我們使用的是 PostgreSQL 資料庫單機版，由於是關係型資料庫（Relational Database），在該時序資料的場景下數達到億級資料量時，查詢分析延遲會達到大幾秒，壓縮率上也不太理想（後文會有實際對比），無法撐起一個全域一體化運維監控平臺的持續執行。

資料的儲存與讀寫是一切業務的根基，因此資料庫選型這個環節尤為重要。早在此前，我們就針對此類業務對[時序資料庫]( https://www.taosdata.com/?zh"時序資料庫")（Time Series Database）做了充分的調研與實測。其中 TDengine 作為一個專為物聯網、車聯網、工業網際網路、運維監測等最佳化而設計的時序資料庫，十分契合該場景。最終我們選擇將 TDengine 整合到我們自研且專用於監控時序資料的 Argus 平臺中 https://zmops.com。

![](http://img.blog.itpub.net/blog/2022/08/02/bcf7609c031de9a2.jpeg?x-oss-process=style/bb)

**實際應用與效果分析**
其實，從 2020 年開始，我們就開始關注和接觸 TDengine 了，很開心最終修成了正果，在使用 TDengine 對 Argus 平臺進行全面升級後，不管是查詢效率、分析效能還是磁碟佔用，都得到了質的提升。

在將 TDengine 作為平臺時序資料永久儲存之後，各項功能都符合甚至超出了我們的預期：

![](http://img.blog.itpub.net/blog/2022/08/02/aea7f7e12c9417c7.jpeg?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/08/02/df74b843d3b7a20c.jpeg?x-oss-process=style/bb)

落腳到實踐上，我們是在一臺 4C 16G 機械硬碟規格的伺服器上落地了該專案，使用單列模型建表，針對每個資料型別的指標都建立一個子表，並用一個超級表來統一管理。當前，**子表數量已經達到四十多萬張，輕鬆達成了數十萬級指標的實時監控**。

在寫入層面，由於各個裝置採集頻率不太一樣，每秒鐘大概寫入 6000 多行，這對於 TDengine 來說毫無壓力，**我們透過官方測試工具 taosBenchmark，在自己的虛擬機器上都能跑出每秒寫出數百萬測點的成績**。

![](http://img.blog.itpub.net/blog/2022/08/02/9624198644149e43.png?x-oss-process=style/bb)

目前，我們的資料儲存週期（keep 7天）為一週，TDengine 所包含的資料量如下：

![](http://img.blog.itpub.net/blog/2022/08/02/378ac9d13ea51afc.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/08/02/983d052c60dab0b3.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/08/02/1b8594a6f540a6d2.png?x-oss-process=style/bb)

以下為用作對比的 PostgreSQL 中的資料量。

![](http://img.blog.itpub.net/blog/2022/08/02/234decaab971b0bf.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/08/02/27e515f475676ebb.png?x-oss-process=style/bb)

**可以看到，TDengine 儲存的大概 2 億行資料，實際佔用儲存空間不過 2 GB。（注：Vnode2 是 log 庫所佔用的空間，即 TDengine 用於內部監控而自帶的資料庫），比起 PostgreSQL 佔用的超過 200GB 的空間，幾乎可以忽略不計。**

![](http://img.blog.itpub.net/blog/2022/08/02/4c002fc87bb951cd.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/08/02/4abb4f1ec9bd64a4.png?x-oss-process=style/bb)

在查詢上也是一樣，針對效能詳情頁的指標查詢，**PostgreSQL 的很多查詢都需要幾秒返回結果，而TDengine 都是毫秒級別**。

![](http://img.blog.itpub.net/blog/2022/08/02/01fe036b9952b993.jpeg?x-oss-process=style/bb)

**寫在最後**
當下，由於我們的重點業務是實時監控，所以對歷史資料還沒有那麼高的安全優先順序，但後續業務會涉及到對此前的監控進行復盤，我們將會升級到 TDengine 叢集版來確保資料的高可用。總而言之，從當前的應用情況來看，TDengine 適配非常順利，為我們的系統提供了非常大的助力。

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/grafanaplugin"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

蘇州大學：從 PostgreSQL 到 TDengine

相關文章