根據 2022 年最新 DB-engines排名，主流時序資料庫依然是 InfluxDB、Prometheus 等。但從排行上升趨勢不難看出，近一年新的時序資料庫嶄露頭角，這也說明企業技術選型的方向也越來越多。
![](http://img.blog.itpub.net/blog/2022/05/18/74fa84d6b0434d7e.jpeg?x-oss-process=style/bb)

如何做好時序資料庫的選擇，也是困擾眾多企業的根本問題。資料遷移的難度、後期運維的成本、更甚至是物理條件的限制等等一系列問題都會成為阻礙企業發展的一道不可逾越的鴻溝。TDengine 作為一款叢集版都開源的時序資料庫，近幾年也幫助很多大廠完成了技術選型和企業資料的遷移。如果你正在為技術選型而頭禿，不妨循著前人的腳步進行一番探索。

**使用者案例**

[TDengine：十年期貨股票行情資料輕鬆處理——TDengine在同心源基金的應用]( http://blog.itpub.net/70014783/viewspace-2895036/"TDengine：十年期貨股票行情資料輕鬆處理——TDengine在同心源基金的應用")

[TDengine：TDengine在弘源泰平量化投資中的實踐]( "http://blog.itpub.net/70014783/viewspace-2895179/TDengine：TDengine在弘源泰平量化投資中的實踐")

[TDengine：TDengine在同花順組合管理業務中的最佳化實踐]( http://blog.itpub.net/70014783/viewspace-2895185/"TDengine：TDengine在同花順組合管理業務中的最佳化實踐")

作為眾多公司的最終選擇，TDengine 能脫穎而出的根本原因還是在於其技術的完備。大資料有很多處理工具，例如 HBase，Hive，YARN，Storm，Spark 等系列工具。整個大資料平臺中往往還有 Kafka，Redis 等類似的訊息佇列、快取軟體。這些軟體較好的解決了通用大資料問題，但是物聯網、車聯網、工業網際網路等場景的資料有其獨特性，充分利用這些獨特之處，必定可以使資料處理有數量級的提升，並且大大減少研發和運維成本。

TDengine 專為物聯網、車聯網等時序空間大資料設計，其核心功能是時序資料庫。但為減少大資料平臺的研發和運維的複雜度，更進一步降低計算資源，TDengine 還提供大資料處理所需要的訊息佇列、訊息訂閱、快取、流式計算等功能。TDengine 的優勢十分明顯，主要表現在以下幾個方面：

**1. 大幅提升資料插入和查詢效能**

物聯網的資料是結構化的，因此 TDengine 採取的是結構化儲存，而不是流行的 KV 儲存。物聯網場景裡，每個資料採集點的資料來源是唯一的，資料是時序的，而且使用者關心的往往是一個時間段的資料，而不是某個特殊時間點。基於這些特點，TDengine 要求對每個採集裝置單獨建表。如果有 1000 萬個裝置，就需要建 1000 萬張表。

基於這樣的設計，任何一臺裝置採集的資料在儲存介質裡可以是一塊一塊連續的存放的，而且按照時間排序。因此查詢單個裝置一個時間段的資料，查詢效能就有數量級的提升。另外一方面，雖然不同裝置由於網路的原因，到達伺服器的時間無法控制，是完全亂序的，但對於同一個裝置而言，資料點的時序是保證的。一個裝置一張表，就保證了一張表插入的資料是有時序保證的，這樣資料插入操作就變成了一個簡單的追加操作，插入性也能大幅度提高。
![](http://img.blog.itpub.net/blog/2022/05/18/4a9fba4eeddfe54d.jpeg?x-oss-process=style/bb)

KV 儲存的好處是不用定義資料庫表結構，每條記錄都可以變換格式。但在物聯網、車聯網這些場景裡，一般資料格式是固定的，改動的頻次很低，而且 TDengine 實現了一種高效的修改表結構的方法，因此 TDengine 採取格式化儲存不會帶來太大的不便。

**2. 大幅降低硬體或雲服務成本**

由於資料插入查詢效能大幅度提升，系統所需要的計算資源就大幅減少。另外一方面，物聯網採集的物理量的值是隨時間改變的，但正常情況下，是漸變的，因此 TDengine 採取列式儲存，將同一個物理量在多個時間點採集的值連續存放，這樣能成倍的提高壓縮效率。而且 TDengine 針對不同的資料型別採取不同的壓縮方法，比如 delta-delta 編碼、simple 8B 方法、zig-zag 等等，這樣更進一步的提高壓縮率。與通用資料庫相比，在已經測試過的物聯網場景中，TDengine儲存空間不到 1/5，大幅節省儲存資源。在 TDengine 公佈的對比測試報告裡，有如下的結果：
![](http://img.blog.itpub.net/blog/2022/05/18/e3663b589e02945c.jpeg?x-oss-process=style/bb)

**3. 大幅簡化大資料系統架構**

與網際網路應用不一樣的是，物聯網場景中，只要指定聯網裝置數量，資料採集頻次，系統所需要的流量就可以較為準確地估算出來，不像雙 11，電商的流量可以幾十倍的變化，而物聯網的流量則較為平穩。同時，物聯網裝置都有一定的資料快取能力，以防止網路連線失敗，因此物聯網平臺對訊息佇列的需求沒有那麼強烈。TDengine 內部實現了一簡單的訊息佇列，同時提供訂閱功能，這樣就不需要使用 Kafka 等類似的訊息佇列軟體了。

TDengine 對資料庫分配了固定的記憶體區域，新插入的資料，會先寫入記憶體。記憶體按照先進先出的原則進行管理，記憶體不足時，老的資料會被持久化儲存，而記憶體裡的老資料會被最新的覆蓋掉。TDengine 還保證了任何一臺裝置最後一條記錄一定在記憶體中，如果應用要獲取每個裝置的最新資料或狀態，都將從記憶體裡直接獲取，這樣的設計讓系統可以不再需要 Redis 這類軟體。

因此 TDengine提供了大資料處理所需要的資料庫、快取、訊息佇列、流式計算等系列功能。使用TDengine，在物聯網大資料平臺中完全可以拋棄掉Kafka、HDFS、HBase、Spark和Redis等軟體，大幅簡化大資料平臺的設計，降低研發成本大，而且系統將更加健壯，資料的一致性更有保證。

因此 TDengine 提供了大資料處理所需要的資料庫、快取、訊息佇列、流式計算等系列功能。使用 TDengine，在物聯網大資料平臺中完全可以拋棄掉 Kafka、HDFS、HBase、Spark 和 Redis 等軟體，大幅簡化大資料平臺的設計，降低研發成本大，而且系統將更加健壯，資料的一致性更有保證。

**4. 強大的歷史資料分析能力**

TDengine 設計上讓使用者對歷史資料和實時資料的處理完全透明，不區分歷史資料和實時資料。使用者只需要在 SQL 語句裡指定時間段，TDengine 自動決定是否從記憶體、從本地硬碟，還是從網路儲存上獲取資料,這樣應用的實現變的簡單。

每個裝置的資料按塊儲存，而且每個資料塊都已經做了預聚合（比如和、最大、最小值等），這樣執行一個裝置一個時間段的各種統計操作，有可能不用掃描原始資料，就能計算出來，效能大幅提升。即使有的計算需要掃描原始資料，但由於資料是一塊一塊連續儲存的，讀取速度遠超通用資料庫，計算分析速度也是大幅提升。而且由於結構化儲存，解壓後，不用做任何解析，讀進記憶體就可以直接計算，相對於 NoSQL 資料庫，計算分析速度也是大幅提升。

TDengine 定義了一新的概念——超級表，用以描述同一型別的裝置。給每個裝置或表打上靜態標籤後，就可以用標籤值篩出一部分滿足過濾條件的裝置，然後對這一部分裝置的資料進行聚合。TDengine 還設計了一特殊的機制，對於多個裝置資料聚合，僅僅需要掃描一次資料檔案，這樣大幅減少IO操作次數，提高聚合計算速度。為提高易用性，使用者可以透過 TDengine 自帶的 shell，或者 Python、R、Matlab 等工具直接進行各種 Ad-Hoc 的查詢或分析。TDengine 用來做物聯網、車聯網、工業網際網路的資料倉儲，會是一個理想的選擇。

**5. 零運維管理，零學習成本**

TDengine 安裝包很小，下載、安裝幾秒鐘搞定。對於企業版，把一臺機器加入叢集一條命令就能完成，而且資料庫是實時自動備份，不用手動分庫分表，運維極其簡單。系統使用標準的 SQL，支援 C/C++、Java、Python 和 Go 等各種語言開發介面，支援 JDBC，支援 RESTful 介面。使用起來就像是在使用MySQL，幾乎不需要學習成本。

**6. 與第三方工具無縫整合**

目前 TDengine 在資料採集側，已經支援 Telegraf、Kafka，後續還將支援 MQTT、OPC 等。在應用側，已經支援 Grafana 視覺化工具，支援 Matlab，R 以及一些 BI 工具。因為 TDengine 支援 JDBC 介面，很容易實現與第三方工具的介面，可以預見，更多的工具將會被無縫整合。
![](http://img.blog.itpub.net/blog/2022/05/18/f14734b3196ec0ee.jpeg?x-oss-process=style/bb)

對於運維監測場景，不用寫任何程式碼，只要將開源的 Telegraf、Grafana與TDengine配置好，就可以迅速搭建一個高效的運維監測平臺。

**開源**

TDengine 由北京濤思資料技術有限公司自主開發，沒有依賴任何第三方軟體。研發時間已經超過 2 年，而且已經有一批付費商業客戶，涉及電力、數控機床、智慧城市、車輛網等多個領域，客戶的使用反饋都很不錯。可喜的是，濤思資料將 TDengine 的核心儲存、計算引擎完全開源。TDengine 的社群版完全能滿足一定規模的物聯網、車聯網、工業網際網路的應用需求。因為濤思資料核心團隊就在北京，相比其他開源軟體，應該能夠給中國的軟體工程師提供更好的本地服務。

**結語**

對比其他時序資料庫，TDengine 在易用性、功能上、效能上有明顯的優勢。採用 TDengine，讓物聯網、工業網際網路、運維監測的大資料平臺的搭建變得極為簡單，具備超強效能，不僅降低硬體成本、運維成本，還能大幅降低對研發和運維人員的需求。

------------

想了解更多 TDengine Database 的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/TDengine"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

時間序列化資料庫選型？時序資料庫的選擇？

相關文章