近年來，各大廠商紛紛擁抱雲原生技術，由此帶來的海量資料給傳統的技術架構帶來了巨大沖擊，傳統監控首當其衝。服務上雲之後，大都基於 Docker 容器部署、Kubernetes 服務治理，資源彈性伸縮且實時變化，傳統監控難以支撐住此場景下的業務需求，可觀測性（Observability）逐漸發展成為雲原生領域的熱門方向。

在此背景下，雲時代的系統可觀測平臺觀測雲與物聯網大資料解決方案商濤思資料達成深度戰略合作，依靠國產[時序資料庫]( https://www.taosdata.com/"時序資料庫") TDengine 的技術和效能優勢，觀測雲將進一步滿足雲、雲原生、應用及業務上的監測需求，從基礎設施到日誌資料再到全鏈路應用效能實現全面主動觀測，讓企業在上雲體驗上更加順滑。

**多種儲存混合查詢，觀測雲設計 DQL 引擎專注查詢**

![](http://img.blog.itpub.net/blog/2022/06/30/dfc3e5ed8adb2b47.jpeg?x-oss-process=style/bb)

在觀測雲的資料儲存結構中，資料採集軟體會被部署到不同的使用者環境中採集所需資料，在資料上傳後系統會根據資料型別進行相應的分類，分類完成後所有資料會經由 Worker 進行對應處理，再根據相應的分類寫入到各種不同的儲存當中。在資料儲存完成後，根據業務需求使用者需要對資料進行查詢操作，但不同的資料儲存存在查詢語言的差異，如何彌補語言差異完成查詢操作成為一個亟待解決的問題。

觀測雲所使用的的儲存可以概括為三種，一種是如 TDengine 一般的時序資料庫（Time-Series Database），一種是Elasticsearch（簡稱 ES），此外還有一部分資料儲存在 Redis、MySQL 這類關係型資料庫當中，對應如此多種類的儲存，在遍歷查詢方面極度不友好，尤其是對於前端來說。觀測雲的解決方案是重新定義一套可以查詢多種資料型別的查詢語言，並由此設計出了 DQL 引擎，真正意義上實現了資料查詢層面的垂直劃分。

為了打造出一種能夠統一查詢多種儲存混合的查詢語言，觀測雲在設計上進行了深入思考，並依託於具體實現不斷打磨，設計出了專注於查詢且語法簡單的 DQL 引擎，程式碼展示如下：

```cpp
M（Metric）::nsq_nodes:(LAST(message_count) AS 訊息數) BY 
server_host 
L（Log）::openway_gin:(MAX(cost_time)) {host = ‘prd-dataway’} 
BY http_url 
R（RUL）::view:(COUNT_DISTINCT(userid)) { app_id = 
'appid_xyz' and view_path = re('.*/scene/.*') }
```

在解決了多種儲存共存的問題後，為滿足業務發展需求，進一步提升前端操作體驗，觀測雲決定對既有的儲存系統架構進行升級改造。

**與 TDengine 合作，提升使用者體驗**

觀測雲此前使用的時序資料庫是 InfluxDB，應用至今，其越來越難以支撐私有化部署業務，多種問題和瓶頸導致業務發展受到限制，最終觀測雲決定對 InfluxDB 進行替換。他們將目光轉移到國內資料庫領域，發現在多年的發展之下，一些優質的國產時序資料庫應運而起，TDengine 就是其中之一。在瞭解了 TDengine 的種種特性之後，觀測雲對兩種時序資料庫進行了相關測試。

![](http://img.blog.itpub.net/blog/2022/06/30/51e87526d367205c.jpeg?x-oss-process=style/bb)

根據上述測試結果，觀測雲發現，不管是從寫入、查詢抑或是儲存方面，TDengine 在效能上可以說是全面領先於 InfluxDB。無論是簡單查詢還是複雜的聚合查詢，都有 10x～20x 的效能提升，儲存空間能節省大約一半，在寫入效能上也有兩倍提升，也就是說原先可能需要使用兩個或者三個節點才能滿足使用者的寫入需求，應用 TDengine 後一個節點大約就頂住了，一定程度上又節省了一部分的部署成本。

目前，觀測雲正在逐步將資料從 InfluxDB 遷移至 TDengine，TDengine 將會被應用在多租戶隔離、高頻 I/O、私有化部署等場景中。

作為一個 SaaS 平臺，觀測雲需要接入多租戶進行對應服務，因此平臺方首先需要考慮的就是不同租戶之間如何以不同的 DB/Index 進行隔離。在 TDengine 中，多個 DB 可以共享一個 database 服務，觀測雲可以順利實施這個方案。

此外，多租戶模式也會產生高頻資料寫入，每一個租戶都可能會部署多個採集點，而一個採集點就相當於一個寫入的客戶端，僅對於一個租戶而言，就可能產生十個、一百個甚至更多的接入客戶端，多租戶的寫入量之巨大可想而知。

除了寫入，平臺在查詢層面也會面臨不小的壓力，前端指標的生成、監控等無時無刻不在對資料進行查詢。TDengine 的邏輯設計使得其既可以滿足高可靠，又能夠滿足大資料量級的讀寫需求，可以很好地支撐住多租戶模式下的系統效能。

除了 SaaS 服務外，觀測雲還會針對一些客戶的業務需求進行私有化部署，私有化部署的環境和 SaaS 有很大區別，不僅要將部署效率提升，還要能夠和不同的雲平臺打通，更便捷地獲取需要的資源。相比於 InfluxDB，國產的時序資料庫 TDengine 對私有化部署顯然更加友好。

**結語**

在 TDengine 的助力下，觀測雲極大地節省了部署和運維成本，也顯著提升了系統的整體效能，讓前端使用者在使用體驗上更上一層樓。作為 TDengine 的合作伙伴，觀測雲希望 TDengine 未來能夠有更多數學函式的支援，同時加強部分查詢功能對 Unicode 的支援，以更加豐富的功能促進雙方開展更為深度的合作模式。

“後面在我們的 SaaS 和私有化部署中都會預設使用 TDengine，其他公有云（AWS、騰訊雲等）上的服務都將以 TDengine 為主，對於新接入的使用者我們也將慢慢遷移到 TDengine 節點。”

未來隨著雙方合作的持續加強，可以預見，強強聯合的技術加持將為雲原生行業的智慧化監控構築更加堅實的“技術底座”，為企業數字化轉型提供技術力量支撐，為國內可觀測性技術的發展貢獻源源不斷的創造力。

觀測雲簡介：觀測雲，新一代 SaaS 化全鏈路資料可觀測平臺，實現統一採集、統一標籤、統一儲存和統一介面，帶來全功能的一體化可觀測體驗。觀測雲能全環境高基數採集資料，支援多維度資訊智慧檢索分析，及提供強大的自定義可程式設計能力，使系統執行狀態盡在掌控，故障根因無所遁形。聰明的團隊會觀測，可觀測性用觀測雲。

濤思資料簡介：北京濤思資料科技有限公司（TAOS Data）瞄準日益增長的物聯網資料市場，專注時序空間大資料的儲存、查詢、分析和計算，不依賴任何開源或第三方軟體，開發了擁有自主智慧財產權、100% 自主可控的高效能、分散式、支援 SQL 的時序資料庫 TDengine。採用 AGPL 許可證，濤思資料已經將 TDengine 的核心（儲存、計算引擎和叢集）100% 開源，未來將盡最大努力打造開發者社群，維護開放開源的商業模式。

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/grafanaplugin"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

觀測雲與 TDengine 達成深度合作，優化企業上雲體驗

相關文章