版本釋出:TDengine 3.0.3.0 為資料壓縮、事件視窗等七大功能加“Buff”

TDengine發表於2023-03-15

TDengine 3.0 自去年 8 月份釋出以來,已經被大量使用者下載使用。在此過程中,濤思的研發同學也沒有懈怠,針對大家在社群、各種我們能觸達到的平臺上提出的種種有價值的反饋,都一一進行了記錄,並開始尋求更高效的實現方法。

終於, 在 2023 年的第一季度, TDengine 第一個重要改進版本 3.0.3.0 釋出,這一版本涉及到的更新內容包括資料重整、事件視窗、標籤索引、taosX、taosExplorer 等功能或元件。經過這一系列的功能最佳化與加強,TDengine 的效能、易用性、運維便利性都有大幅提升。

下面我們一起來看一下這一版本的詳細更新資訊:

資料重整 (Data Compact) ——Enterprise only

包含以下最佳化:

  • 對寫入資料庫中所有 Vnode 的所有資料檔案進行重整,生成新的落盤檔案
  • 清除已刪除的表的所有資料
  • 清除 delete 語句刪除的所有資料
  • 合併更新的所有資料
  • 生成新的檔案,提升查詢效能

藉助此功能,使用者可以重整資料庫,清除掉無用資料、重複資料。除了能夠釋放儲存空間外,查詢效能也會有巨大的提升,且原有的亂序資料和重複資料的比例越高效能提升越顯著。

事件視窗 (Event Window)

包含以下最佳化:

  • 按照使用者指定的條件來決定開啟和結束視窗的邊界
  • 豐富視窗型別,提供更靈活的視窗支援,滿足由事件驅動的業務需求

更詳細資訊請參考官方文件 。

標籤索引 (Tag Index)

包含以下最佳化:

  • 可以按需在標籤列上建立和刪除索引,之前版本僅對第一個標籤內建了索引
  • 可以按需建立標籤索引,提升基於標籤過濾的查詢的效能

taosX——Enterprise only

包含以下最佳化:

  • 從 2.x 到 3.0 以及 3.0 到 3.0 的資料複製,包括存量和增量資料
  • 備份資料到本地檔案,從本地檔案恢復資料

詳細說明:

  • 支援 select-with-stable tables 引數(2.6 遷移到 2.6 下)
  • 增強錯誤處理
  • REST API support for Data In.
    • Add name field for task props (資料來源命名).
    • Add labels field (更方便和定製化地對任務進行標記和查詢)
    • Add detail query parameter (資料來源 DSN 自動解析,用於檢視和編譯資料來源)
    • Add trigger field for task schedule (定時自動增量備份).
  • 修復 2.6 記憶體洩漏問題
  • 修復 unreachable 和 panic 問題

taosExplorer——Enterprise only

使用該工具可基於 Web UI檢視、操作、和管理 TDengine 叢集。

詳細說明:

  • Data Explorer——
    • 使用圖形介面檢視和瀏覽叢集中的資料庫、超級表、子表、普通表
    • 使用圖形介面建立和刪除庫、超級表、子表、普通表
    • 輸入和執行 SQL 語句,檢視執行結果
    • 收藏常用的 SQL 語句以快速執行
    • 瀏覽 SQL 語句的執行記錄
  • 資料匯入(Data In)——從另一 TDengine 叢集匯入資料
  • 建立和刪除 Topic
  • 建立和刪除流
  • 管理使用者和許可權
  • 備份資料到本地檔案和從本地檔案恢復
  • 從另一叢集複製資料到當前叢集,從當前叢集複製資料到另一叢集
  • 叢集管理和運維——新增/刪除 dnode/mnode/gnode
  • 基於 Grafana 進行叢集監控

Java/Python 聯結器

  • 最佳化後的聯結器支援基於 WebSocket 的訊息訂閱
  • 既支援 TDengine Cloud 也支援獨立部署的 TDengine 叢集
  • 類似 REST,可以不依賴 taosc library,但比 REST 效能更好
  • 介面風格和 Kafka 基本一致
  • API 和示例程式碼詳見官網文件

Grafana Plugin

  • Dashboard 可以監控 HTTP status code

在 TDinsight V3.x TaosAdapter Row 中新增 dashboard,展示 taosadapter 的所有 http 狀態碼,資料來源為 log 庫的 “taosadapter_restful_http_request_total”表。

  • 多維資料場景下的統一告警

Grafana 8.x 之後的版本新增 unified alert, TDengine Grafana plugin v3.2.9 新增了對多維資料場景下 unified alert 支援。在 add query 皮膚設定 “INPUT SQL”、 “Group by column name(s)” 即可展示多維資料,然後新增 expression 設定資料的閾值,即可配置 unified alert。


詳細資訊可以參考釋出說明 。歡迎大家下載使用 TDengine,有任何問題,都可以新增 小T vx:tdengine1 申請加入 TDengine 使用者交流群,及時向我們的解決方案專家尋求支援與幫助。

TDengine Database


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70014783/viewspace-2939794/,如需轉載,請註明出處,否則將追究法律責任。

相關文章