新增流計算計數視窗,TDengine 3.2.3.0 八大板塊功能更新

TDengine發表於2024-03-07

自發布以來,TDengine 3.0 版本在研發人員和社群使用者的共同努力下不斷最佳化,產品的穩定性和易用性獲得了大幅提升,在知輪科技的智慧輪胎系統、黑格智慧 3D 列印業務、韻達快遞業務、中國地震臺網中心、中移物聯智慧出行場景等眾多企業專案中獲得了成功應用。近期,TDengine 3.2.3.0 成功釋出,本文將向大家簡單介紹一下該版本涉及到的重大更新。

據瞭解,3.2.3.0 版本涉及到的更新內容包括流計算、傳輸壓縮、授權機制、監控、資料接入、Explorer、效能最佳化、運維最佳化八大模組。具體更新資訊展示如下。

開源的時序資料庫功能更新(所有版本同步更新)

1、計數視窗 (Count Window)

TDengine 流式計算新增對計數視窗的支援。計數視窗會按照固定的個數,對一段資料集進行擷取。

  window_clause: {
      SESSION(ts_col, tol_val)
      | STATE_WINDOW(col)
      | INTERVAL(interval_val [, interval_offset]) [SLIDING (sliding_val)] [FILL(fill_mod_and_val)]
      | EVENT_WINDOW START WITH start_trigger_condition END WITH end_trigger_condition
      | COUNT_WINDOW(count_val[, sliding_val])
    }

典型場景示例:在公路的收費站,每透過一輛車就產生一條記錄,可透過計數視窗實時顯示車輛密集程度。

CREATE STREAM  stream_name
    TRIGGER at_once IGNORE EXPIRED 1 IGNORE UPDATE 0 WATERMARK 100s
    INTO stream_stb_name
    AS
        SELECT _wstart AS ts, count(*) c1, sum(b), max(c)
        FROM st
        PARTITION BY tbname, ta, a
        COUNT_WINWOW(9);

相關技術文件請移步至官網檢視。

2、 傳輸壓縮

RESTful / WebSocket 協議下的傳輸壓縮:該擴充套件允許在 RESTful / WebSocket 連線上對訊息進行壓縮,以減少傳輸的資料量,提高效能。

3、監控

TDengine 監測:功能重構,包括 taosd 資源資訊、業務統計資訊、慢查詢和一些健康資訊。

4、效能最佳化

  • 多表低頻場景查詢最佳化
  • Last 遺留問題
  • last() / last_row()同時查詢時的效能最佳化

5 、運維最佳化

  • 副本數目修改(alter replica):透過 learner 機制,把讀寫阻塞時間縮短為成員變更時間
  • 副本節點遷移(redistribute vgroup):透過 learner 機制,把讀寫阻塞時間縮短為成員變更時間
  • 節點刪除(drop dnode):空 dnode,無論是否線上均可正常刪除

TDengine Enterprise(企業級功能更新)

1、TDengine 授權機制

  • 採用單一授權碼,覆蓋所有現存元件,提供自定義授權項以便支援新增元件
  • 支援按功能授權
  • 支援透過 cluster ID 授權
  • 支援完整授權和疊加授權

2 、傳輸壓縮

  • 從 taosX Agent 到 taosX 的資料傳輸壓縮
  • 基於 taosX 進行 TDengine 同步複製時的資料傳輸壓縮

3 、監控

taosX 監控:包括資源資訊、業務統計資訊、健康資訊、任務狀態。

4、資料接入

  • Wonderware Historian -> TDengine 3.0
  • taosX 可觀測性
  • 資料來源統一引數 Advanced Options
  • CSV 支援更多配置引數
  • OPC 點位過濾和下載機制最佳化
  • 2.6->3.0 資料複製與同步支援新建表自動同步
  • Transformer 使用者體驗最佳化

5、Explorer

  • 支援 HTTPS
  • 可以查詢任務日誌

6、效能最佳化

  • Pi -> TD 效能最佳化
  • OPC -> TD 效能最佳化
  • 多表低頻資料遷移效能最佳化(2.6->3.0)

7 、運維最佳化

虛擬節點組分裂(split vgroup):透過 learner 機制,把讀寫阻塞時間縮短為子表後設資料重整以及成員變更時間。

除此之外,每個版本都會做很多其他的工作,比如 bug 修復、功能最佳化等等。如果想要了解新版本(時序資料庫功能更新)更加詳細的釋出資訊,可以移步至 GitHub 檢視釋出說明。

歡迎大家下載使用,也歡迎在評論區提出建議和意見,如有任何問題請及時聯絡我們獲得支援。

來自 “ ITPUB部落格 ” ,連結:https://blog.itpub.net/70014783/viewspace-3008321/,如需轉載,請註明出處,否則將追究法律責任。

相關文章