> 瞭解資料庫的開發者應該都知道，在傳統的資料處理流程過程中，總是要先去收集資料，然後再將資料存放到資料庫中。當根據業務邏輯去資料庫中對資料做查詢操作的時候，才能得到想要的結果或者進行對應的處理操作。雖然這種方式較為常用，但是得出的結果卻差強人意，尤其是在一些實時查詢業務中的某些具體業務場景，比如MapReduce方式的離線處理並不能很好地解決問題，這就出現了一種新的資料計算結構--流式計算。作為資料庫的初學者，我想透過本文來分享一下自己關於流式計算學習使用的心得體會。

**1、什麼是流式計算？**

流式計算其實就是資料在輸入錄入的時候就已經開始計算來，是邊錄邊算的方式進行，而且計算的運算速度極快，可達到毫秒級別，然後計算完成之後就能實時體現結果，或者進行儲存操作。常用於電商、智慧交通、影片直播、實時天氣、物聯網等需要實時推送結果的實際場景。其具有實時性、突發性、易失性、無限性特點。
流式計算典型正規化之一就是：不確定資料的流入速率的事件流流入系統，系統的處理能力必須要和事件流量相匹配，或透過近似演算法等方式進行降級操作，通常稱為負載分流。在資料庫學習或者開發時，有關大資料實時處理常用的就是流式計算，而目前方便使用和學習的關於流式計算的工具引擎有很多，但是既支援時間驅動的流式計算又支援事件驅動的流式計算產品卻不多見，更遑論資料庫自帶流式計算功能了，很多資料架構因為疊加太多的第三方軟體變得越發臃腫。
針對這種情況，濤思資料打造的時序資料庫（Time Series Database）TDengine能夠緩解這種資料焦慮，新發布的3.0版本更是對流式計算引擎進行了全新升級，既支援時間驅動的流式計算又支援事件驅動。為了驗證官方的說法，我打算來嘗試一下。

**2、TDengine3.0的流式計算功能**

這裡還要再強調一下為什麼選擇TDengine來使用，不僅因為TDengine的流式計算能夠支援在多個vnode中分佈的超級表聚合，而且其還提供了watermark機制以度量容忍資料亂序來處理亂序資料的寫入的情況，且提供了ignore expired配置項來決策亂序資料的處理操作。

首先需要進行 TDengine 3.0的安裝和部署，在這裡我就不多做介紹了，大家可以進入 TDengine 官網-文件進行查閱，很詳細。

**TDengine3.0的流式計算語句使用**

**（1）流式計算的建立**
TDengine3.0的流式計算的建立語句，如下所示：
```cpp
CREATE STREAM [IF NOT EXISTS] stream_name [stream_options] INTO stb_name AS subquery
stream_options: {
TRIGGER [AT_ONCE | WINDOW_CLOSE | MAX_DELAY time]
WATERMARK time
}
```
上面的subquery就是select普通查詢語法的子集，如下所示：

```cpp
subquery: SELECT select_list
from_clause
[WHERE condition]
[PARTITION BY tag_list]
[window_clause]
```
下面舉一個示例來看看上述關於流式計算的建立的使用，該流式計算按照每一分鐘為時間視窗，30秒為前向增量統計直播間的平均人數，並把來自meter表的資料計算結果寫入到avg_value表中，不一樣partition的資料會分別建立子表並對應寫入子表中，具體如下所示：
```cpp
CREATE STREAM avg_value_s INTO avg_value AS
SELECT _wstartts, count(*), avg(online) FROM meter PARTITION BY tbname INTERVAL(1m) SLIDING(30s);
```

**（2）流式計算的刪除**
TDengine3.0的流式計算的刪除語句，如下所示：
```cpp
DROP STREAM [IF NOT EXISTS] stream_name;
```
上述語句只刪除流式計算的任務，並不會刪除流式計算寫入的資料，示例如下所示：
DROP STREAM avg_value_s; //只刪除了avg_value_s的流式計算任務

**（3）流式計算的顯示**
TDengine3.0的流式計算的顯示語句，如下所示：
```cpp
SHOW STREAMS;
```
上述語句的顯示不太詳細，如需更加詳細，使用下面的語句：
```cpp
SELECT * from performance_schema.perfo_str;
```
經過上面TDengine3.0的流式計算語法的基本使用操作，大致就是流式計算使用的全部內容，非常的簡單易用，且簡潔明瞭。

**3、TDengine3.0流式計算的實際使用示例**

學習TDengine3.0過程中，結合上面學到的基礎語法，接下來分享一下TDengine3.0流式計算的實際使用示例，這裡以影片直播中使用者走勢資料為例，透過TDengine3.0流式計算將10天未互動的使用者資料清理掉，然後以每分鐘為視窗整合並計算每個視窗中的使用者年齡的最大值，最後將結果輸出到對應的資料表裡面，具體如下所示：

**（1）建立原始表**
前提是先準備資料，然後完成建資料庫、建一個超級表和多個子表，具體操作如下所示：

![](http://img.blog.itpub.net/blog/2023/01/06/9a25206a8c1a8884.jpeg?x-oss-process=style/bb)

**（2）建立流**
直接建立流，具體操作如下所示：
```cpp
create stream current_stream into current_output_stb as select _wstart as start, _wend as end, max(current) as max_current from meter where age <= 50 interval (1m);
```

**（3）給表中寫入資料**
給表中寫入資料，具體程式碼如下所示：

![](http://img.blog.itpub.net/blog/2023/01/06/2350dac2119fa877.jpeg?x-oss-process=style/bb)

**（4）檢視輸出結果**
檢視運算的結果，具體程式碼如下所示：

![](http://img.blog.itpub.net/blog/2023/01/06/b593b43f10000e28.jpeg?x-oss-process=style/bb)

上面這個示例是TDengine3.0流式計算的實際使用示例，驗證了TDengine3.0流式計算的功能，體驗到了它的流暢度，而且TDengine3.0流式計算的功能使用起來其實不復雜，操作簡單，體驗很不錯，學習成本也很低。

**總結**
透過對TDengine3.0流式計算的學習使用，體驗到的不僅是它帶來的簡潔操作，還有流暢的計算效能，簡化了系統的複雜度，更節省了很多時間成本，尤其是比以往的傳統方式要簡單太多。不過我本次學習的深度還不夠，還有很多需要操作實踐的地方，TDengine3.0流式計算的功能很強大，需要開發者持續去使用和發現。

既支援時間驅動又支援事件驅動，TDengine3.0流式計算的學習使用心得

相關文章