大資料】帶你理解並使用flink中的Time

一、Time的簡介

flink 中的streaming定義了多種流式處理的時間，Event Time（事件時間）、Ingestion Time（接收時間）、Processing Time（處理時間）。

Event Time：指事件產生的時間，比如業務資料庫一條資料產生的時間、一條日誌資料產生的時間等。

Ingestion Time：指flink接收資料的時間。

Processing Time：指資料被flink運算元處理的時間。

在真實的業務程式碼開發中，我們常使用Event TIme、Processing Time。

二、Window的概念

flink中，streaming流式計算被設計為用於處理無限資料集的資料處理引擎，其中無限資料集是指一種源源不斷有資料過來的資料集，window （視窗）將無界資料流切割成為有界資料流進行處理的方式。實現方式是將流分發到有限大小的桶（bucket）中進行分析。

三、Window的型別

1、分類關係

TimeWindow（計時視窗），按照一定時間生成 Window（比如：每5秒

CountWindow（計數視窗），按照指定的資料量生成一個 Window，與時間無關（比如：每20個元素）。

TumblingWindow（滾動視窗）

Sliding Window（滑動視窗）

Session Window（會話視窗）