- **介紹**
Apache Flink是一個分散式流處理框架，它支援高效的流式資料處理。在 Flink 中，Watermark 是用來標記資料事件時間的一種機制。
Flink 透過Watermark來處理延遲資料和亂序資料，使得系統能夠以正確的順序進行計算。Watermark 由 Source 生成，傳遞給其它的運算元，然後在運算元間傳遞。
在 Flink 中，Watermark 透過 assignTimestampsAndWatermarks 函式來實現，這個函式需要在 DataStream 上呼叫。這個函式需要一個 TimestampAssigner 作為引數，它用來指定如何從元素中提取時間戳。
Watermark是 Flink 中非常重要的一部分，它使得系統能夠處理延遲資料和亂序資料，保證系統能夠以正確的順序進行計算。 Watermark 是由資料來源生成並傳遞給其它運算元的，並在運算元間傳遞。使用 Watermark 可以很好地解決流式資料處理中的延遲資料問題，比如在實現視窗計算、去重、連線等功能時需要考慮到資料的延遲性。 Flink 會根據 Watermark 判斷資料是否遲到，並進行相應的處理。

- **程式碼示例**
```java
public class MyTimestampAssigner implements AssignerWithPeriodicWatermarks<myevent> {
    private final long maxOutOfOrderness = 3500; // 3.5 seconds
    private long currentMaxTimestamp;
 
    @Override
    public long extractTimestamp(MyEvent event, long previousElementTimestamp) {
        long timestamp = event.getTimestamp();
        currentMaxTimestamp = Math.max(timestamp, currentMaxTimestamp);
        return timestamp;
    }
 
    @Nullable
    @Override
    public Watermark getCurrentWatermark() {
        return new Watermark(currentMaxTimestamp - maxOutOfOrderness);
    }
}
```

```java
DataStream<myevent> inputStream = ...;

inputStream
    .assignTimestampsAndWatermarks(new MyTimestampAssigner())
    .keyBy("userId")
    .timeWindow(Time.seconds(5))
    .apply(new WindowFunction<myevent tuple2="" long="">, Tuple, TimeWindow>() {
        @Override
        public void apply(Tuple key, TimeWindow window, Iterable<myevent> input, Collector<tuple2 long="">> out) {
            long sum = 0;
            for (MyEvent event : input) {
                sum += event.getValue();
            }
            out.collect(new Tuple2<>((String) key.getField(0), sum));
        }
    });
```</tuple2></myevent></myevent></myevent></myevent>

Flink - Watermark

相關文章