幾個場景下用flink如何解決的思考

耗子哥信徒發表於2024-08-20

車輛GPS流和車輛過地磅重量流union,地磅資料最多晚到5天

使用allowedLateness(5d)可以讓窗戶等待5天再關閉。

1、第二天flink任務重啟了,遲到資料還能處理嗎?

image

2、大部分車輛都沒有稱重資料,如何提前關閉這些視窗,避免過多浪費記憶體

image
設定allowedLateness(5d)
對於沒有稱重資料的車輛,當水印 > 視窗最大時間,就可以考慮清除視窗的狀態。

1秒內氣溫升高超過1度,進行報警

利用KeyedProcessFunction中的定時器來實現。
定時器通常用來清除某些key對應的視窗的狀態。

相關文章