Flinkl Window 知识点总结
2022-05-19 23:16:38 12 举报AI智能生成
Flink 窗口知识点
作者其他创作
大纲/内容
流类型
non-keyed stream
keyed stream
窗口类型
Tumbling Windows
Slid Windows
Session Windows
Global Windows
窗口函数
ReduceFunction
用于窗口数据两两数据
AggregateFunction
用于窗口进行聚合ReduceFunction是其中的一种特殊情况
ProcessWindowFunction
能获取包含窗口内所有元素的 Iterable
Trigger
生命周期
on-event
元素加入窗口时
on-evemt-time
注册事件时间时
on processing
注册处理时间时
on merge
两个窗口合并时
clean
清理状态时
内置的Trigger
EventTimeTrigger
ProcessingTimeTrigger
CountTrigger
PurgingTrigger
自定义的
继承Trigger
Evictors
evictBefor
包含在调用窗口函数前的逻辑
evictAfter
包含在窗口函数调用之后的逻辑
内置Evictors
TimeEvictor
找到窗口中元素的最大 timestamp max_ts 并移除比 max_ts - interval 小
DeltaEvictor
计算最后一个元素与窗口缓存中所有元素的差值， 并移除差值大于或等于
CountEvictor
仅记录用户指定数量的元素
Lateness
默认延迟的数据会被丢弃
可以设置为不丢弃，Flink通过保存watermark + lateness time状态做到这一点
0 条评论
下一页
