Flinkl Window 知识点总结
2022-05-19 23:16:38 12 举报AI智能生成
登录查看完整内容
Flink 窗口知识点
作者其他创作
大纲/内容
non-keyed stream
keyed stream
流类型
Tumbling Windows
Slid Windows
Session Windows
Global Windows
窗口类型
用于窗口数据两两数据
ReduceFunction
用于窗口进行聚合ReduceFunction是其中的一种特殊情况
AggregateFunction
能获取包含窗口内所有元素的 Iterable
ProcessWindowFunction
窗口函数
元素加入窗口时
on-event
注册事件时间时
on-evemt-time
注册处理时间时
on processing
两个窗口合并时
on merge
清理状态时
clean
生命周期
EventTimeTrigger
ProcessingTimeTrigger
CountTrigger
PurgingTrigger
内置的Trigger
继承Trigger
自定义的
Trigger
包含在调用窗口函数前的逻辑
evictBefor
包含在窗口函数调用之后的逻辑
evictAfter
找到窗口中元素的最大 timestamp max_ts 并移除比 max_ts - interval 小
TimeEvictor
计算最后一个元素与窗口缓存中所有元素的差值， 并移除差值大于或等于
DeltaEvictor
仅记录用户指定数量的元素
CountEvictor
内置Evictors
Evictors
默认延迟的数据会被丢弃
可以设置为不丢弃，Flink通过保存watermark + lateness time状态做到这一点
Lateness
Window
0 条评论
回复 删除
下一页
