矩阵通api方案
2024-05-16 15:06:41 0 举报
数据方案
作者其他创作
大纲/内容
分组keyby①按taskid分组并开窗开窗window①事件时间开启会话窗口②自定义触发器trigger，触发条件如下1）作品类型数据备齐2）异常作品数据达一定数量③自定义Evictor【剔除已触发计算的作品数据】注：作品数据异常，仅发送一条合并作品消息，不触发下游任务
账号基础信息msg
sink()合并作品消息
合并账号msg
sink()作品评论任务
window()会话窗口
sink()评论结果表
作品基础信息作品播放数
keyby①按taskid分组并开窗window①事件时间开启会话窗口②自定义触发器trigger，触发条件如下1）账号类型数据备齐2）异常账号数据达一定数量③自定义Evictor【剔除已触发计算的账号数据】注：作品数据异常，仅发送一条合并作品消息，不触发下游任务
sink()作品dws表
keyby(taskid)任务分流
作品评论msg
kafka
合并作品msg
sink()合并账号消息
sink()情感分析任务
账号认证信息msg
情感分析msg
作品基础信息msg
sink()账号基础任务
账号认证信息账号基础信息
作品播放数msg
账号+作品+情感分析
sink()账号dws表
keyby①按taskid分组并开窗window①事件时间开启会话窗口②自定义触发器trigger，触发条件如下1）作品类型数据备齐③自定义Evictor【剔除已触发计算的作品数据】
sink()账号认证任务
0 条评论
回复 删除
下一页
