日志数据链路图_新老链路对比
2023-06-30 16:24:16 0 举报11111111111111111111111111111111
作者其他创作
大纲/内容
分割线下是新版日志链路
job3打平数据后关联维表根据不同日志类型写入不同kafka
dwd.fct_logs_customer_exposure_wide_rt
kafka(wxapplog_v3)
pro_rectangle（华为云）门店端和会员端共用一个topic
kafka（origin_fct_logs_customer_view_rt）
job4读浏览数据写入hive的dwd表
job4读kafka数据写入hive的dwd表
job6数据打平转换任务
此门店日志流向未上线，还是直接上报到storelog，未到pro_rectangle
dwd.fct_logs_customer_click_wide_rt
kafka(wxapplog_v3_hw)
hive(dwd)
kafkapro_rectangle
job3关联维表将数据写入kafka
job10读曝光数据写dwd表
kafka（storelog）
kafka(topic_fct_logs_customer_exposure_wide_rt)
kafka（origin_fct_logs_customer_exp_rt）
job5读点击数据写入hive的dwd表
job2打平数据放到下游topic方便flinksql计算
job1flink同步会员端数据到华为云
分割线之上是老版日志链路
job4门店日志写dwd表
job2门店日志写ods表
下游流处理...
kafka(origin_fct_logs_store_wide_rt)
hive（dwd）
job7关联维度表打宽任务
hive(span style=\
wxapplog_v3_hw（华为云）会员日志
storelog是门店端数据，在阿里云
kafka(storelog_flatmap)
hive(ods.t_user_store_logs)
job3门店日志关联维表任务
kafka（origin_fct_logs_customer_clk_rt）
kafka（wxapplog_v3_hw）
job7打平原始数据写ods
job2将门店端数据打平后同步到华为云
job9读点击数据写dwd表
kafka（topic_fct_logs_customer_view_wide_rt）
job1解压数据后，门店日志和会员日志分流任务
hive(ods.t_user_customer_logs)
dwd.fct_logs_customer_view_wide_rt
job1将门店端数据打平落hive表
hive（span style=\
hive（ods.t_logs_customer）
job5会员日志写ods表
kafka（topic_fct_logs_customer_click_wide_rt）
job7关联维表根据不同日志类型写入不同kafka
kafka(wxapplog_flatmap)
kafka(span style=\
job6读曝光数据写入hive的dwd表
storelog（阿里云）门店日志
wxapplog_v3是会员端实数在阿里云
job8读浏览数据写dwd表
下游批处理...
kafka（origin_kafka_logs_customer_flatmap）
收藏
0 条评论
下一页
