数据流程图
2021-04-21 19:36:03 22 举报
登录查看完整内容
哈哈哈哈
作者其他创作
大纲/内容
方法名
转化模块
复杂数据拆分
业务埋点
数据需求
各种维度数据
其他参数
数据加工
时令转换
时间的查询
监控
omega注册埋点
数据兜底
python spark 预测任务
广告数仓hive
兑换
记录文档
兑换码
用券表
领券
大数据量生产
司推乘
Y
对账
数据入HIve
订单
日期
端上埋点
城市归因
活动分组
组装模块
业务hive
回溯
司推司
效果
绑定关系
特定指标生产
filter
验证埋点
存储
ClickHouse
端上开发
活动城市
统一调度逻辑：新增任务的时候（1）参数配置启动任务，copy参数即可（2）创建数据预处理bean（3）添加组装层逻辑
宽表的拼接
数据入MQ
计算逻辑复杂
多表的聚合
小数据量生产
国家
scala spark job
乘推乘
.....
渠道礼包
DS
广告特征
行为
券表
埋点数据
N
依赖业务数据库
展现
各种数据如活动、领劵等
输出模块
数据预处理模块
产品
不同的计算逻辑启动不同的spark资源分配
ads_tree cost
支持历史3天计算、同步更新
活动规则
产出hive 视图表
活动
职业：暂无
0 条评论
回复 删除
下一页
