计算标签
置换OneId
mysql
5.删除过期数据
用户行为参与人群计算
提供oneId一个oneId代表一个人
5.计算人群
一.Audience模块间的关系
Tracking表
2.采集页面埋点用户行为数据(每小时的大宽表)tracking_log_base
7.投放人群包
前后端交互
二.平台设计(针对每个模块)
3.执行spark-sql/spark-subit程序
接口服务
1.getTask
通过presto/impala即席查查询
Task表
置换出原始设备id
Hive表:span style=\"font-size: inherit;\
report表
参与计算人数预估(Presto引擎)
hive
6.生成下载生成人群包文件
准备标签原表(做标签用)需要按照规范指定格式
将待执行的任务状态改成执行中
根据标签计算人群
4.计算Tag(标签)
指定id和idType进行idMerge操作打通关系对
元数据存储
2.修改状态
存放每个Task的元信息span style=\"font-size: inherit;\
oneIDMergeEngine打通各个id的关系
明细表(通过指定sql导入指定分区)
1. 按顺序执行第一步生成的spark-sql(包括明细和报告的数据)2.根据参数文件执行spark-submit程序
前端
模块包含: 1.idMapping/idMerge2.tag(标签)3.segment(人群计算)4.segmet_download(人群下载)5.segment_split(人群拆分)6.全景资料每个模块的计算都参考下面的逻辑进行设计
