数据架构图(相对通用)
2026-01-14 00:40:59 0 举报
这张通用数据架构图以 “数据流转全链路” 构建从接入到应用的数智体系:数据来源涵盖大数据(设备库、人群明细)、设备估算 / 账号关联数据及第三方权益账号;数据输入通过 CMQ、Kafka 分别承载不同来源数据,经线程池读取、Spring Cloud Stream 流处理后进入数据处理层,完成数据清洗、标签分类、人群分析等加工;处理后的数据存入多类型存储库(ES 设备库、MySQL 人群 / 标签库、Clickhouse 关联 / 估算库),并通过数据缓存层(设备标签、人群策略等缓存)提升访问效率;最终通过数据接口层向业务端(广告、媒资等)提供投后分析、人群投放等数据服务,同时配套机器学习、实时 / 离线计算、数据同步等能力支撑全流程。整体实现数据从接入、处理、存储到应用的闭环管理。
作者其他创作
大纲/内容
人群明细
设备估算数据
离线计算
业务端
广告
权益账号缓存
......
DMP端
消息
媒资
大数据
数据清洗
估算数据缓存
人群策略缓存
产品包
数据同步(ZK)
命中日志库
数据来源
<Clickhouse>
流处理(Spring Cloud Steam)
数据存储
统计分析
API数据接口
账号关联数据
实时计算
设备库
人群数据接口
<ES>
输入技术(线程池读取)
数据处理
人群投放接口
估算数据接口
估算库
标签分类
ab人群
设备标签缓存
画像数据分析
命中结果缓存
多版本人群库
人群命中接口
投后效果数据分析
机器学习
智能人群计算
第三方数据
数据接口
<Mysql>
权益账号
影视
临时人群缓存
标签库
数据缓存
微信关联数据库
Mac去重
数据输入(CMQ)
数据输入(kafka)
0 条评论
下一页