用户画像架构升级
2020-09-24 11:12:23 1 举报
登录查看完整内容
架构图
作者其他创作
大纲/内容
.....
kafka
post-process
实时统计层
用户特征
数据接入并且转换成pb
手Q的uu
flink
微视推荐的uu
rpc
通过一致性hash或者ip+port方式来做缓存
uu服务
用户特征层
定位是缓存，兼顾部分计算。通过feature_name来做特征的限流和权限控制
端数据流
process
trace平台
My SQL
pre-process
接入转换层
监控&报表主要监控指标：数据量、处理延迟
其他业务的uu
规则引擎，已经注册并且符合条件的数据才能进入
存储文件/redis/tdbank/hdfs
HDFS
由于历史原因，已使用rpc的允许继续使用rpc，后续新数据接入统一使用kafka，便于流控
一期考虑到容量问题，vip用户才进trace
redis
0 条评论
回复 删除
下一页
