大数据数仓技术架构
2021-02-18 10:45:25 1 举报
登录查看完整内容
大数据离线数仓架构与实时数仓架构，主流开源技术。
作者其他创作
大纲/内容
st报表层
准实时sparkstreamming
dm
kafka集群
mysql 业务数据维度数据
数据备份机制
flume行为日志
flink 实时计算
dwd
实时指标
canal服务端伪装mysql从节点
hdfs数据落地
canal客户端
维度数据K :V
kudu(dw层)
spark core 过滤，拼接
impala(olap)
用户行为数据 app埋点
olap:kylin即席查询
增删改同步到redis
redis集群
应用层
数据质量监控
flume集群
ods
sqoop维度数据DataX
dw
0 条评论
回复 删除
下一页
