数据收集分析架构
2021-12-08 16:15:15 2 举报
登录查看完整内容
数据收集分析的架构设计
作者其他创作
大纲/内容
Hive数仓
ODS
业务埋点
Flink实时计算
数据采集1. Canal 实时采集 MySQL Binlog 到 Kafka2. 离线数据可使用工具 Sqoop / DataX 导入到HDFS3. 埋点数据可使用Log Appender实时写入Kafka
Flume（日志采集）
实时/离线计算
数据源
Sqoop（ETL）
YARN资源管理
应用数据
关系型数据库
Spark内存计算
StarRocks
日志文件
DWS
数据采集
ZooKeeper 资源协调 / 数据治理
ClickHouse
Redis
MySql
数据存储
HDFS
MR离线计算
Canal
数据存储1. 元数据的存储可通过ETL与数据源解耦；2. Kafka可作为实时数仓的ODS使用；3. 离线数据导入作为离线计算的数据来源，可选择分布式存储
HBase
ES
Kafka消息队列
DWD
统一访问接口
0 条评论
回复 删除
下一页
