AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
数据收集分析架构
2021-12-08 16:15:15
2
举报
分享方式
使用 (￥3)
数据收集分析的架构设计
架构
数据
模版推荐
作者其他创作
大纲/内容
Hive数仓
ODS
业务埋点
Flink实时计算
数据采集1. Canal 实时采集 MySQL Binlog 到 Kafka2. 离线数据可使用工具 Sqoop / DataX 导入到HDFS3. 埋点数据可使用Log Appender实时写入Kafka
Flume（日志采集）
实时/离线计算
数据源
Sqoop（ETL）
YARN资源管理
应用数据
关系型数据库
Spark内存计算
StarRocks
日志文件
DWS
数据采集
ZooKeeper 资源协调 / 数据治理
ClickHouse
Redis
MySql
数据存储
HDFS
MR离线计算
Canal
数据存储1. 元数据的存储可通过ETL与数据源解耦；2. Kafka可作为实时数仓的ODS使用；3. 离线数据导入作为离线计算的数据来源，可选择分布式存储
HBase
ES
Kafka消息队列
DWD
统一访问接口
收藏
立即使用
数据收集分析架构
LC
职业：暂无
去主页
Collect
Get Started
APP信息收集模块
Collect
Get Started
大数据收集分析处理
Collect
Get Started
数据采集分析大平台架构
Collect
Get Started
数据智能分析平台技术路线
评论
0
条评论
下一页
Document
