大数据架构图
2020-07-08 18:37:35 1 举报
登录查看完整内容
大数据架构图+spark,flink,hadoop架构图,几个大数据架构图合在一起的
作者其他创作
大纲/内容
运维自动化
ZKFC
Task
DataNode
Worker
写入EditLog
TaskSetManager
指标管理
DQC 数据管理中心
2启动App Mater
kafka
拉取文件
TaskScheduler
BlockTransforService
数据交换平台
Impala
Kudu
Clinet
Driver
TaskSlot
TaskSet
注册
1提交资源申请
Flink处理流程
zeppelin
DM
Quartz
JounalNode
APP服务层
NameNode(StandBy)
doris
DAG
ExecutorBackend
YARN
zookeeper2
Quorum Journal Manager
心跳
Debezium
数据平台
提交Application
读取EditLog
Executor
kylin
zookeeper1
数据访问权限管理
NodeManager
任务调度中心
TaskManager
pulsar
接口
数据安全管理
数据服务
开发工具
Tensorflow
flume
HBase
ExecutionGraph
MySQL/oracle/埋点数据/爬虫数据/平面文件
资源请求/响应
sqoop
DWS
logstash
管理平台
数据报表
Airfellow
YarnFlinkResourceManager
Standalone：MasterYarn：ResourceManagerMesos：Master
定制报表
启动Executor
reduce task
Datax
RDD
数据平台API
运维管理
数据仓库
DAGScheduler
公共指标库
SparkContext
juptyer
计算层
Hive
HDFS
ApplicationMaster
Alluxio
Flink Program
Hadoop架构
结果文件
HeartbeatReceiver
NameNode(Active)
业务API
ODS
DWD
metadata
Spark
stage2
superset
Client
YARN/MeSos/Kubernetes
数据质量
告警监控
map task
zookeeper集群
stage1
Azkaban
工具层
采集层
ETL_job
4启动Executor
Flink
JobGraph
数据集成
开发平台
SchedulerBackend
RDD Graph
Spark处理流程
JobManager
存储层
presto
zookeeper3
启动Task
ResourceManager
Cluster Manager
提交任务
快速报表
MapOutPutTrackerMaster
API层
数据产品
MapStatus（文件位置信息）
StreamGraph
3申请Container
AD_Hoc
元数据管理
Yarn ResourceManager
Storm
Spark Driver
Oozie
0 条评论
回复 删除
下一页
