登录免费注册



大数据平台架构

首页  流程图  详情



大数据平台架构

2020-03-30 16:56:06   4  举报





大数据平台架构

大数据平台架构

大数据

大数据架构

大数据平台

大数据框架

模版推荐

作者其他创作

大纲/内容

...

用户

基础组件

MapReduce/Tez

日常运维(批量跑/业务管理/转移 owner

权限管理（Apache Ranger）

Airflow Worker 1

Gitlab

实时分析( Spark)

Restful API

任务测试分布式(多台 worker)

实时收集日志到 Kafka

预测展示&报警

全局DAG(上下游分析)

外部系统

UI

基础监控

服务层

资源文件分发(git&rsync)

Spark

预测监控

HBase

Redis

资源管理(db配置/变量)

离线数据同步DataX

MySQL

负载均衡&HA

预测任务运行情况(失败?超时?)

Masterl监控

模拟未来一段时间调度

构建 airflow脚本

ElasticSearch

大数据平台架构

Hive导出邮件

配置中心Apollo

Http Server(gunicorn)

Kafka

Worker监控

临时查询/导数据

调度层

Agent管理(执行命令&查看日志)

Cerley

元数据Meta

权限管理

用户权限管理

Binlog同步DataY

HDFS

Airflow Scheduler

展示&报警规则触发

监控

Hive导出ES

告警Alert

日志监控

Airflow Worker N

任务生命周期管理(创建/测试/发布)

Hive

 Collect

Get Started

CTP量化交易平台架构

 Collect

Get Started

大数据平台架构图

 Collect

Get Started

大数据平台架构

 Collect

Get Started

大数据平台架构













评论

0 条评论

下一页

Document