麦记BigData架构_new

菜单数据（By 品项、活动、价格带、其他数据）@MySQL & Codis

Executor.. n

Scheduler

Task

流式Workder 1

SparkContext（Client）

菜单计算结果

3 任务分配/报告状态

获取数据

基于并行计算架构（基于JavaRDD@Spark@Hadoop）

结果存储

并行数据计算（By 餐厅）

并行数据计算（By 版本）

2 任务分配/报告状态

Executor

1 注册/注销

离线数据计算

Cluster Manager

智能计算任务/Daemon

RDD

4 任务分配/状态报告

By 餐厅/版本/活动的菜单数据@Codis & 对象存储

5 任务状态

发起

Task...n

离线Workder 1

0 发起任务

并行计算框架管理监控用户

发起计算@Daily

离线Worker...n

流式Worker...n

流式数据计算