idoo数据架构

离线批量拉取sqoop

数据表现应用层                                                                                                                                                                    

资源调度和管理 YARN

调度平台

数据计算层

DB 1

log

实时抽取flume

可视化数据分析

DM集市数据

外部API

数据挖掘

kafka

ODS全量数据

离线计算MapReduceSQL

机器学习

系统运维监控

数据分析层

业务系统数据

DB 2

数据来源层                                                                        

实时计算sparkstremingflink

EDW主题数据

DB n

R语言，Python数据分析

数据存储层