大数据平台数据流向图

数据采集FlumeSqoopPentahoNutch

分布式内存数据库Memcached + HBase + BlockCache

分布式消息队列KafKa

数据库数据

分布式文件存储系统HDFS

平台资源管理&任务调度&监控

可视化数据分析挖掘工具

实时数据流

协调&工作流Zookeeper、Oozie

大数据平台数据流向图

WEB网页

分布式计算引擎Spark MapReduce

实时交互集团数据

部署于虚拟化服务器资源池

分  布  式  计  算 & 存  储  服  务  器  集  群（X86/Power 服务器集群）

流处理引擎SparkStaream

分布式列式存储数据库HBase(支持全文索引、任意索引)

日志数据

全文索引Elastic-Search

OFFICE文件等

机器学习MahoutSpark MLlib

调度和管控应用服务系统

SQL引擎Hive SQLSpark SQL

统一安全认证&访问控制机制

主营业务五大生态系统

IaaS云资源管理平台