大数据平台架构
2016-07-28 19:11:20 0 举报
大数据平台架构是一个综合性的系统,它包括数据采集、存储、处理和分析等环节。在数据采集方面,平台需要支持多种数据源的接入,包括结构化数据、半结构化数据和非结构化数据。在存储方面,平台需要提供高效可靠的数据存储方案,包括分布式文件系统、NoSQL数据库和列式数据库等。在数据处理方面,平台需要支持多种数据处理技术,包括批处理、流处理和图计算等。最后,在数据分析方面,平台需要提供丰富的数据分析工具和可视化界面,帮助用户快速发现数据中的价值。总之,大数据平台架构是一个复杂而又关键的系统,它为企业提供了强大的数据支持,帮助企业实现数据驱动的业务创新和发展。
作者其他创作
大纲/内容
其它日志
高
600元/单
Learning To Rank
SQL
MySql 集群
存储集群
Hadoop集群
600
云商城
资源调度和管理(Mesos/YARN等)
图计算
数据高速通道
云订货+云小店
低
离线计算引擎 MapReduce
存储引擎 HDFS
2300元/单
业务系统
Spark集群
满折
团购
广告点击率预估
机器学习
满金额赠
Redis 集群
云订货
云商城+云小店
平均每天交易频次
资源调度和管理 YARN
积分
800
1244元/单
流式计算
400
数据收集系统
数据库集群
Spark
注册送预存款
满减
业务层
MongoDB集群
用户日志
用户意图预测
数据统计分析
线上下单顾客平均客单价
200
满数量赠
1060元/单
0 条评论
下一页