Hadoop Program
2016-09-19 19:16:29 0 举报一个简单的Hadoop离线项目流程
作者其他创作
大纲/内容
调用后台
sink: Kafka
实时处理模块：storm、spark streaming
日志收集主服务器
MapReduce
MySQL
JS SDK
ipad SDK
sink: avro
ETL补全数据存储服务器
Sqoop
Nginx服务器n
Flume n
后台
HBase
BootStrap+html+css+js+highcharts
Nginx服务器2
Flume 2
Spring MVC + MyBatis
Flume 1
Write
Nginx服务器1
对外接口返回结果：json格式
channel: file
souce: exec
HDFS
读取Hive分析结果
Flume主服务器
数据展示
ETL操作
ETL结果数据
Hive
用户访问
android端
hdfs中的日志文件
Read
android SDK
ios端
Flume备用服务器
source: avro
sink: hdfs
将Hive分析结果存储至mysql
Ngix入口服务器
PC端
Nginx热备
日志收集备用服务器
IOS SDK
ipad端
channel: memory
后台收集 SDK
sink group:failover
收藏
0 条评论
下一页
