AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
项目规划
2019-01-21 11:23:11
0
举报
分享方式
使用 (￥5)
hadoop项目规划
hadoop 大数据
模版推荐
作者其他创作
大纲/内容
Spark Streaming
外部引用
APS
API
Web
缺点：组件繁多，对技术要求较高，对于非实时分析kafka步骤可省略，直接采集数据写入hdfs即可
数据采集
业务流程图
前端展现
处理分析
逻辑加工分区存储
数据存储
Mysql配置
Hive/Impala格式转换
维度关联分区存储
优点：采用分布式系统配合传统数据仓库模型，层次清晰，处理分析逻辑严谨。采用hbase及impala技术，实现初始数据与中间层数据的即席查询，明确每一层级数据变化情况。
DWD
Hive on Spark数据分析
Sqoop
架构图
HDFS
JAVA
HBase供实时查询
过滤DWD取7天数据
Kafka
EDW
DWS
外部表hdfs引用
RDBMS关系型数据库
Oozie任务调度
Flume采集
收藏
立即使用
hdfs存储
收藏
立即使用
MapReduce流程
收藏
立即使用
Spark Job
收藏
立即使用
项目规划
PO_904628
职业：本科
去主页
Collect
Get Started
产品规划脑图
Collect
Get Started
出游规划
Collect
Get Started
市政管线项目规划审批流程图
Collect
Get Started
成本规划
评论
0
条评论
下一页
Document
