AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
数据流程图
2020-01-06 11:46:07
0
举报
分享方式
使用 (￥30)
流程图
流程图
模板推荐
作者其他创作
大纲/内容
sqoop同步（通过脚本）
hive开启hiveserver2
传入数据
写入
离线T+1的频率
离线频率是T+1
返回处理数据
kafka集群
IDEA
提交设置相关的提交参数
通过spark代码读取外部数据源（或使用JDBC读取）hive的数据，（该代码含封装的算法代码）
调度平台
传入机构数据
机构表
spark集群
读取
hive的新机构表
hive或hbase
实时
实时调度JAR的脚本
oozie调度平台
传回数据
OGG
提交代码，并设置相关参数
算法代码部分
实时调度
通过sparkstreaming代码处理kafka传入的数据，（该代码含封装的算法代码）
oracle
overwrite
作为生产者对接到kafka
机构表数据
离线
spark代码部分
收藏
立即使用
数据流程图
理想星空
职业：暂无
去主页
Collect
Get Started
数据流程图
Collect
Get Started
订单数据流程图
Collect
Get Started
获取数据流程图
Collect
Get Started
【系统分析】数据流程图DFD（数据流图）
评论
0
条评论
下一页
Document
