登录功能MVP结构图
2017-04-14 17:37:56 0 举报MVP登录功能实现类图
作者其他创作
大纲/内容
3. 在将任务信息保存到MySql表后，就会用Runtime，process等API去执行一个封装了spark-submit命令的linux shell脚本5. 提交之后会设置 task 的开始时间6. 监听到spark作业结束以后就会设置结束时间，同时会维护作业状态
本项目只专注于 Spark相关，J2EE相关只做了解。
spark standalone集群上运行，yarn集群上运行
2. 将用户提交的任务信息插入到MySQL中的task表
6. 在spark作业运行过程中或运行结束，会将统计分析结果数据插入到MySQL值班对应表中，以供J2EE平台在后续展示数据
使用者，可以通过J2EE平台提交各种不同类型的统计分析任务，查询自己他提交的任务列表，查看每个任务的执行结果的图表和报表的展示页面
J2EE 平台，负责向用户展示任务列表，任务创建页面，任务结果展示页面
4. 提交jar到spark集群运行
8. J2EE平台从MySQL业务表中读取数据，封装为对应的JSON数据格式，并返回前端到页面展示（表格，图表）。
5. spark作业运行的第一步就是从MySQL的task表中读取本任务需要使用的一些筛选参数。
linux shell脚本，和J2EE平台部署所在的linux机器一起封装了spark-submit shell脚本
MySQL数据库，包含各种业务需要使用的表
7. 任务结束后，点击对应链接，查看结果数据的展示图表和报表。
1. 提交一个创建任务的请求，进入任务创建页面，最后提交任务
终端/用户
和shell脚本在一个linux机器上的spark作业的jar包。
0 条评论
下一页
