产品开发项目建议流程V1.0
2018-09-07 09:52:50 0 举报登录查看完整内容
大数据项目从前到后整体设计
作者其他创作
大纲/内容
提供接口供调用
可做一些聚合操作，完成常规数据展示
如果需要对数据进行一个预处理
确定接口元素信息
生成接口
JDBC连接池采用阿里druid，可查看连接情况
java后端根据任务开启一个接口，将数据传入接口中
如果对原始数据不做处理，此时可以将数据直接落盘
测评环节
整体压力测试
循环往文件中放入数据，Flume能够收集到这些数据
上层接口调用
对接手机端
后台记录调用情况
提供接口文档(swagger2、sosoapi)
kafka将数据放入对应topic中
有些热点数据，需要经常进行图表展示，将数据存入elasticsearch中
预处理之后将结果落盘
分水岭
可在接口层中嵌套一层权限管理，用来控制接口的访问情况
Flume设置sink，Flume根据sink设置将数据向下级发送
数据收集
提供对内的一些接口
压测
此前步骤完成
产品使用到的框架图
可单起一个项目，专门用来调接口生成报表
完成接口大致汇总
提供接口地址
使用spring cloud完成接口开发
数据处理
数据预处理
程序将数据放入指定文件夹中
sink下级一般设置kafka
此时可以采用Flume收集传入的数据
跟需求方对接接口问题
接口完成过程中采用spring cloud，搭配ELK使用，收集日志
收藏
收藏
0 条评论
回复 删除
下一页
