AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
数据采集和预警
2019-08-06 15:09:53
0
举报
分享方式
仅支持查看
普数
数据采集和预警
模版推荐
作者其他创作
大纲/内容
SparkStreaming
云数据库
1小贷请求数据
状态4
MQ
客户
消费
......
收到监听消息，把文件分批次落地到数据库
小贷
保存一份原始数据
Y
对status路由
Hbase/kafka
客户接口
Hbase（集市）
3根据获取的请求，到相应的接口获取数据
数据文件.data
数仓Hbase
普数接口对接：异步
预警配置表
Flume
发送邮件
数据请求接口
普数爬虫
5消费数据
判断返回数据是否正常
1消费
Kafka type + sid
4产出指标
kafka消息
3返回数据
收到监听消息，把数据抽取到数据仓库
数据采集
2.数据上传完毕上传校验文件
2.数据上传完毕调用通知接口
通知接口
落地到hive错误库
shell 传参
2普数异步尝试3次请求数据
SparkStreaming（逻辑计算）
1.上传数据文件
数仓离线
更新云数据库
审计（Hbase和Kafka）
业务系统
预警
数据仓库
风控
Kafka
发送kafka
征信
实时监控数据文件
大数据各模块发送预警消息
落地到hive
2收到接口响应
Hbase（ODS）
N
校验，生成校验结果字段status
触发文件落地到Hbase/kafka
Kafka（预警信息）
1发送请求
方案1：监听校验文件，按批次落地数据
触发数据抽取ETL
合成json
普数接口对接：同步
指标库
2普数请求数据
普数接口对接
FTP服务器
普数云数据库对接：
Kafka（数据）
通知接口规范
1.上传数据
2获取请求
2获取配置表校验
状态1
方案2：实时监听数据文件
预警消息规范：{\"title\
3返回数据到Kafka
kafka数据
普数FTP对接：
检验文件.checksum
实时处理
收藏
立即使用
数据采集和预警
Mr king
职业：暂无
去主页
Collect
Get Started
预警流程1
Collect
Get Started
数据采集分析大平台架构
Collect
Get Started
库存预警
Collect
Get Started
设置预警参数
评论
0
条评论
下一页
Document
