登录免费注册



渠道监测大数据

首页  流程图  详情



渠道监测大数据

2016-12-21 10:55:05   0  举报





仅支持查看

大数据系统后台

大数据系统后台

模版推荐

作者其他创作

大纲/内容

设置分页

爬取渠道分页地址

查询数据库

查询系统中分页查询地址

（展示渠道配置规则）

系统后台操作流程

数据库

获取AppID

分页查询地址

APP详情地址

爬取数据入库

发送 ID 到AppID 池

APP详细信息

下载后移除AppID的MD5

渠道爬取查询链接配置

数据入库

（正则匹配，包含编辑、提交、测试）

（下载服务器）

下一页

根据分页地址获取详情地址

(Active MQ)

爬取分页配置

用户登录

系统爬取业务流程

提交（数据入库）

点击查看详情

查询系统中配置的渠道

测试（爬取渠道分页数据）

更新APP信息

测试（爬取渠道数据）

保存并解析应用APK包

下载未下载和已经更新的APK包

10秒钟之后启动线程

（正则匹配与对应渠道规则设置）

爬取渠道APP

AppID池

如果当前AppID的MD5 不存在，添加

(redis)

循环查询

渠道管理

渠道抓取详情信息配置

AppID的MD5池

请求获取AppID

立刻启动线程

渠道

启动系统

 Collect

Get Started

大数据混合分层架构

 Collect

Get Started

大数据系统架构

智慧数字电力大数据平台总体架构

 Collect

Get Started

智慧数字电力大数据平台总体架构

 Collect

Get Started

与大数据同行读书笔记













评论

0 条评论

下一页

Document