采集平台
2018-04-23 16:14:52 33 举报采集平台
作者其他创作
大纲/内容
爬虫系统
Redis
作业规则
离线引擎
数据存储
流程配置
路标网
多源数据
流程发布
采集组件
系统管理
数据采集
集群管理
实时引擎
猪八戒网
用户管理
多平台、多终端、分散、种类多样、差异大
作业执行
任务管理
ES
猪八戒平台数据
Mongo
任务调度
File
mysql
采集报警
第三方平台数据
其他数据
平台化、自动化、快速部署、统一管理
任务监控
竞品数据
大数据采集平台
政府公开信息
天蓬网
企业信息
Hadoop
采集监控
爬虫引擎
高效、安全、全兼容为大数据应用提供支撑
手猪
钉耙
数据清洗
权限管理
0 条评论
下一页
