spider-flow
2016-08-22 15:33:49 0 举报
Spider-Flow是一款强大的流程自动化工具,它能够帮助用户快速创建、管理和优化各种业务流程。通过可视化的拖拽式操作界面,用户可以轻松地设计和部署复杂的工作流程,无需编写任何代码。Spider-Flow支持多种任务类型,如数据处理、文件操作、网络请求等,可以满足各种业务需求。此外,Spider-Flow还提供了丰富的扩展功能,如定时任务、条件判断、循环等,使得用户可以更加灵活地控制流程的执行。通过使用Spider-Flow,企业可以提高工作效率,降低运营成本,实现业务流程的自动化和智能化。
作者其他创作
大纲/内容
参数解析
Job
no
ip固定队列
创建爬虫
爬虫结束
yes
pop(IP)
队列为空
获取爬虫进度
启动爬虫
update进度
手动触发
push(IP)
总控调度
持久化
结束爬虫
get
push
计算负载
OSS图片存储
获取抓取机器列表
更新实例状态
机器关闭
爬虫启动
获取请求
抓取集群
扫描
Redis
机器启动
下载
可运行抓取机器队列
请求解析
定时触发
实例请求队列
push(request)
Mysql
创建爬虫引擎
监听当前ip队列
实例运行统计数据
调度集群
爬虫运行实例
pop(request)
保存配置化数据
async
定时
抽取
爬虫运行实例队列
请求封装
分发任务
DTS
更新运行时实例
0 条评论
下一页