爬取数据流程图
2016-03-21 15:42:40 54 举报
爬取数据流程图主要包括以下几个步骤:首先,通过HTTP请求向目标网站发送请求;然后,解析返回的HTML或JSON数据,提取出我们需要的信息;接着,将这些信息存储到本地数据库或文件中;最后,根据需要对数据进行清洗和处理。在整个过程中,可能会遇到各种问题,如网络连接问题、数据格式问题等,需要进行相应的错误处理和异常处理。此外,为了避免对目标网站的过度请求,我们还需要在爬取过程中设置适当的延迟时间。总的来说,爬取数据的流程图反映了一个完整的数据获取和处理过程。
作者其他创作
大纲/内容
timer1
没有
timer2(定时邮件通知)
登录成功
爬取号码流量
有
遍历启动任务
timer3(定时爬取号码状态)
数据处理
查询数据库导入的号码表
是否有此号码
有变化
缓冲本地号码列表
列表数据进行分组
更新数据
按10个号码1组
登录失败
发送请求
Start
休眠1秒
新建日志表
登录泉州电信平台
检查是否有本月的记录日志表
插入
任务定时每1小时执行一次
登录平台
停止任务
没有变化(每分钟查询一次)
0 条评论
下一页