公众号文章抓取
2017-11-30 18:19:31 7 举报公众号文章抓取流程
作者其他创作
大纲/内容
从redis队列取待抓取的任务
Y
N
报名截止之前？
报名取消状态图
持久化到数据库
请求历史页内容，跳到下一个公众号历史页等
公众号文章历史URL
已报名
java 服务
java定时任务
待抓取任务队列
未报名
存待抓取任务到redis队列
mysql数据库
报名状态图
已取消报名
anyproxy
scrapy
存待抓取的图片任务到redis队列
抓取文章及图片，存储
html文件、图片存储
redis
数据加工
手机模拟器入口请求
0 条评论
下一页
