crawl
2015-10-30 13:41:03 0 举报crawl
作者其他创作
大纲/内容
请求并处理数据
channel:detail:pic
启动子进程
diaries表
分页列表入队列
NO
图片下载处理
pop子帖入口文件
YES
日志列表download
channel:detail:list
pop子帖分页
子帖入口处理
子帖写入mysql
channel:diary:pic
主贴数据写入mysql
子帖图片入队列
主贴图片队列是否取完
子帖入口链接写入队列
封面图写入队列
子帖列表list
日志列表timer
details表
日志分析处理
NO，取主贴图片队列
channel:detail:url
YES，取子帖图片队列
子帖列表数据处理
子帖图片队列取完
解析子帖分页列表和子帖图片
子帖入口url
0 条评论
下一页
