分布式爬虫框架
2017-08-20 14:55:36 16 举报分布式爬虫架构（新手），采用redis,rabbitmq完成部分功能
作者其他创作
大纲/内容
UrlGetter
BloomFilter去重
mysqlorotherdatabases
ProxyMoudleIp代理模块
去重的位信息存储在redis中
UserAgentMoudle生成模块
Consumer
Producer
Rabbitmq
收藏
职业：暂无
0 条评论
下一页
为你推荐
查看更多
