车险爬虫框架业务流程图
2021-03-06 11:22:00 6 举报
某车险科技公司比价出单平台,公司已解散,本人在职时整理的框架与业务流程图
作者其他创作
大纲/内容
支付
数据访问层隔离
报价
连接中心:netty
dubbo
api:req/res/util/
技术需求
验证码
redis 集群
controller读取之前数据库存储的id
Redis Cookies
httpclient爬虫
A代理公司电脑上的浏览器
业务
common:mapper/entity/dao
controller
查询
吉林a代理
返回model
zk注册中心 集群
controller1、调用对应的业务模块2、返回抽取的模型
HttpResponseBody
核保
C代理公司电脑上的浏览器
更新系统
保单查询
登录
北京b代理
rest(spirngmvc)
A代理公司的账号
续保
文件处理服务器处理图片、文件、
socketServer(netty)
未定义爬虫逻辑的普通网站默认处理
其他(支付/保单查询...)
代理系统:北京a代理
A工号每次在不同电脑浏览器登录后把cookie保存到服务器redis中
页面提交url
现实中a代理提供的电脑就只可以用a的账号进行投保一个浏览器对应一个工号的投保流程
service1、调用爬虫项目2、调用文件服务器存储3、存储数据库
webmagic爬虫抽取结果模型
数据库-url数据表idurl
用户确认后提交
B代理公司电脑上的浏览器
数据库-用户链接关系表idurl_iduser_id
公共业务
功能
内网vpn
HttpRequestHeader
a代理公司电脑上的浏览器
数据中心
各种网盘的内容截图
web-http-api(公共api)HttpRequestHeader 各网站的请求头HttpResponseBody 各网站能返回的数据字段
安全
业务网关/功能聚合
调取model
各大网站不同的爬虫处理逻辑
service存储用户链接关系表
A账号
工号:
0 条评论
回复 删除
下一页
