商品库的采集流程
2021-08-27 14:35:50 15 举报
目前包含4个平台数据的采集
作者其他创作
大纲/内容
接口输入得到item_id
淘宝
item_id存入队列（product:spider:pdd）
存入数据库(product_basic，product_basic_params，product_price)
拼多多
开始
item_id存入队列（product:spider:list）
item_id和优惠卷信息存入队列（product:spider:taobaolianmen）
拉取接口数据得到item_id和优惠卷信息
读取队列访问接口获得优惠卷链接（product:spider:pdd）
调用tb_detail进行爬取具体信息
拉取接口数据得到item_id
淘宝联盟
读取队列（product:spider:list）
首先访问大淘客接口拿到部分字段，如果大淘客接口没有，则访问淘宝天猫单品页面，拿取需求字段
拉取接口数据得到item_id和其他具体信息
大淘客
0 条评论
回复 删除
下一页
