aladdin_crawler
2020-02-25 19:53:06 0 举报aladdin crawler
作者其他创作
大纲/内容
vsearch_album_link
kafka consumer可能包含的参数：(1) query(2) album_group_id(3) album_group_url(4) in_url
url中解析出mp_aid
abase
vsearch_album_group
类型是album
更新数据库
query不为空
类型是series
yes
album_group_url不为空
未过期
url：http://openapi.m.so.com/web?q={query}
获取query查询结果
album_group_id不为空
abase key：content/video/compass_data/aladdin/daily_series/{date}
更新redis
获取album_group_url
no
通过redis设置过期时间，key格式：search_log_crawler/album/{mp_aid}
series meta写回abase
通过360搜索获取series的信息
获取album group item
agid
跳过
调用服务：content.crawl.album_extract参数：album_group_url
ye s
vsearch_album
解压message参数
收藏
0 条评论
下一页
