ftp_update_status任务流程图
2022-04-06 19:27:18 0 举报
梳理ftp_update_status任务执行过程
作者其他创作
大纲/内容
根据入参recent_days,渠道的筛选规则和ftp_file_status_tab表中对应文件处理状态筛选出需要处理的文件(list)
ftp_update_one_status
获取对应渠道的ftp地址和账号密码,连接ftp服务器,进入对应目录下,获取所有文件名
是
结束
celery_task.ftp_celery_tasks.ftp_update_status按照传入的channel_id,任务类型和天数获取对应的ftp文件并解析成轨迹信息存到tmp表中
是否需要上传文件到S3服务器
开始
上传文件到S3服务器
为筛选出的每个文件发送异步任务celery_task.ftp_celery_tasks.download_and_parse_one_file
解析文件内容为多条tracking记录并存入tmp表,然后更新ftp_file_status_tab表中对应状态
发送异步任务celery_task.ftp_celery_tasks.ftp_update_one_status
根据文件名下载从ftp服务器下载文件到本地
ftp_update_status
download_and_parse_one_file
否
0 条评论
下一页