春秋航空时刻表数据逻辑处理流程
2016-08-25 14:37:25 0 举报
春秋航空时刻表数据逻辑处理流程主要包括以下几个步骤:首先,从航空公司或相关数据源获取原始的时刻表数据;然后,对数据进行清洗和预处理,包括去除重复数据、纠正错误数据等;接着,将处理后的数据按照一定的规则进行分类和排序,如按航班号、起飞时间、到达时间等进行排序;最后,将处理后的数据存储到数据库中,以便于后续的查询和使用。在整个流程中,需要不断检查和验证数据的完整性和准确性,确保最终生成的时刻表数据能够满足用户的需求。
作者其他创作
大纲/内容
将该航班的记录,加入MySQL,数据来源是9C,添加时间戳
否
现有MySQL中的记录来源是9C?
匹配航班准点率数据
暂无操作
是
将该记录实时同步到Medis,替换Medis中对应记录
放弃该抓取的时刻记录,对现有MySQL的记录不做任何改动
与抓取到的该航班的时刻不同?
数据拉取系统
FTD
将抓取到的数据存储备份
对MySQL中该FTD的剩余春秋的航班记录进行遍历
现有MySQL中的记录来源是MAN?
只提取其中的航线数据,得到一份春秋值飞的航线表
MySQL航班时刻表
对现有MySQL的记录不做任何改动
现有MySQL中的有该航班?
Medis
是否更新时间戳是1天前?
将该更新记录,计入变更记录表
抓取春秋静态航班计划页面
根据FTD,抓取春秋机票预订页面,D是某1天
根据每天时段、起飞日期的远近,采取不同的抓取频率
删除Medis中该航班的记录
春秋的全部航班时刻
对本次数据不做操作
是否和上一次抓取的数据完全一致
删除MySQL中的现有该航班记录
航班时刻变更记录表
数据更新系统
用抓取的航班记录来更新现有时刻记录的起飞、到达时刻,数据来源是9C,更新时间戳
某个FTD的全部航班时刻,D是某1天
提取MySQL中对应FTD的记录
对抓取的春秋的航班数据,逐个航班遍历
0 条评论
下一页