5.17数据问题排查
2016-05-18 16:49:50 2 举报
在5.17数据问题排查过程中,我们发现了一些关键问题。首先,部分数据的录入存在明显错误,可能是由于人为操作失误或系统故障导致。其次,数据更新的频率不稳定,有些数据长时间未得到更新,影响了数据的实时性和准确性。此外,我们还发现数据之间的关联性存在问题,某些数据之间应该存在一定的联系,但在系统中并未体现出来。为了解决这些问题,我们建议进行数据清洗,修复错误的录入数据;优化数据更新机制,确保数据的实时性;同时,对数据之间的关联性进行深入分析,以提高数据的可用性和价值。
作者其他创作
大纲/内容
日志文件不全
解决:1.2独立上传,拷贝过程增加休眠时间(3min),拷贝完了分别上传
05.17数据平台数据未展示-问题排查
风险点:怀疑数据增大导致数据没有写完就执行上传任务,最后一行的记录就会缺失部分数据,导致很多任务失败,此次修改只是增加两个任务的时间间隔,根本上解决要从程序上控制两个任务的执行顺序。
ETL过程计算
导致根任务运行失败,导致子任务在等待运行状态,任务阻塞
服务器访问日志2
服务器访问日志1
任务上传延后:00:30改成01:11
调度任务
Start
通过调度任务把合并后的文件放到odps的access_log里
17号的数据未展示出来
我们的服务器
nginx
问题:合并的文件不是日志1和日志2的集合;合并文件过程出现异常

收藏

收藏
0 条评论
下一页