数据加载
2016-11-21 18:40:23 0 举报
数据加载是计算机科学中的一个关键过程,它涉及到从外部源获取、读取和解析数据,以便在计算机程序中使用。这个过程可能涉及到从数据库、文件、网络或其他数据源中提取数据。数据加载通常需要处理各种数据格式,如CSV、JSON、XML等,并可能需要进行数据清洗和转换,以确保数据的准确性和一致性。此外,数据加载还需要考虑性能和效率问题,因为大量的数据加载可能会对系统资源造成压力。因此,数据加载通常需要使用专门的工具和技术,如ETL(提取、转换、加载)工具,以及并行和分布式数据处理技术。
作者其他创作
大纲/内容
创建临时表
插入新增数据
将上一步的当前最新数据与新载入的数据进行对比,找出本次更新的部分
插入所有需要载入的数据
插入更新和新增部分的数据
数据转换已完成
End
从目标表中筛选出当前最新数据(结束日期=最大日期)
对被更新的数据条目执行“关链”操作
将上一步的当前最新数据与新载入的数据进行对比,分别找出本次更新的部分,删除的部分,新增的部分
对被更新和被删除的数据条目执行“关链”操作
对更新的部分进行UPDATE操作
将所有新载入的数据分为两部分: 更新了部分信息的数据和新增数据
0 条评论
下一页