数据抽取过程
2017-03-07 09:33:15 0 举报
数据抽取是数据仓库、数据集市和数据湖中的重要步骤,它是从各种源系统中提取所需数据的复杂过程。这个过程涉及到识别和选择数据源,设计数据抽取程序,以及处理可能出现的数据质量问题。首先,数据工程师需要确定哪些数据源对分析最有价值,然后编写脚本或使用ETL工具来自动化数据抽取过程。在数据抽取过程中,可能需要进行数据清洗和转换,以确保数据的一致性和准确性。最后,抽取的数据被加载到目标数据库或数据仓库中,以供进一步的数据分析和报告。
作者其他创作
大纲/内容
BIEE展现
烟叶
数据装载
数据仓库|数据集市(ORACLE)
数据转换
..........
redis-slave
饼图
内管主题
各个业务系统数据库
安全管理
ODI服务(ETL过程)
.......主题
营销
烟叶主题
零售户
专卖内管
JDBC
专卖主题
卷烟主题
数据抽取
持证亮证
.......
redis-master
条形图
折线图
柱状图
改进后的方案,查询数据不再直接从数据库直接查询,而是从redis中获取,redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,每天当数据加工完成以后,通过程序自动调用过程将需要展示的数据提前加载到内存,当用户需要提取数据的时候,只需要从内存中获取,只有当内存中没有数据的时候才通过JDBC到数据仓库中提取数据,之后放入redis,下一次获取的时候直接从内存中获取。
缓存Redis集群
指标
完成进度
完成量
播种
出苗
小十字
......
烟叶等级
0 条评论
下一页