数仓迁移
2017-03-03 15:23:40 0 举报数仓迁移是指将一个数据仓库中的数据迁移到另一个数据仓库的过程。这个过程可能涉及到数据清洗、转换和加载等步骤，以确保新数据仓库中的数据与旧数据仓库中的数据保持一致。数仓迁移通常需要仔细规划和执行，以确保数据的完整性和准确性。在迁移过程中，可能会遇到各种挑战，如数据格式不一致、数据质量问题等。因此，进行数仓迁移时需要采取适当的措施来解决这些问题，以确保迁移过程顺利进行。总之，数仓迁移是一个复杂而重要的过程，需要专业的技能和经验来完成。
作者其他创作
大纲/内容
数据校验
urs账号额度渠道create_timeupdate_time
update(额度调整)
epay（location : /user/epay/datawarehouse）
临时调额
数据基本统计
add
已激活数据
只读
离线调额数据
读写
白条白名单筛选
离线库
新增(add)
增加m_user_id
1. 提交数据支持添加备注2. 拉链表存储，方便回溯3. 统一的更新接口(风控，麒麟，貔貅)4. 更新数据需要记录日志5. 反馈日志，异常数据反馈后人工审核6. 临时调额需要支持有效期，到期后自动rollback
审批
考拉严选用户
Done
数据校验：数量平均额度分位数最大额度最小额度
风控接口麒麟实名接口貔貅接口
monthly
当前问题:1. 一致性问题：数据不同阶段存储在不同数据库(在数据更新时尤其严重)2. 临时需求，手动个例修改导致数据不一致3. 操作繁杂，易出错 ： 目前方式为文件传输，手动操作，容易出错4. 缺少数据校验，没有反馈机制；5. 无法回溯，无法快速rollback；6. 不能即时操作，不能满足一些业务(例行调额，临时调额)需求
ODS-wyjr
考拉用户调额
offline标签（HDFS）
内部员工
风控数据库(@chenjie)
数据校验(数量、额度、分布)
麒麟数据库(@junqi)
小贷
例行定期调额
按需
提交数据
理财
貔貅数据库(@tengfei)
weekly
update
调额需求：A.例行调额：\t1. 信用分更新；\t2. 各商户消费情况更新；\t3. 贷后表现（累计借款，累计还款，收益表现（用户价值）），申请制后需要考虑身份维度\t4. 员工（新增&更新）\t5. 用户主动申请(预约)\t6. 用户主动附加材料提额 (申请制，优先级低)B.临时调额：\t1. 特定商品临时调额(优先级低)\t2. 批量(活动)临时调额\t3. 用户申请临时调额(优先级低)
当前白名单流程：
ODS
定期cron
wyjr（location : /user/wyjr/datawarehouse）
ODS-epay
贷后管理系统(调额系统流程)
数据同步方式：1.数据(sql)文件？2.提供统一的多系统同步的调额接口
支付
T+1
上线
新增数据
DM
数据源 :联通（Finance）
拉链表/接口更新
补充m_user_id字段，生成可调整的用户最终数据，并反馈数据
分别统计整体与增量提交数据的：1. 新增：数量，平均额度，分位数，最大额度，最小额度；2. 更新：数量，平均额度，分位数，最大最小额度，额度更新比例等；
DWA
白条统一的同步接口（opt=insert/update&account_id=x&credit=y&type=z）
准入模型额度模型信用分模型
离线库额度数据拉链表?
离线数据
DWD
0 条评论
下一页
