导数工具流程
2018-05-07 18:32:02 7 举报导数流程
作者其他创作
大纲/内容
核心
请求元数据接口
4，数据迁移 加密：导数，把生产上数据表下的数据导到沙箱明文数据存放的hdfs路径下
安全
返回结果
运营平台
请求安全表赋权接口，传库名表名，集群账号
前期准备
数据迁移准备：数据表加工，是由核心业务人员加工处理好生产上的数据表和数据。数据表通过元数据接口返回给迪科。
删除临时表，传库名表名
注：如果迁移的数据是从其他系统迁移过来的，生产上已经有数据和表，直接导到沙箱数据表中即可。直接选择表和字段导入。
其他系统导的数据
返回数据表，字段信息
6，数据表赋权：表分区修复后和底层文件修改后，需要安全给沙箱数据表赋权
请求安全沙箱hdfs创建接口，传表名，库名，部分hdfs路径，集群账号（明文和密文路径）
5，数据表分区修复，文件权限修改：安全数据加密结束后，需要核心修复表分区和修改底层文件权限
请求核心表分区修复接口传表和库名
3，数据迁移准备：请求核心沙箱的建表接口，创建沙箱的数据表
6，数据清理：数据导入15天后清理临时表，如果生产上面创建了临时表，就清理临时表，没有即清理生产上的数据
2，数据迁移准备：调用安全创建hdfs路径接口，创建沙箱加密文件和明文文件的存放路径
1，数据预处理：选择hive表，选择字段，填写账期，选择省份分区
请求核心文件赋权接口传表名和库名
请求建表接口，传建表语句，
数据导入成功后，存一条记录到安全的mysql表中，安全检测到信息后进行加密
登录
返回成功
核心请求安全元数据同步接口，把表同步给安全
管理员
0 条评论
下一页
