数据脱敏
2022-06-07 00:27:34 3 举报AI智能生成
登录查看完整内容
为你推荐
查看更多
数据脱敏
作者其他创作
大纲/内容
1.日志整理
子主题
ELK
Ranger Audit 记录用户审计日志到HDFS，可查用户操作数据历史
1.内置支持Hadoop、Hive、Yarn等常用日志且支持自行扩展
2.内置多种报警插件且支持自行扩展
3.界面化作业配置提交和控制Storm起停、不写代码完成规则配置
4.界面化统计历史报警信息和细节
优势
1.依赖Storm，消费延迟时调优没经验
2.部署不太方便，版本旧，资料不多
缺点
ApacheEagle
2.技术选型
4.实现数据审计
基于ApacheAtlas实现表元数据信息收集
使用ApacheAtlas对数据资产分类分级
SDM数据治理
Ranger非实时拉取LDAP数据
Ranger AccessManager 列屏蔽 行过滤
Ranger+Atlas 基于标签的安全服务
集群组件版本较低，无法兼容新版Ranger，改源码工作量大
Ranger 0.4.1 支持Hadoop2.6.0 Hive 0.14.0 HBase0.99.2
Ranger 0.5 支持Hadoop 2.7.0+ Hive 1.2.0 HBase1.1.0(后续版本不支持Hadoop2.6.0，原因INodeAttributeProvider不存在)
Ranger >0.6 Hive支持2.x 不确定是否支持1.x
面临的问题
基于LDAP+Ranger+Atlas的细粒度权限管控
SDM权限管控
Ranger 内置脱敏策略也支持HiveUDF自定义脱敏策略
多冗余的脱敏
根据已有规则库配置脱敏
SDM字段脱敏
动态脱敏
DDM动态脱敏
耗费大量人力成本，但效果更好
自研脱敏平台
3.实现数据脱敏
1.保证数据安全
2.不破坏原有数据的关联关系和业务规则
3.权衡数据安全性和数据可用性，找到平衡点
4.结合数据、业务需求合理制定脱敏规则库
6.安全审计是脱敏的一部分，也需要完善的审计和报警体系
7.权限如何控制 切换是否灵活 考虑计算存储成本 考虑运行效率、维护难易
需求
1.埋点数据Hive、HBase
2.Sqoop同步、udc同步
3.Es2Hive
4.其他
从数据来源分析
1.人工整理-敏感字段名、字段含义、分类
2.自动化匹配发现和整理
3.数据分类(按业务、按安全等级)
4.结合已有血缘梳理涉及库表
库和字段分析
1.sql_log审计日志
HBase
Kudu
Yarn
Impala
HiveCli
2.完善对除了thrift外的数据操作审计日志收集
数据操作审计
1.敏感数据发现
用户数据
企业数据
非敏感数据
一级敏感数据
二级敏感数据
三级敏感数据
可推断
不可推断
敏感数据
完善Atlas上的数据分类、安全性分级
直接暴露用户、企业、资金等敏感信息的字段
间接暴露敏感信息的字段
根据多个字段可推断出敏感信息的字段
敏感字段汇总
唯一值映射(通过映射表找回原值)
RES
AES
DES
......
双向加密
可逆脱敏
替代
随机变换
混洗
加密
遮挡
Hash映射
偏移
截断
局部混淆
均值
不可逆脱敏
保证业务含义
不保证业务含义
https://smartbridge.com/overview-data-masking-methods/
http://www.oracle.com/us/products/database/data-masking-best-practices-161213.pdf
场景及解决方案示例
制定高效的字段脱敏算法规则库
2.敏感数据梳理-制定规则库
数据脱敏
0 条评论
回复 删除
下一页
