4.实现数据审计
1.日志整理
2.技术选型
Ranger Audit 记录用户审计日志到HDFS，可查用户操作数据历史
ApacheEagle
优势
1.内置支持Hadoop、Hive、Yarn等常用日志且支持自行扩展
2.内置多种报警插件且支持自行扩展
3.界面化作业配置提交和控制Storm起停、不写代码完成规则配置
4.界面化统计历史报警信息和细节
缺点
1.依赖Storm，消费延迟时调优没经验
2.部署不太方便，版本旧，资料不多
需求
1.保证数据安全
2.不破坏原有数据的关联关系和业务规则
3.权衡数据安全性和数据可用性，找到平衡点
4.结合数据、业务需求合理制定脱敏规则库
5.脱敏支持多个组件，细粒度控制(精确到Hive列,HBase列,HDFS目录,Yarn队列,KafkaTopic)
6.安全审计是脱敏的一部分，也需要完善的审计和报警体系
7.权限如何控制 切换是否灵活 考虑计算存储成本 考虑运行效率、维护难易
