作业调度
作业之间形成有向无环图(DAG Directed AcyclicGraph)
上下游作业的表级血缘依赖图
基线控制方法
用于统一管理数据作业的完成时间、优先级、告警策略,保障数据加工按时完成
调度模块会根据最先到达、最短执行时间原则,动态调整资源分配及作业的优先级,让资源利用效率最大化
采用算法对作业完成时间进行智能预测
数据权限
两种策略
RBAC (Role-Based Access Control) 基于角色的访问控制
PBAC(Policy-Based Access Control) 基于策略的访问控制
实际开发中,一般运维人员把整个库的权限授权给某个开发负责人,<br>然后库里面的表、字段、函数的权限管理由开发负责人负责<br>
权限审计
所有权限的申请、审批都会有记录,便于进行权限审计
在统一的数据权限服务中,会对接底层的各种权限管理系统,例如Sentry、Ranger、Oracle,<br>同时对数据权限管理中心提供服务,执行权限的申请、授权、撤销等操作