数据平台内部系统结构
2016-11-03 16:51:18 0 举报
数据平台内部系统结构主要包括数据采集层、数据处理层和数据服务层。数据采集层负责从各种数据源中获取数据,包括数据库、文件、API等;数据处理层负责对采集到的数据进行清洗、转换、整合等操作,以便后续的分析和应用;数据服务层则提供各种数据服务,包括数据查询、数据分析、数据可视化等。此外,数据平台还需要考虑安全性和稳定性等问题,以确保数据的可靠性和可用性。总之,数据平台内部系统结构是一个复杂的系统,需要综合考虑多个方面的因素。
作者其他创作
大纲/内容
监控降级模块(sentry、限流spirit、开关)
查询分组(同数据源同表且同查询条件为同组)
结果汇聚
参数合法性校验
任务入池
任务池子 (维护线程池)
请求验权
构造Task任务,内部针对不同介质源提供不同的Task任务属性
数据源统一抽象层,内部提供已封装的具体实现介质源实现,如MySQLClient、HBaseClient
查询任务统一条件解析层,内部封装不同介质源需要的查询信息,如DB请求则解析出SQL,hbase则解析出表、列等信息
0 条评论
下一页