大数据能力平台-数据中台
2022-04-21 16:51:13 2 举报AI智能生成
登录查看完整内容
为你推荐
查看更多
大数据能力平台各业务痛点与对应解决方案
作者其他创作
大纲/内容
大数据组件搭建利器，整合全套兼容的组件版本
通过一步一步的安装向导简化了集群安装过程
解决大数据组件众多，部署困难问题
内置各组件关键的运维指标（metrics）
可设置告警阀值，自动检测并告警
解决缺乏监控与告警问题
组件集群管理便捷，组件参数配置可直接在线调整
调整后将自动应用各子节点
使集群环境配置调整更容易
在线创建租户并分配对应资源信息
有效的隔离各租户的数据权限与计算能力
多项目集约化使用，多租户支持
大数据基础平台
提供日志的采集、日志查询与可视化分析支持
内置丰富的日志分析可视化指标
提供可视化界面，基于采集的日志数据进行自定义维度统计分析
自定义指标统计分析
日志分析系统
可监控业务模块运行情况
业务组件运行情况
系统运行情况
具有完善的监控功能
可进行监控数据的可视化展示
可支持监控数据可视化
内置丰富的监控可视化指标
运维监控系统
兼容POSIX接口，可以使得上层应用的开发变得简单，并且大大降低新用户的学习难度
解决方案的引入对上层业务系统或基础组件是透明的，除 Path 路径外，无需做其它调整
对上层应用开发透明
为降低存储成本，应用和服务都使用了共享的存储基础设施
在多租户高并发的条件下，提供了对大文件和小文件的随机/顺序读写的支持
默认支持高可用，在少数副本失效的情况下，数据库本身能够自动进行数据修复和故障转移，对业务透明
数据储存安全性与可靠性
对节点提供可扩展性，可以动态加入一个或多个服务节点，既满足了应用的需要，也增强了集群的整体性能
扩展性
分布式文件存储系统
可支持为百亿以上数据集定义数据模型并构建立方体
可以与 Hadoop 数据进行亚秒级交互
实时 OLAP，秒级延迟下进行实时数据的多维分析
秒级延迟下实时数据分析
为 Hadoop 提供标准 SQL 支持大部分查询功能
与BI工具无缝整合
模型分析简单易操作，无需编写代码即可进行数据建模分析
大数据分析型数据仓库
提供多种数据量级的处理支撑，全量或增量数据百万级、千万级以上数据支持
数据处理能力支撑不足，不同数据量级缺乏合理方案
提供丰富的数据源支撑
结构化
非结构化
离线
实时数据
提供多种格式与类型的数据管理
数据源与数据类型支持不完整
提供丰富的数据处理组件
无需编码通过拖拽配置节点，即可完成简单的数据 ETL 作业
ETL可视化配置支持
针对表数据格式与数据集的格式校验功能
对不满足的格式进行数据标记，并发邮件提醒，有效保障数据的质量
保障数据质量（格式或数据项），避免ETL产生的脏数据，影响后期数据分析
提供完善的任务执行日志记录
任务执行情况直观查看
任务异常提供邮件提醒
作业运行情况及时掌握
数据采集平台
元数据信息
血缘信息
元数据采集
数据分层定义
数据仓库关系维护
大数据平台中数据关系梳理
理清数据结构避免形成数据沼泽
质量规则配置
数据范围
可选值
数据格式
数据元定义
数据完整性
数据时效性
数据规范性
数据一致性
数据准确性
数据关联性
数据质量检测插件支持
检测业务系统源数据质量是否满足要求
评价维度
评分等级
可配置质量评估策略
按年
按月
按季度
按数据库
统计维度
按评估策略给出质量检测得分
定期检测数据质量并生成检测报告
工单详情查看
问题数据导出
工单指派
检测有问题数据生成工单
促进数据质量稳步提升
提升数据质量，保障后续数据分析的准确性
在线定义逻辑模型
物理表逆向生成物理模型
逻辑模型生成物理模型
物理模型生成物理表
在线定义物理模型
简化数据建模流程
可在线配置数据元信息
可定义数据集信息
提供数据标准在线配置功能
基于数据源定期检测源数据标准落地情况
生成数据稽核报告
提供对标稽核功能
促进行业数据标准落地
数据导入
数据导出
高级查询
生成动态列表
生成动态表单
提供资源编目功能可基于数据源展示资源数据内容
数据资产情况统计
促进数据资产管理与应用
元数据稽核
数据质量校验
调度任务运行情况
订阅的元数据变更
告警配置
系统消息
短信提醒
邮件提醒
告警消息提醒
及时捕获数据实施过程中的问题，并进行告警
大数据治理平台
可配置mysql、oracle、sqlserver、h2、phoenix、mongodb、elasticSearch、presto等JDBC标准的数据源
并可扩展其它 JDBC 协议的数据源
多数据源支持
可同时支持多个服务提供方发布数据服务，可同时支持多个服务订阅方自主进行服务订阅
多租户支持
目前包含的插件有黑白名单、告警、负载、熔断与限流插件
可基于数据服务需求进行其它业务类功能插件扩展
丰富的服务组件支持
配套服务市场，订阅方可自由申请想接入的服务
服务申请审核通过后，将提供对应服务调用的凭证信息
服务开放性与安全性
数据服务开放平台
支持将http转换为https
将webservice接口转换为rest接口
协议转换支持
代理后的服务，可提供标准化的签名验证和数据加解密支持
标准化的服务约束
支持多提供方、多订阅方使用的多租户场景
黑白名单
告警
负载
熔断
限流
包含丰富的插件支持
可基于API网关需求进行其它业务类功能插件扩展
API服务网关
业务人员可在线自助进行可视化报表定制
支持基于数据模型拖拽智能生成可视化组件
支持可视化组件样式在线配置
自助可视化建模
提供丰富的可视化组件、对业务人员友好
折线图、柱状图、散点图、饼图、桑基图、雷达图等
自动布局的 Dashboard（仪表板）
可自由布局的 Display（大屏）
丰富的建模图表支持
高级过滤
高级控制
钻取
下载
分享
可在线配置多样自助交互式报表
丰富的交互性支持
数据可视化分析
大数据能力平台
0 条评论
回复 删除
下一页
