实时数仓项目功能点
2021-03-17 21:21:50 1 举报AI智能生成
登录查看完整内容
为你推荐
查看更多
实时数仓平台功能模块，包括采集、开发、监控、统计
作者其他创作
大纲/内容
实时数仓
任务告警
设置报警策略
报警类型
source断流报警
source延时过高报警
source/sinkQPS过低报警
source/sinkQPS突增报警
报警级别
p1/p2
电话/热聊/短信报警
P3/P4/P5
热聊/短信报警
报警人
单人
群组
元数据管理
队列管理
添加队列
分享队列(授权)
回收分享队列(回收)
编辑队列
主备集群
分片大小
消费示例数据
schema管理
消费导入
自定义添加
队列申请
搜索队列
申请队列权限
stream sdk Token做权限认证
队列使用
查看使用队列的项目
查看使用队列的消费组
创建消费组
kafka消费组
RMQ消费组
创建生产组
队列血缘
队列报警
流量报警
消费报警
数据建模
打通队列管理
集市建模
主题建模
数据服务
统一查询服务
跨存储查询
hbase
mysql
kylin
es
redis
clickhouse
key(uid)检索服务（HBASE/ES）
dubbo/http接口
数据质量
数据应用
实时报表
新增
活跃
播放vv
播放uv
留存
top10热剧
活动效果
实时推荐
实时欺诈检测（风控）购买、领券、浏览是否有效行为等
用户画像
资产管理
topic使用热度列表
资源管理
流批一体
DWD明细小时级写入HIVE
DWD明细实时写入CLICKHOUSE
实时同环比
数据采集
采集日志
finebeat-->venus
采集mysql binglog
canal解析binglog
实时多维分析
druid实时摄入
clickhouse单表查询性能非常高
Kylin预计算，空间换时间
离线表
实时表
技术升级
任务开发
新建/复制
语法检查
代码美化
调试运行
上线
选引擎
选用户
选udf
选集群
选配资源参数
选任务级别
是否开启checkpoint
版本管理
上线保存
代码比对
参数比对
回滚版本
文件管理
上传jar包
外部文件
函数管理
创建函数
删除函数
数据集成配置
MYSQLRedisHBaseClickHouseQipuRMQKudu
监控平台
kafka压力监控
consumer lag监控
yarn集群监控
任务运行监控https://www.cnblogs.com/createweb/p/12218922.html
source处理延迟
sourceQPS
sinkQPS
Metrics系统将信息写入到Influxdb/Granfna
指标计算
JVMGC次数
restarts次数
消费kafka延迟量
每个任务都直接展示几个指标健康度，任务名、source、延迟性、lag数、offset等等一目了然
实时压测
大促或热点模拟QPS自动生成source和sink
投递质量异常检测
关键指标监控
任务运维
暂停
运行
下线
运行详情
查看监控
配置报警
任务属性
提交人
选择的函数
运行集群
创建时间
更新时间
0 条评论
回复 删除
下一页
