

首页  思维导图  详情



Apache Druid相关概念

2023-05-31 05:46:38   9  举报





AI智能生成

Apache Druid相关概念

Druid

模版推荐

作者其他创作

大纲/内容

数据摄入相关

Task

数据摄入，运行在druid  middleManager节点上

输入：各个数据源的数据kafka，hdfs，本地数据等等

输出：segment（时间列，维度列，指标列）

结构

dataSchema：构造出来的数据结构

外部

Interval

DataSource

version

内部

时间列(__time)

维度列

指标列：count，sum等等

ioConfig：数据输入描述，不同数据源类型，属性不一样

tuningConfig：任务调优参数：Segment生成策略，索引类型，数据丢弃策略等等

context: 关于任务全局性质的配置，如任务Java进程的option信息

dataSource：表示该任务为那个Datasource 构造Segment

类型

Stream

index_kafka

 Kinesis

Batch

index_parallel

index_hadoop

Supervisor

实时数据摄入的管理者

Supervisor 运行在Overlord进程中

一个Supervisor对应一个DataSource

一个Supervisor会在运行过程中提交多个task

Supervisor定义与Task定义类似，可以认为实时Task是由Supervisor 克隆出来的

数据组织相关

DataSource

相当于关系型数据库的表

Schema包含三部分

时间列(__time)

维度列

指标列：count，sum等等

Segment

DataSource数据存储的基本单位

数据以时间列(__time)作为分段字段

一个DataSource包含多个Segment

每个Segment的schema都是相互独立的

外部

Interval

DataSource

version

内部

时间列(__time)

维度列

指标列：count，sum等等

数据管理相关

Rule

控制DataSource中历史segment的保存规则

保留时长

保留到那些Historical节点上

主要分两大类：Load和Drop

Load

Forever

IntervalLoad

Period

Drop

Forever

IntervalLoad

Period

一个Datasource包含1个或多个Rule规则，存储在一个数组中

定时检测DataSource的每一个Segment，只要Segment满足某个Rule规则，后面的规则Rule就不再运行

特别说明

Datasource Schema是动态变化的：随着其segment变化而变化

Task的运行过程中，会产生一个或者多个Segment

两个粒度说明

Segment粒度（segmentGranularity）：体现在segment Interval属性

数据聚合粒度（queryGranularity）

Segment文件内部，具有相同时间粒度的数据聚合在一起

数据查询时最小的时间粒度

任务来源

实时任务由Supervisor生成

离线任务需要用户通过提交接口生产

 Collect

Get Started

Apache Flink核心概念思维导图

 Collect

Get Started

咖啡相关工艺

 Collect

Get Started

用户管理相关表

 Collect

Get Started

AI的12个核心概念总结





0 条评论

下一页