

首页  流程图  详情



组件篇--kylin

2022-12-14 20:34:13   0  举报





仅支持查看

组件篇--kylin

数仓

模版推荐

作者其他创作

大纲/内容

更新任务状态并清理无效数据

计算维度

数据加载到内存

工作原理

在建表时自动合并

构建模式

Kylin_build(kylin创建)

是开源的，分布式的分析型数据仓库，提供了Hadoop/spark之上的SQL查询接口，多维分析能力支持超大规模数据1.定义星型或则雪花模型2.在数据表上构建cube3.使用标准的SQL通过JDBC压秒内获得查询结果

合并

kylin

Kylin_build 流程图

Build BaseCuboid

从宽表抽取Cuboid

创建的表在内存

一个维度的所有信息

Build N-DimensionCuboid :level 1

Load HFile to HBase Table

创建HBase表

根据维度表建字典表

将以前所有的数据进行汇总计算构建数据的时候所有的数据都会被进行计算只有一个Segment

全量构建

Update Cube Info

增量构建

优缺点

create hive table(宽表)(类似维度表)

clean（Hive清理，HDFS上的垃圾收集）

跟新多维度信息

手动合并

读取kylin的三种方式

转HFile文件(HBase)

clean (Hive Cleanup，Garbage Collection on HDFS)

开始

Convert Cuboid Data to HFile

文件加载到HBase表

curl -X POST -H \"Authorization: Basic QURNSU46S1lMSU4=\" -H 'Content-Type: application/json' http://localhost:7070/kylin/api/query -d '{\"sql\":\

Build Cube In-Mem

结束

根据字段的时问维度进行分区可以自定义分区的格式构建数据的时候按照时间的区间计算数据每计算出一个结果，都会形成一个Segment

自动合并

定义

Build N-DimensionCuboid:level N

读数据

数据从内存中被加载到HBase

 Collect

Get Started

通用爆星组件设计

 Collect

Get Started

Kubernetes 关键组件与工具详解

 Collect

Get Started

SpringCloud 核心组件与业务服务架构图

 Collect

Get Started

Kylin





0 条评论

下一页