AI
推荐
模板社区
专题
登录
免费注册
首页
思维导图
详情
Doris
2023-06-26 09:34:53
17
举报
分享方式
免费使用
Doris模型的介绍总结
OLAP
Doris
学习笔记
工作总结
模板推荐
作者其他创作
大纲/内容
数据模型分类
Aggregate模型
AggregationType
<ul><li>SUM：求和</li><li>REPLACE：替换</li><li>MAX：保留最大值</li><li>MIN：保留最小值</li></ul>
数据聚合的3个阶段
<ol><li>数据导入的ETL阶段 - 当前批次数据</li><li>后端BE进行数据 Compaction 的阶段 - 导入的不同批次</li><li>数据查询阶段 - 查询涉及到的数据</li></ol>
聚合模型的局限性
同一批次数据中有重复key的数据，无法保证replace的有序性
count()查询中，需要扫描所有的AGGREGATE KEY 列，且聚合后，才能统计正确
Unique 模型
读时合并（merge on read）
等价于聚合模型中replace方式
写时合并（merge on write）
在数据写入时候，对历史文件中相同key的数据打上删除标记，新数据写入新文件，<br>在读取数据时候，删除标记的数据在文件级别就被过滤掉，很多情况下支持多种谓词下推
count(*) 查询在Unique模型的写时合并实现上的性能，相比聚合模型有10倍以上的提升
Duplicate 模型
无排序列
表的key列，只是 “排序列”，不限制唯一性
收藏
立即使用
Clickhouse知识图谱
收藏
立即使用
DAMA重点知识拆解
收藏
立即使用
数据分析师概述
收藏
立即使用
Doris
健鹏
职业：数据架构师
去主页
Collect
Get Started
Doris发展时间线
Collect
Get Started
A
Collect
Get Started
Doris知识梳理
Collect
Get Started
Doris临时失效故障恢复序列图
评论
0
条评论
下一页
图形选择
思维导图
主题
补充说明
AI生成
修改AI描述
去编辑
重新生成
提示
关闭后当前内容将不会保存，是否继续？
取消
确定
Document
