AI
推荐
模板社区
专题
登录
免费注册
首页
思维导图
详情
Doris
2023-06-26 09:34:53
17
举报
分享方式
免费使用
AI智能生成
Doris模型的介绍总结
OLAP
Doris
学习笔记
工作总结
模板推荐
作者其他创作
大纲/内容
数据模型分类
Aggregate模型
AggregationType
<ul><li>SUM：求和</li><li>REPLACE：替换</li><li>MAX：保留最大值</li><li>MIN：保留最小值</li></ul>
数据聚合的3个阶段
<ol><li>数据导入的ETL阶段 - 当前批次数据</li><li>后端BE进行数据 Compaction 的阶段 - 导入的不同批次</li><li>数据查询阶段 - 查询涉及到的数据</li></ol>
聚合模型的局限性
同一批次数据中有重复key的数据，无法保证replace的有序性
count()查询中，需要扫描所有的AGGREGATE KEY 列，且聚合后，才能统计正确
Unique 模型
读时合并（merge on read）
等价于聚合模型中replace方式
写时合并（merge on write）
在数据写入时候，对历史文件中相同key的数据打上删除标记，新数据写入新文件，<br>在读取数据时候，删除标记的数据在文件级别就被过滤掉，很多情况下支持多种谓词下推
count(*) 查询在Unique模型的写时合并实现上的性能，相比聚合模型有10倍以上的提升
Duplicate 模型
无排序列
表的key列，只是 “排序列”，不限制唯一性
收藏
立即使用
Clickhouse知识图谱
收藏
立即使用
DAMA重点知识拆解
收藏
立即使用
数据分析师概述
收藏
立即使用
Doris
健鹏
职业：数据架构师
去主页
Collect
Get Started
doris总结
Collect
Get Started
Doris主题研讨
Collect
Get Started
Doris导入概览
Collect
Get Started
数据流向
评论
0
条评论
下一页
图形选择
思维导图
主题
补充说明
AI生成
修改AI描述
去编辑
重新生成
提示
关闭后当前内容将不会保存，是否继续？
取消
确定
Document
