Hive架构以及计算流程
2023-05-11 17:24:26 10 举报Hive架构以及计算流程
作者其他创作
大纲/内容
Hive
数据仓库
返回MR结果
元数据
HDFS(数据存储)
client
JDBC
通过映射关系向表导入数据LOAD DATA
hive SQL
WEBUI
1.将HQL语句解析成抽象语法树并检查语法语义2.将抽象语法树转换成查询块3.将查询块编译成逻辑执行计划4.重写逻辑查询计划，优化逻辑执行计划（基于规则优化RBO基于牺牲的优化CBO）5.将逻辑计划转换为物理计划（MR）6.选择最佳的Join策略，优化物理执行计划，最后执行
Meta Store
记录着表和数据的映射，在HDFS的位置
建表语句
Result
执行流程
Compiler编译器
Client
Beline
HiveServer2
Thrift Server
Query Optimizer优化器
Hive Driver解析器 编译器 优化器 执行器
MR
SQL parser解析器
元数据包括：表名表结构表所属的数据库表的拥有者（权限信息）列/分区字段表的类型（是否是外部表）表的数据所在目录等元数据一般需要借助于其他的数据载体（Derby或Mysql），默认存放在自带的Derby数据库（单用户局限性）推荐使用mysql进行存储，连接数据库需要提供url、username、password、driver
Execution优化器
查询语句
Hive Shell
HDFS
生成MR，生成相应的分析结果
Yarn（MapReduce分析计算）
Driver
职业：本科
0 条评论
下一页
