Hive架构以及计算流程

2023-05-11 17:24:26   10  举报





Hive架构以及计算流程

大数据

模版推荐

作者其他创作

大纲/内容

Hive

数据仓库

返回MR结果

元数据

HDFS(数据存储)

client

JDBC

通过映射关系向表导入数据LOAD DATA

hive SQL

WEBUI

1.将HQL语句解析成抽象语法树并检查语法语义2.将抽象语法树转换成查询块3.将查询块编译成逻辑执行计划4.重写逻辑查询计划，优化逻辑执行计划（基于规则优化RBO基于牺牲的优化CBO）5.将逻辑计划转换为物理计划（MR）6.选择最佳的Join策略，优化物理执行计划，最后执行

Meta Store

记录着表和数据的映射，在HDFS的位置

建表语句

Result

执行流程

Compiler编译器

Client

Beline 

HiveServer2

Thrift Server

Query Optimizer优化器

Hive Driver解析器编译器优化器执行器

SQL parser解析器

元数据包括：表名表结构表所属的数据库表的拥有者（权限信息）列/分区字段表的类型（是否是外部表）表的数据所在目录等元数据一般需要借助于其他的数据载体（Derby或Mysql），默认存放在自带的Derby数据库（单用户局限性）推荐使用mysql进行存储，连接数据库需要提供url、username、password、driver

Execution优化器

查询语句

Hive Shell

HDFS

生成MR，生成相应的分析结果

Yarn（MapReduce分析计算）

Driver