Hive
2020-06-09 09:45:14 2 举报AI智能生成
登录查看完整内容
Hive知识点覆盖
作者其他创作
大纲/内容
Hive
hive的架构
表操作
create database[ if not exists ] db_hive;
alter table student set tblproperties('EXTERNAL'='TRUE');
desc [ formatted ] student_partition3;
alter table student_partition3 add columns(address string);
alter table student_partition3 change column address address_id int;
alter table student_partition1 add partition(dt='20170602') partition(dt='20170603');
show partitions student_partition1;
复合类型
array
例如： 存入 a:b:c
collection items terminated by ':'
map
例如： 存入 f:张#m:黄#s:李
collection items terminated by '#'
may keys terminated by ':'
struct
表数据导入方式
font color=\"#f15a23\
insert into table student_partition1 partition(dt=\"2019-07-08\") select * from student1;
create table if not exists tableName as selectfont color=\"#7dcdc2\
create table student2 like student1;export table student1 to '/export/student1';import table student2 from '/export/student1';
表数据的导出方式
hdfs dfs -get /user/hive/warehouse/student/student.txt /opt/bigdata/data
bin/hive -e 'select * from default.student;' > /opt/bigdata/data/student1.txt
bin/hive -f sql文件 > /opt/bigdata/data/student1.txt
export table default.student to
表分区
静态分区
动态分区
创建普通表t_order
创建目标分区表 order_dynamic_partition
向普通表t_order加载数据
动态加载数据到分区表中
set hive.exec.dynamic.partition=true; //使用动态分区
set hive.exec.dynamic.partition.mode=nonstrict; //非严格模式
注意字段查询的顺序，分区字段放在最后面。否则数据会有问题。
将数据直接上传到分区目录（hdfs）上，让分区表和数据产生关联有哪些方式
上传数据后修复表
dfs -mkdir -p 分区目录
dfs -put 分区目录
msck repair table 表名 #刷新元数据
上传数据后添加分区
dfs -mkdir -p 分区目录
alter table 表名 add partition()
分桶表
分桶是相对分区进行更细粒度的划分
set hive.enforce.bucketing=true;== 开启对分桶表的支持
set mapreduce.job.reduces=4;== 设置与桶相同的reduce个数（默认只有一个reduce）
load data local inpath '/opt/bigdata/data/buckets.txt' into table user_demo;
insert into table user_buckets_demo select * from user_demo;
抽样查询桶表的数据：tablesample抽样语句，语法：tablesample(bucket x out of y)- x表示从第几个桶开始取数据- y表示桶数的倍数，一共需要从 ==桶数/y== 个桶中取数据
select * from user_buckets_demo tablesample(bucket 1 out of 2)-- 需要的总桶数=4/2=2个-- 先从第1个桶中取出数据-- 再从第1+2=3个桶中取出数据
表数据压缩
Hive表中间数据压缩：shuffle阶段 落地到磁盘的数据
#设置为true为激活中间数据压缩功能，默认是false，没有开启set hive.exec.compress.intermediate=true;
#设置中间数据的压缩算法set mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodec;
Hive表最终输出结果压缩：输出到HDFS的数据
set hive.exec.compress.output=true;
set mapred.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodec;
文件存储格式
textfile
sequencefile
orc
parquet
自定义函数
UDF 一进一出
定义一个类继承==org.apache.hadoop.hive.ql.UDF
重载evaluate方法
将程序打成jar包上传到linux服务器
在hive的命令行窗口创建函数
add jar xxxxx.jar== (linux上jar包的路径)
create [temporary] function [dbname.]function_name AS class_name;
- hive命令行中删除函数
Drop [temporary] function [if exists] [dbname.]function_name;
创建永久函数
create function toUpper as 'com.kaikeba.udf.MyUDF' using jar 'hdfs://node1:9000/jars/hive_udf.jar';
UDAF 多进一出
UDTF一进多出
序列化/反序列化：SerDe
通过MultiDelimitSerDe 解决多字符分割场景
通过RegexSerDe 解决多字符分割场景
通过JsonSerDe格式存储text文件
使用 json函数 操作json格式数据
get_json_object
json_tuple
企业级调优
Fetch抓取：在全局查找、字段查找、limit查找等都不走mapreduce
hive.fetch.task.conversion设置成 =》 more
本地模式
set hive.exec.mode.local.auto=true;
--设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，--默认为134217728，即128Mset hive.exec.mode.local.auto.inputbytes.max=50000000;
--设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，--默认为4set hive.exec.mode.local.auto.input.files.max=5;
表的优化
小表、大表 join
将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率
使用map join让小的维度表（1000条以下的记录条数）先进内存。在map端完成reduce
大表 join 大表
空 key 过滤
空 key 转换
可以将表 a 中 key 为空的字段赋一个随机的值，使得数据随机均匀地分不到不同的 reducer 上
map join
把小表全部加载到内存在map端进行join，避免reducer处理
set hive.auto.convert.join = true;
大表小表的阈值设置（默认25M一下认为是小表）
set hive.mapjoin.smalltable.filesize=25000000;
group By
开启Map端聚合参数设置
--是否在Map端进行聚合，默认为Trueset hive.map.aggr = true;--在Map端进行聚合操作的条目数目set hive.groupby.mapaggr.checkinterval = 100000;--有数据倾斜的时候进行负载均衡（默认是false）set hive.groupby.skewindata = true;
count(distinct)
ount distinct使用先group by 再count的方式替换
--每个reduce任务处理的数据量 默认256000000（256M） set hive.exec.reducers.bytes.per.reducer=32123456;
select count(distinct ip ) from log_text; 转换成 select count(ip) from (select ip from log_text group by ip) t;
尽量避免笛卡尔积，即避免join的时候不加on条件，或者无效的on条件
使用分区剪裁、列剪裁
只获取需要的列的数据，减少数据输入
行过滤
并行执行
set hive.exec.parallel=true;
--同一个sql允许最大并行度，默认为8。set hive.exec.parallel.thread.number=16;
严格模式
--设置非严格模式（默认）set hive.mapred.mode=nonstrict;--设置严格模式set hive.mapred.mode=strict;
select * 不允许
对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行
对于使用了order by语句的查询，要求必须使用limit语句
限制笛卡尔积的查询
JVM重用
JVM实例在同一个job中重新使用N次。减少进程的启动和销毁时间
-- 设置jvm重用个数set mapred.job.reuse.jvm.num.tasks=5;
推测执行
Hadoop采用了推测执行（Speculative Execution）机制，它根据一定的法则推测出“拖后腿”的任务，并为这样的任务启动一个备份任务，让该任务与原始任务同时处理同一份数据，并最终选用最先成功运行完成任务的计算结果作为最终结果。
--开启推测执行机制set hive.mapred.reduce.tasks.speculative.execution=true;
压缩（参考上面的表数据压缩配置）
数据倾斜
合理设置Map数
如果一个任务有很多小文件（远远小于块大小128m），则每个小文件也会被当做一个块，用一个map任务来完成，而一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的map数是受限的。
如有一个127m的文件，正常会用一个map去完成，但这个文件只有一个或者两个小字段，却有几千万的记录，如果map处理的逻辑比较复杂，用一个map任务去做，肯定也比较耗时。
小文件合并
在map执行前合并小文件，减少map数
set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
复杂文件增加Map数
--设置maxsize大小为10M，也就是说一个block的大小为10Mset mapreduce.input.fileinputformat.split.maxsize=10485760;
合理设置Reduce数
- 每个Reduce处理的数据量默认是256MB set hive.exec.reducers.bytes.per.reducer=256000000;
- 每个任务最大的reduce数，默认为1009 set hive.exec.reducers.max=1009;
- - 计算reducer数的公式 N=min(参数2，总输入数据量/参数1)
--设置每一个job中reduce个数set mapreduce.job.reduces=3;
级联求和 sql题目
0 条评论
回复 删除
下一页
