首页  思维导图  详情

HBase

2020-06-09 09:45:13   0  举报





AI智能生成

为你推荐

查看更多



hbase user_log_info相关

HBase知识点覆盖

作者其他创作

大纲/内容

HBase

hbase的架构

Client

Zookeeper

HRegionServer向ZK发送心跳

当HRegionServer心跳失败后，通知HMaster

节点上下线感知

存元数据

HMaster

对HRegionServer管理的region数作负载均衡

当某个HRegionServer挂掉后，HMaster会将它所管理的Region分配给其它可用的HRegionServer

HRegionServer

负责客户端的读写请求

运行过程中region变大时，对其切分

HBase上Regionserver的内存分为两个部分

Memstore，主要用来写

BlockCache，主要用于读数据

Region

集群中分布式存储的最小单元

memstore

内存缓冲区

BlockCache

存储经常访问的数据

hbase存储数据结构

rowkey

Column Family

Column

Timestamp

cell

cell中的数据是没有类型的，全部是以字节数组进行存储

HBase的存储原理

HregionServer

store

storeFile

HFile

HBase的读写数据流程

读操作

客户端发起读请求 get

1.首先从zk找到meta表的region位置，然后读取meta表中的数据，meta表中存储了用户表的region信息

2、根据要查询的namespace、表名和rowkey信息。找到写入数据对应的region信息

3、找到这个region对应的regionServer，然后客户端发送请求给RegionServer

4、查找对应的region

5、先从memstore查找数据，如果没有，再从BlockCache上读取

6、如果BlockCache中也没有找到，再到StoreFile上进行读取

7、从storeFile中读取到数据之后，不是直接把结果数据返回给客户端，而是把数据先写入到BlockCache中，目的是为了加快后续的查询；然后在返回结果给客户端

写操作

客户端发起写请求 put

4、把数据分别写到HLog（write ahead log）和memstore各一份

5、memstore达到阈值后把数据刷到磁盘，生成storeFile文件

6、删除HLog中的历史数据

Flush机制

hbase.hregion.memstore.flush.size

当memstore中的数据时间超过1小时，会flush到磁盘

hbase.regionserver.optionalcacheflushinterval

hbase.regionserver.global.memstore.size

手动flush

flush tableName

minor compaction 小合并

表示至少需要三个满足条件的store file时，minor compaction才会启动

hbase.hstore.compaction.min

表示一次minor compaction中最多选取10个store file

hbase.hstore.compaction.max

表示文件大小小于该值的store file 一定会加入到minor compaction的store file中，默认128M

hbase.hstore.compaction.min.size

hbase.hstore.compaction.max.size

major compaction 大合并

合并Store中所有的HFile为一个HFile

有删除标记的数据会被真正移除，同时超过单元格maxVersion的版本记录也会被删除

默认值为7天进行一次大合并

hbase.hregion.majorcompaction

手动触发

major_compact tableName

region 拆分机制

SteppingSplitPolicy （2.0版本默认这个）

region个数等于1 ？切分阈值为flush size * 2 ： MaxRegionFileSize

KeyPrefixRegionSplitPolicy

根据rowKey的前缀对数据进行分组，这里是指定rowKey的前多少位作为前缀

DelimitedKeyPrefixRegionSplitPolicy

保证相同前缀的数据在同一个region中

DisabledRegionSplitPolicy

表的预分区

手动指定预分区

HexStringSplit 算法

HexStringSplit会将数据从“00000000”到“FFFFFFFF”之间的数据长度按照n等分之后算出每一段的起始rowkey和结束rowkey，以此作为拆分点

region 合并

通过Merge类冷合并Region

需要先关闭hbase集群

hbase org.apache.hadoop.hbase.util.Merge 表名 region_key1 region_key2

通过online_merge热合并Region

不需要关闭hbase集群，在线进行合并

实战

打成jar包提交到集群中运行

hadoop jar hbase_java_api-1.0-SNAPSHOT.jar com.kaikeba.HBaseLoad

加载HFile文件到hbase表中

代码加载

//构建LoadIncrementalHFiles加载HFile文件 LoadIncrementalHFiles load = new LoadIncrementalHFiles(configuration); load.doBulkLoad(new Path(\"hdfs://node1:9000/output_HFile\

命令加载

1.hadoop jar hbase-server-VERSION.jar completebulkload [-c /path/to/hbase/config/hbase-site.xml] /user/todd/myoutput mytable

2.- 先将hbase的jar包添加到hadoop的classpath路径下 export HBASE_HOME=/opt/bigdata/hbase export HADOOP_HOME=/opt/bigdata/hadoop export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`

3.hadoop jar /opt/bigdata/hbase/lib/hbase-server-1.2.1.jar completebulkload /output_HFile t5

hbase集成hive

创建基于hbase的hive表

将hive表映射到hbase表中

rowkey设计

长度原则

建议越短越好，不要超过16个字节。设计过长会降低memstore内存的利用率和HFile存储数据的效率

owkey散列原则

rowkey唯一原则

hbase表的热点的解决方案

预分区

加盐：在rowkey的前面增加随机数