登录免费注册



HBase总结

首页  思维导图  详情



HBase总结

2021-08-11 18:18:20   2  举报





AI智能生成

HBase学习总结

HBase

HBase 架构

模版推荐

作者其他创作

大纲/内容

架构

HBase是主从架构

角色

client

操作HBase的接口，并维护客户端缓存

zookeeper

保证任何时刻集群中有且只有一台活跃的Master

存储所有region的寻址入口

所有region的元数据存储在那一台regionserver

监控regionserver的上线和下线信息，并实时通知master

存储相关表的schema数据

master

分配region

保证整个集群中的所有regionserver负载均衡

当发现某一台regionserver宕机，重新分配上面的region

当region变得太大，master去分配region到另一台regionserver

regionserver

负载接受客户端的读写请求，处理region的IO

当某一个region变大后，负责将其等分为两个

region

相当于表的概念，一张表至少一个region

当表的数据过大的时候，region会发生裂变

store

相当于列族

角色

memstore

位于内存

每一个store有一个memstore

storefile

磁盘存储空间，将数据持久化到存储位置

每一个region有一个或多个storefile

storefile可以进行合并操作

存储结构：使用了LSM数据模型

WAL

write ahead log

防止数据丢失

先写内存，再向hdfs上溢写，异步方式

读写流程

读

1、客户端向ZK中发送请求

2、从ZK中拿到metadata的存储节点

3、去存储metadata的节点获取对应region的所在位置

4、访问对应的region获取数据

5、先去memstore中查询数据，如果有结果，直接返回

6、如果没有查询到结果，去blockcache查找数据，如果有，直接返回

7、如果没有找到，去storefile中查找数据，并将查询到的结果缓存到blockcache中

8、将结果返回给客户端

注意：blockcache是缓存，有大小限制，会有淘汰机制，默认将最早的数据淘汰

写

1、客户端向ZK发送请求

2、从ZK中拿到metadata的存储节点

3、去存储metadata的节点获取对应的region所在的位置

4、访问对应的region写数据

5、首先向wal中写数据，写成功之后才会存储到memstore

6、当memstore中的数据量达到阈值后，进行溢写，溢写成storefile

7、storefile是一个个小文件，会进行合并(minor,major)

8、 storefile是对hdfs的封装，hfile是实际存储在hdfs上的数据文件

HBase是数据库

特点

高可靠

高性能

面向列

可伸缩

实时读写

数据量

十亿级别行

百万级别列

速度快的原因

充分利用内存

使用了LSM树

缓存机制

文件是顺序读写

数据模型

rowkey

相当于mysql中的主键，唯一标识一行数据

rowkeys是字典顺序的

rowkey的长度最长是64K，但是一般推荐0-100字节

column family

一组列的集合

列族必须作为表的schema定义的

列族是权限、存储的最小单元

qulifier

列

可以动态的，随机插入

表定义之后没有限制列，随着值的插入也把列插入

列必须归属于某一个列族

timestamp

时间戳，64位整数，精度是毫秒

起版本号的作用。一个cell中可以存在多版本的数据

时间戳可以自己定义，但不推荐

cell

存储数据的最小单元(逻辑概念，不存在)

存储K,V格式的数据

K： rowkey+column+family+qulifier+timestamp

V: value

hbase的cell存放的数据都是字节数组，没有数据类型区分

 Collect

Get Started

hbase - zk

 Collect

Get Started

AI的12个核心概念总结

 Collect

Get Started

会议总结

 Collect

Get Started

hbase2mysql













评论

0 条评论

下一页



图形选择

思维导图

主题

补充说明

AI生成





修改AI描述

去编辑

重新生成

提示 

关闭后当前内容将不会保存，是否继续？

取消

确定

Document