Hbase知识图谱

Region的逻辑视图

Hbase知识图谱

集群搭建

表格的逻辑视图

rowkey:  一行数据的唯一标识

rowkey设计

需要是唯一的

最好不要太长

需要是离散的

如果是手机号可以翻转一下就离散了

RegionServer

每个regionserver上都会有多个region

Hmaster

管理region的迁移

ZOOKEEPER作用

负责Hmater的选举

存储了元数据在哪个RegionServer

所有RegionServer心跳检测

写入流程

client预处理阶段

RegionServer处理阶段

校验成功之后会把数据写入HLOG

写入HLOG后把数据写入MemStore

释放行锁

MemStore flush 阶段

读取流程

根据rowkey查询

先根据rowkey获取所在的RegionServer

scan

region迁移/故障恢复

region的迁移并不涉及具体的数据转移

索引

数据结构

布隆过滤器

Hfile的compaction

触发条件: 系统定时进行compaction ;每次flush是也会判断文件数据 > 设定值? compaction: 不进行

Region 

HDFS知识图谱

数据块的设计

默认的数据块大小为128M

namenode

管理所有元数据

datenode

进行真正的IO操作

写数据

1、Client向Namenode通信请求上传文件，Namenode检查目标文件是否已存在，父目录是否存在2、Namenode返回是否可以上传3、Client请求第一个 block该传输到哪些Datanode服务器上4、Namenode返回3个Datanode服务器ABC5、Client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端6、Client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答7、当一个block传输完成之后，Client再次请求Namenode上传第二个block的服务器。

读数据

1、跟namenode通信查询元数据，找到文件块所在的datanode服务器2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件