1 HDFS的数据存储
1.1 HDFS内存存储
1.1.1 HDFS内存存储原理
1.1.2 Linux虚拟内存盘
1.1.3 HDFS的内存存储流程分析
1.1.4 LAZY_PERSIST内存存储的使用
1.2 HDFS异构存储
1.2.1 异构存储类型
1.2.2 异构存储原理
1.2.3 块存储类型选择策略
1.2.4 块存储策略集合
1.2.5 块存储策略的调用
1.2.6 HDFS异构存储策略的不足之处
1.2.7 HDFS存储策略的使用
1.3 小结
2 HDFS的数据管理与策略选择
2.1 HDFS缓存与缓存块
2.1.1 HDFS物理层面缓存块
2.1.2 缓存块的生命周期状态
2.1.3 CacheBlock、UnCacheBlock场景触发
2.1.4 CacheBlock、UnCacheBlock缓存块的确定
2.1.5 系统持有的缓存块列表如何更新
2.1.6 缓存块的使用
2.1.7 HDFS缓存相关配置
2.2 HDFS中心缓存管理
2.2.1 HDFS缓存适用场景
2.2.2 HDFS缓存的结构设计
2.2.3 HDFS缓存管理机制分析
2.2.4 HDFS中心缓存疑问点
2.2.5 HDFS CacheAdmin命令使用
2.3 HDFS快照管理
2.3.1 快照概念
2.3.2 HDFS中的快照相关命令
2.3.3 HDFS内部的快照管理机制
2.3.4 HDFS的快照使用
2.4 HDFS副本放置策略
2.4.1 副本放置策略概念与方法
2.4.2 副本放置策略的有效前提
2.4.3 默认副本放置策略的分析
2.4.4 目标存储好坏的判断
2.4.5 chooseTargets的调用
2.4.6 BlockPlacementPolicyWithNodeGroup继承类
2.4.7 副本放置策略的结果验证
2.5 HDFS内部的认证机制
2.5.1 BlockToken认证
2.5.2 HDFS的Sasl认证
2.5.3 BlockToken认证与HDFS的Sasl认证对比
2.6 HDFS内部的磁盘目录服务
2.6.1 HDFS的三大磁盘目录检测扫描服务
2.6.2 DiskChecker:坏盘检测服务
2.6.3 DirectoryScanner:目录扫描服务
2.6.4 VolumeScanner:磁盘目录扫描服务
2.7 小结
3 HDFS的新颖功能特性
3.1 HDFS视图文件系统:ViewFileSystem
3.1.1 ViewFileSystem:视图文件系统
3.1.2 ViewFileSystem内部实现原理
3.1.3 ViewFileSystem的使用
3.2 HDFS的Web文件系统:WebHdfsFileSystem
3.2.1 WebHdfsFileSystem的REST API操作
3.2.2 WebHdfsFileSystem的流程调用
3.2.3 WebHdfsFileSystem执行器调用
3.2.4 WebHDFS的OAuth2认证
3.2.5 WebHDFS的使用
3.3 HDFS数据加密空间:Encryption zone
3.3.1 Encryption zone原理介绍
3.3.2 Encryption zone源码实现
3.3.3 Encryption zone的使用
3.4 HDFS纠删码技术
3.4.1 纠删码概念
3.4.2 纠删码技术的优劣势
3.4.3 Hadoop纠删码概述
3.4.4 纠删码技术在Hadoop中的实现
3.5 HDFS对象存储:Ozone
3.5.1 Ozone介绍
3.5.2 Ozone的高层级设计
3.5.3 Ozone的实现细节
3.5.4 Ozone的使用
3.6 小结