登录免费注册

首页  思维导图  详情



 



大数据常用工具总结

大数据常用工具总结

2021-05-15 19:33:36   0  举报





学习大数据技术总结,含HBASE,HADOOP,SPARK,ZOOKPER

hadoop

HBase

模板推荐

作者其他创作

大纲/内容

hadoop

结构

分布式存储hdfs

概念和基本结构

block

HDFS把文件分割成块进行存储

默认64M

节点

NameNode

管理节点，存放文件的元数据

文件与数据块的映射表

数据块与数据节点的映射表

DataNode

工作节点，存放数据块，通过NameNode找到

数据管理策略

数据块副本

每个数据块有三个副本，分别放在两个机架内的三个节点上

心跳检测

DataNode定期向NameNode发送消息

secordaryNameNode

定期同步元数据映像文件和修改日志，避免NameNode故障

map-reduce计算引擎

模型

将大文件进行拆分，分片文件由单独机器处理（Map）,将个机器结果进行汇总获得最终结果（Reduce）

实现方式：yarn资源管理器

resourceManager

分配调度资源

监控另两个

ApplicationMaster

数据切分

容错

NodeManager

处理命令

配置

conf

core-site.xml（核心配置文件）

配置工作目录

dfs数据目录

服务器IP端口

hdfs-site.xml

dfs数据存放目录

子主题 2

mapred-site.xml

配置job.tracker任务调度器

hadoop-env.sh

设置java和hadoop环境变量

profile环境

应用场景

离线处理

对实时性要求不高的

HBase

nosql数据库

特点

面向列

多版本

稀疏性

空列不占存储空间

扩展性

架构体系

内部进程

HMaster

HRegionServer

外部依赖服务

Zookeeper

hadoop

表结构

子主题 1

分支主题

目录结构

bin

启动脚本

conf

spark

特点

map-reduce升级版

基于内存计算

时效性要求高

部署

运行环境

JDK1.7

目录介绍

bin

与spark交互的可执行文件脚本

core，streaming,python

源码

conf

配置

shell

bin/spark-shell

Zookeeper

内部服务

QuorumpeerMain

 Collect

Get Started

运营常用工具

 Collect

Get Started

运营常用工具

 Collect

Get Started

AI常用工具部署及发展历程

 Collect

Get Started

常用工具类













评论

0 条评论

下一页



图形选择

思维导图

主题

补充说明

AI生成





修改AI描述

去编辑

重新生成

提示 

关闭后当前内容将不会保存，是否继续？

取消

确定

Document