

首页  思维导图  详情



YARN 与 MapReduce 1的对比

2019-08-06 11:37:10   0  举报





仅支持查看

AI智能生成

YARN 和 MapReduce 1 的对比

hadoop

模版推荐

作者其他创作

大纲/内容

功能对应

<b>MapReduce 1</b>

Jobtracker

      资源管理器、application master、时间轴服务器

Tasktraker

      节点管理器

Slot

                 容器

YARN的进步

可扩展性(Scalability)

与MapReduce 1 相比，YARN可以在更大规模的集群上运行

MapReduce的瓶颈：当节点数达到4000，任务书达到40000时，MapReduce会遇到可扩展性瓶颈，瓶颈源于jobtracker必须同时管理作业和任务这样一个事实

YARN的改进：YARN利用其资源管理器和application master分离的架构有点克服了这个局限性，可以扩展到面向将近10000个节点和100000个任务，与Google MapReduce论文中所描述的更接近

可用性(Availability)

当服务守护进程失败时，通过另一个守护进程复制接管工作所需的状态，并继续提供服务

MapReduce的瓶颈：jobtraker内存中大量快速变化的复杂状态（例如：每个任务状态每几秒会更新一次）是的改进jobtracker服务获得高可用性非常困难

YARN的改进：jobtraker在资源管理器和application master之间进行了职责划分，gap可用的服务随之成为了一个分而治之的问题

先为资源管理器提供高可用性

再为YARN应用提高高可用性

利用率(Utilization)

MapReduce的瓶颈：在配置的时候就给不同用途的容器分配了资源，例如map slot 和 reduce slot，而且一个 map slot只能运行一个map任务，一个reduce slot只能运行一个reduce任务

YARN的改进：一个节点管理器管理一个资源池，而不是指定的固定数目的slot，因此不会出现由于集群中仅有map slot可用导致reduce任务必须等待的情况

多租户(Multitenancy)

YARN可以向MapReduce以外的其他分布式应用开放Hadoop

 Collect

Get Started

MapReduce

 Collect

Get Started

对比图-用户增长-活动营销-用户运营-项目对比

 Collect

Get Started

对比图

 Collect

Get Started

首页对比





0 条评论

下一页