

首页  思维导图  详情



YARN的运行机制

2019-08-06 11:12:43   0  举报





仅支持查看

AI智能生成

YARN的运行机制

hadoop

模版推荐

作者其他创作

大纲/内容

灵活的资源请求

当请求多个容器时，可以指定每个容器需要的计算机资源数量，还可以指定对容器的<b><u>本地限制</u></b>要求

当本地限制无法被满足，这种情况下要么不分配资源，或者可选择放松限制

一个节点由于已经运行了别的容器而无法再启动新的容器，这时如果有应用请求该节点，则YARN将尝试在同一机架中的其他节点上启动一个容器，如果还不行，则会尝试集群中的任何一个节点

通常情况下，当启动一个容器用于处理HDFS数据块（为了在MapReduce中运行一个map任务）时，应用将会向这样的节点申请容器：存储该数据块三个复本的节点，或是存储这些副本的机架中的一个节点。如果都申请失败，则申请集群中的任意一个节点

YARN 应用可以在运行中的任意时刻提出资源申请

可以在最开始提出所有的请求

Spark

或者为了满足不断变化的应用需要，采用更为动态的方式在需要更多资源的时候提出请求

MapReduce（在最开始时申请map容器，在后期申请reduce容器）

应用生命周期

<strike>关注运行时间</strike>

关注应用到用户运行的作业之间的映射关系

模型一：一个用户作业对应一个应用

MapReduce

模型二：作业的每个工作流或每个用户对话（可能并无关联）对应一个应用

Spark

模型三：多个用户共享一个长期运行的应用

Apache Slider

构建YARN应用

有向无环图

Spark 或 Tez

流处理

Spark、Samaza或Storm

分布式应用

Apache Slider

简单编程需求

Apache Twill

复杂的编程需求

YARN.distributed shell

 Collect

Get Started

varnish运行机制

 Collect

Get Started

PHP运行机制

 Collect

Get Started

JavaScript 运行机制

 Collect

Get Started

js运行机制





0 条评论

下一页