【玩转大数据】3.YARN环境的搭建及基本配置

下面介绍HADOOP的资源管理调度工具YARN

paste image

浅谈YARN组成及其分工


ResourceManager:RM
        整个集群同一时间提供服务的RM只有一个;
        负责集群资源的统一管理和调度处理客户端的请求:提交一个作业、杀死一个作业;
        监控我们的NM,一旦某个NM挂了,那么该NM上运行的任务需要告诉我们的AM来如何进行处理。

NodeManager:NM
        整个集群中有多个,负责自己本身节点资源管理和使用;
        定时向RM汇报本节点的资源使用情况;
        接受并处理来自RM的各种命令:启动Container;处理来自AM的命令;
        单个节点的资源管理。

ApplicationMaster:AM
        每个应用程序对应一个:MR、Spark,负责应用程序的管理;
        为应用程序向RM申请资源(core、memory),分配给内部task;
        需要与NM通信:启动/停止task,task是运行在Container里面,AM也是运行在Container里面。

Container
        封装了CPU、Memory等资源的一个容器;
        是一个任务运行环境的抽象。

Client
        提交作业;
        查询作业的运行进度;
        杀死作业。

YARN执行流程

paste image

环境搭建

etc/hadoop/mapred-site.xml:

1
2
3
4
5
6
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

etc/hadoop/yarn-site.xml:

1
2
3
4
5
6
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

启动YARN相关的进程

1
sbin/start-yarn.sh

验证

1
2
# jps
# 访问http://ip:8088 出现封面图

停止YARN相关的进程

1
sbin/stop-yarn.sh

测试

1
2
3
cd /root/hadoop-2.9.2/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.9.2.jar pi 2 3
# 在yarn界面和控制台观察任务进度变化
-------------本文结束感谢您的阅读😜-------------
喜欢较真儿的平头哥 wechat
微信扫一扫,没事常联系 [请注明博客添加]
支持原创,支持开源,感谢打赏,不懈努力。
点击打赏,可领取支付宝红包,不信你试试😏😏😏!
0%