yarn上运行mapreduce

1.准备一台客户机
2.安装JDK和hadoop
3.配置环境变量
4.配置集群在yarn上运

　　4.1配置环境变量
            yarn-env.sh 增加exprt JAVA_HOME=
            mapred-env.sh 增加exprt JAVA_HOME=

　　4.2配置集群环境

　　　　由于yarn包含resourceManager和nodeManager\ApplicationManager以及Container，因此在此处先配置resourceManager和nodeManager

　　　　a.配置yarn-site.xml　　　

　　　　<!-- reducer获取数据的方式 -->

　　　　<property>

 　　　　　　<name>yarn.nodemanager.aux-services</name>

　　　　　　 <value>mapreduce_shuffle</value>

　　　　</property>

　　　　<!-- 指定YARN的ResourceManager的地址 -->

　　　　<property>

　　　　　　<name>yarn.resourcemanager.hostname</name>

　　　　　　<value>hadoop101</value><!--此处的红色标记必须在/etc/hosts文件中完成主机名城和Ip的映射配置-->

　　　　</property>

　　　　b.配置 mapred-site.xml

　　　　<!-- 指定mr运行在yarn上 -->
　　　　<property>
       　　　　 <name>mapreduce.framework.name</name>
       　　　　<value>yarn</value><!--此处默认值是local-->
　　　　</property>

</property>
5.启动、测试集群增删查

　　5.1启动（注意启动前必须要先启动集群，既namenode和datanode）

　　　　（a）启动resourcemanager

　　　　sbin/yarn-daemon.sh start resourcemanager

　　　　（b）启动nodemanager

　　　　sbin/yarn-daemon.sh start nodemanager

　　　　（c）查看（展示MapReduce的运行进程）

　　　　　　http://hadoop101:8088
 6.在yarn上运行程序

　　hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output

来源：oschina

链接：https://my.oschina.net/u/4388787/blog/3385416