hadoop全分布式的搭建

 

修改主机名：vim /etc/sysconfig/network

 

1 修改 hadoop-env.sh

 

 

2 修改core-site.xml

 

 

/hadoop/tmpdir: 产生 namenode中fsimasage 和edits文件 合并元数据

3 修改 hdfs-site.xml

 

 

 

4 yarn-site.xml

 

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<!--RPC的地址，并且用于分配资源的端口 -->

<value>haha:8030</value>

</property>

ResourceManager: ---->     application manager(服务)          appMaster（RM-container()）

                         Scheduler:    专注于：AM----->RM (资源)

 

 

 

5 mapred-site.xml

 

 

6 修改 slaves   （从节点指定出来）

 

 

从节点配置三台

7  分发

　scp -r hadoop/ root@Linux03:/root/Downloads/hadoop-2.6.5/etc/

 

 

 

8 把集群进行格式化：hdfs namenode -format

9 免密：  ssh-keygen -t rsa ---->.ssh (删除)  

9.1 配置haha -->Linux02   ssh-copy-id Linux02    haha->Linux03  Linux02->haha    Linux02-》Linux03   Linux03 ->haha  Linux03 --->02

   自己：ssh-copy-id 自己

 

10启动 机器  ：  start-all.sh  (hdfs,yarn)  start-dfs.sh     start-yarn.sh

11 web上查看启动的进程

Hdfs:--->主机名：50070

Yarn ---->主机名：8088

 

来源：https://www.cnblogs.com/sx66/p/10681216.html