Hadoop网络配置以及集群搭建（一）

网络配置，虚拟机克隆（Centos7）
1.在/etc/hostname 修改主机名称
2.在/etc/sysconfig/network-scripts里面syscfg-ens33里面有相关的网络配置
3.ifconfig检查ip地址是否正确

1.scp 安全拷贝
可以实现服务器与服务器之间的数据拷贝
语法：
scp -r p d i r / pdir/ pdir/fname u s e r @ h a d o o p user@hadoop user@hadoophost: p d i r / pdir/ pdir/fname
递归文件路径/名称目的用户@主机：目的路径/名称
在101上把opt/module的软件拷贝到102上
scp -r /opt/module root@hadoop102:/opt/module
在103上从101中拿取软件
sudo scp -r root@hadoop101/opt/module ./ #103的当前目录下
在103上从101中拿取软件给104
sudo scp -r root@hadoop101/opt/module root@hadoop104:/opt/module

2.rsync 远程同步工具（只对差异的文件做更新）用于备份和镜像。速度快，避免复制相同内容，支持符号链接
rsync -rvl p d i r / pdir/ pdir/fname u s e r @ h a d o o p user@hadoop user@hadoophost: p d i r / pdir/ pdir/fname
命令递归，显示复制过程，拷贝符号链接

3.xsync 集群的分发脚本
需求：循环复制文件到所有节点的相同目录下
#!/bin/bash
#1获取输入参数个数
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2获取文件名称
p1=$1
fname=basename $p1 #basename是拿到文件名
echo fname=$fname
#3获取上级目录到绝对路径
pdir=cd -P $(dirname $p1); pwd #dirname是获取绝对路径
echo pdir=KaTeX parse error: Expected 'EOF', got '#' at position 6: pdir #̲4后去当前用户名称 user=…host--------------
rsync -rvl p d i r / pdir/ pdir/fname u s e r @ n o d e user@node user@nodehost:$pdir
done

4.集群配置

在这里插入图片描述

NameNode和SecondaryNode占用的内存几乎为1:1 所以不能放在同一个虚拟机上

在node2上面启动NameNode之后node4上面会有辅助NameNode
但需要在其他虚拟机上启动datanode（这是按照自己安排好的集群配置启动的，只能有一个namenode）

4.ssh无秘钥登录（在对应的虚拟机上会有相应的秘钥文件，可以进行查看）
在进行ssh无秘钥设置之后，可以随意切换虚拟机
可以直接访问都是访问authorized_keys这个文件,对自己的虚拟机也需要配置
在这里插入图片描述
在node2中有NameNode节点，所以需要有免密登陆。同样在node3中因为有resoursemanager这个节点所以他也需要配置免密登陆
=.ssh文件下的文件功能解释
known_hosts：记录ssh访问过得计算机的公钥
id_rsa：生成的私钥
id_rsa.pub：生成的公钥
authorized_keys：存放授权过得无秘登录服务器公钥==

来源：oschina

链接：https://my.oschina.net/u/4404772/blog/4364110

标签

rsync

Hadoop

katex

bash

Got

CentOS