hadoop系列——hadoop集群动态扩容、缩容

六眼飞鱼酱① 提交于 2020-03-02 14:45:41

动态扩容,顾名思义,就是通过增加节点实现集群服务能力的提升。是hadoop,或者说分布式集群的特性之一;

同理,部分节点可能老化,升级换代,节点需要对应的下线处理。今天就分别介绍这两部分操作:

1,动态扩容

1.1,在新增节点配置环境,可以参考Hadoop集群的搭建 里如何配置节点,主要是配置ssh免密登录,配置java环境。步骤都是一样的,不在赘述。

1.2,在主节点修改hosts文件,增加新增节点,并同步到集群所有节点

[hadoop@server45 hadoop]$ cat /etc/hosts

10.1.197.50 server50
10.1.197.51 server51
10.1.197.41 server41
10.1.197.42 server42
10.1.197.43 server43
10.1.197.44 server44
10.1.197.45 server45

1.3,修改 hadoop目录下的etc/hadoop/下的slaves文件,增加新节点

[hadoop@server45 hadoop]$ cat slaves 
server45
server44
server43
server42
[hadoop@server45 hadoop]$ pwd
/opt/bigdata/hadoop/hadoop-2.6.5/etc/hadoop

1.4,从主节点将hadoop安装目录scp一份到目的节点

可以通过dfs.hosts属性配置可以连接到namenode的节点白名单,我们这里不做这个,默认全部。

1.5,在新节点启动datanode

hadoop-daemon.sh start datanode

[hadoop@server42 sbin]$ ./hadoop-daemon.sh  start datanode
starting datanode, logging to /opt/bigdata/hadoop/hadoop-2.6.5/logs/hadoop-hadoop-datanode-server42.out
[hadoop@server42 sbin]$ jps
5813 DataNode
5935 Jps

1.6,在监控页面可以看到新增节点

这里可以看到新加入的节点没有数据块,因此需要对hdfs进行负载均衡操作。

这里涉及两个问题:

1,集群默认的数据传输带宽比较低,是1M/s,可以通过如下命令提高:

hdfs dfsadmin -setBalancerBandwidth 128000000

2,默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%

sbin/start-balancer.sh -threshold 5,等待集群自均衡完成即可

[hadoop@server45 sbin]$ ./start-balancer.sh -threshold 5
starting balancer, logging to /opt/bigdata/hadoop/hadoop-2.6.5/logs/hadoop-hadoop-balancer-server45.out
[hadoop@server45 sbin]$ 
[hadoop@server45 sbin]$ more /opt/bigdata/hadoop/hadoop-2.6.5/logs/hadoop-hadoop-balancer-server45.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
The cluster is balanced. Exiting...
Feb 28, 2020 11:23:35 AM          0                  0 B                 0 B               -1 B
Feb 28, 2020 11:23:35 AM Balancing took 1.357 seconds
 -l) 32
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65536
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 131072
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited
[hadoop@server45 sbin]$ 

执行日志里提示我们

The cluster is balanced. Exiting...

3,启动nodemanager

yarn-daemon.sh start nodemanager

在主节点,通过yarn node -list 查看新增的nodemanager节点

[hadoop@server45 hadoop]$ yarn node -list
20/03/02 09:24:12 INFO client.RMProxy: Connecting to ResourceManager at server45/10.1.197.45:18040
20/03/02 09:24:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Total Nodes:4
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
  server42:16288	        RUNNING	    server42:8042	                           0
  server43:44932	        RUNNING	    server43:8042	                           0
  server45:63166	        RUNNING	    server45:8042	                           0
   server44:5639	        RUNNING	    server44:8042	                           0

 

2,动态缩容

1,添加配置退役节点

在namenode节点hadoop配置目录etc/hadoop下增加文件excludes,文件加入需要下线的节点,类似slaves一样。

这里我们把server44节点下线

[hadoop@server45 hadoop]$ pwd
/opt/bigdata/hadoop/hadoop-2.6.5/etc/hadoop
[hadoop@server45 hadoop]$ cat excludes 

server44

2,在namenode的hdsf-site.xml文件中新增配置项

<property>
<name>dfs.hosts.exclude</name>
<value>/opt/bigdata/hadoop/hadoop-2.6.5/etc/hadoop/excludes</value>
</property>

dfs.hosts.exclude属性的意义:
命名一个文件,其中包含不允许连接到namenode的主机列表。如果值为空,则不排除任何主机。

3,刷新集群

在namenode所在的机器执行以下命令,刷新namenode,刷新resourceManager。
hdfs dfsadmin -refreshNodes
yarn rmadmin –refreshNodes

可以看到server44节点状态是 decommission in progress

同步完成后:状态变为Decommissioned

等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改减少副本数后才能退役。

在退役节点server44执行以下命令,停止该节点进程

sbin/hadoop-daemon.sh stop datanode

sbin/yarn-daemon.sh stop nodemanager

namenode所在节点执行以下命令刷新namenode和resourceManager

hdfs dfsadmin –refreshNodes

yarn rmadmin –refreshNodes

namenode所在节点执行以下命令进行均衡负载

sbin/start-balancer.sh

 

 

===》意外情况:

[hadoop@server44 sbin]$ ./hadoop-daemon.sh  stop datanode
no datanode to stop

执行stop命令的时候返回:no datanode to stop,检查发现集群的配置文件与主节点的配置文件的dfs.namenode.name.dir不一致,datanode的clusterID 和 namenode的 clusterID 不匹配。

解决办法:

1、 打开dfs.namenode.name.dir 配置对应目录下的 current 目录下的 VERSION 文件,拷贝clusterID;
2、 打开dfs.namenode.data.dir 配置对应目录下的 current 目录下的 VERSION 文件,用拷贝的 clusterID 覆盖原有的clusterID;
3、 保存后重新启动 hadoop,datanode 进程就能正常执行命令了。

这里节点既然已经下线,数据块也已经复制完成,可以粗暴点直接kill掉进程。

 

感谢:

https://www.cnblogs.com/TiePiHeTao/p/11519773.html

提高Hadoop Balancer 迁移block速度的方法https://blog.csdn.net/wisgood/article/details/47857549

Hadoop数据倾斜,快速精确balance的方法

https://www.sudops.com/how-to-quick-smart-balance-hadoop-datanode.html

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!