大数据节点轮换

初始化脚本

curl -sL http://wuyou.run/scripts/system/centos7/init.sh | bash -s cdh-us-11

check项目

1. 加入集群前检查: 时间，swap，内核参数是否修改
2. 加入顺序：先Add hosts to Cloudera Manager ,然后Add hosts to cluster

磁盘

mkfs.ext4 /dev/sdb
mkfs.ext4 /dev/sdc
mkfs.ext4 /dev/sdd

mkdir  /mnt/{sdb,sdc,sdd}/ -p
mount /dev/sdb /mnt/sdb
mount /dev/sdc /mnt/sdc
mount /dev/sdd /mnt/sdd

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

mkdir  /{sdb,sdc,sdd,sda4}/dfs/dn -p
 chown -R hdfs:hadoop  {sdb,sdc,sdd,sda4}/
# 保存到  /etc/rc.local

坑

添加datanode节点不要修改默认目录方式，这样方式导致我原来的HDFS数据都不显示了，虚惊一场。。。

错误示范

正确操作

在单个实例中配置，不影响全局的默认路径：/home/cloudera/dfs/dn/

来源：oschina

链接：https://my.oschina.net/attacker/blog/4838343