1. 技术文章
  2. CDH6.2.0集群搭建

CDH6.2.0集群搭建

由 冷暖自知 提交于 2020-10-28 08:16:19

1、准备工作

1.1 首先我们要准备三台centos7机器，这三台centos7机器的ip、hostname分别为

IP hostname
192.168.1.25 master
192.168.1.26 slave01
192.168.1.27 slave02

在这里插入图片描述
注：这三台机器都要求可以访问外网

1.2 使用到的工具版本说明

centos版本：CentOS-7.4-x86_64-DVD-1708.iso
Clouder Manage版本：6.2.0
CDH parcel版本：6.2.0
JDK版本：oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
MySQL版本：5.7



下载地址：
Clouder Manager
CDH parcel

2、节点服务器配置

2.1 hostname设置

# master节点
hostnamectl set-hostname master

# slave01节点
hostnamectl set-hostname slave01

# slave02节点
hostnamectl set-hostname slave02

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述
slave02节点：
在这里插入图片描述




2.2 /etc/hosts设置

vi /etc/hosts

192.168.1.25 master
192.168.1.26 slave01
192.168.1.27 slave02

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述
slave02节点：
在这里插入图片描述




2.3 关闭防火墙

# 查看状态
firewall-cmd --state

# 停止firewall
systemctl stop firewalld.service

# 禁止firewall开机启动
systemctl disable firewalld.service

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述
slave02节点：
在这里插入图片描述




2.3 关闭selinux

# 修改selinux
vi /etc/selinux/config

SELINUX=disabled

master节点：
在这里插入图片描述
在这里插入图片描述
slave01节点、slave02节点同master节点一样的操作。


2.3 三台机器免密登录设置

# 创建私钥
ssh-keygen -t rsa  

# 将创建私钥copy到master节点
ssh-copy-id root@master

# 将创建私钥copy到slave01节点
ssh-copy-id root@slave01

# 将创建私钥copy到slave02节点
ssh-copy-id root@slave02

master节点：
在这里插入图片描述
在这里插入图片描述
测试
在这里插入图片描述
slave01节点、slave02节点同master节点一样的操作。




3、安装CDH

3.1 在master、slave01、slave02三个节点都执行以下语句，创建相关目录

mkdir -p /data/software/
mkdir -p /data/software/jdk\&cm/
mkdir -p /data/software/mysql/
mkdir -p /data/software/parcel/

在这里插入图片描述

3.2 将对应的安装文件上传到对应的目录下(三个节点都要操作)

/data/software/jdk&cm目录下：
在这里插入图片描述
/data/software/parcel目录下：
在这里插入图片描述
/data/software/mysql目录：
在这里插入图片描述
/data/software/目录下：
在这里插入图片描述






3.3 安装Clouder Manage

3.3.1 新建目录/etc/yum.repos.d/，将/data/software/目录下的cloudera-manager.repo文件，copy到/etc/yum.repos.d/目录下，

mv /data/software/cloudera-manager.repo /etc/yum.repos.d/

3.3.2 进入到/data/software/jdk&cm/目录中，

# 查看待安装的cloudear的版本
yum list | grep cloudera

# 执行安装命令(同时安装jdk、cloudear manager)
yum -y install *.rpm

在这里插入图片描述
下图显示cloudera-manager-daemons、cloudera-manager-server安装失败，
在这里插入图片描述
重新安装cloudera-manager-daemons、cloudera-manager-server


# 安装 cloudera-manager-daemons(masters、lave01、slave02节点不需要安装)
yum -y install cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

# 安装 cloudera-manager-server(master节点需要安装，slave01、slave02节点不需要安装)
yum -y install cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

在这里插入图片描述
在这里插入图片描述
slave01、slave02同样方式安装cloudera manager,只是不需要安装cloudera-manager-server。

3.3.3 配置java 环境变量

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

master节点:
在这里插入图片描述
slave01、slave02节点同样的操作。
在这里插入图片描述
在这里插入图片描述



3.3.4 安装mysql数据库(只需要master节点安装mysql,slave01、slave02不需要安装)

进入到/data/software/mysql/目录，参考Centos7服务器上在线安装mysql5.7进行安装

mysql安装完成后，在数据库中执行以下语句：

CREATE DATABASE  scm CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';

CREATE DATABASE  amon CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';

CREATE DATABASE  rman CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';

CREATE DATABASE  hue CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';

CREATE DATABASE  metastore CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';

CREATE DATABASE  sentry CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry';

CREATE DATABASE  nav CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav';

CREATE DATABASE  navms CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms';

CREATE DATABASE  oozie CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

在这里插入图片描述
查看数据库：
在这里插入图片描述

3.3.4 新建目录mkdir -p /usr/share/java/，将/data/software/mysql/目录下的mysql驱动包:mysql-connector-java-5.1.44.jar重命为mysql-connector-java.jar,然后copy到/usr/share/java/目录下(三个节点都要执行)

mkdir -p /usr/share/java/

cp /data/software/mysql/mysql-connector-java-5.1.44.jar /data/software/mysql/mysql-connector-java.jar

cp /data/software/mysql/mysql-connector-java.jar /usr/share/java/

3.3.5 在master节点执行以下语句，配置scm server数据库

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

在这里插入图片描述

4、CDH集群配置

4.1 启动scm server

# 启动scm-agent(所有节点)
systemctl stop cloudera-scm-agent
# 启动scm-server(master节点)
systemctl start cloudera-scm-server

# 查看日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

在这里插入图片描述
启动服务后，在日志中看到以下内容就表示启动成功了

2020-10-27 08:13:31,567 INFO WebServerImpl:org.eclipse.jetty.server.Server: Started @142030ms
2020-10-27 08:13:31,567 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

在这里插入图片描述

4.2 浏览器中访问http://master:7180/进入到cloudear manager界面,用户名admin,密码admin,登录

在这里插入图片描述

4.3 登录后进行集群配置

直接点继续
在这里插入图片描述
勾选“是的”，然后点继续
在这里插入图片描述
选择“免费”，点继续
在这里插入图片描述
继续
在这里插入图片描述
填写集群名子后，点继续
在这里插入图片描述
如下图输入主机名，点搜索，然后点继续
在这里插入图片描述
进入如下图界面，这里可以看到选听cdh版本与我们安装的版本不一致，
在这里插入图片描述
点击上图中的“更多选项”，查看“Parcel 存储库设置”，其中本地 Parcel 存储库路径为“/opt/cloudera/parcel-repo”
在这里插入图片描述
解决方法是我们需要将/data/software/parcel/目录下的文件copy到/opt/cloudera/parcel-repo/止录下（三个节点都要执行这个操作），然后重启















mkdir -p /opt/cloudera/parcel-repo
cd /data/software/parcel/
cp -r ./* /opt/cloudera/parcel-repo/

在这里插入图片描述
在这里插入图片描述
上面操作完成后，选停止服务，然后再启动服务，刷新页面，如下图就可以看到与我们安装版本一致的版本了，然后勾选，点继续
在这里插入图片描述
如下图，jdk我们已经安装过了，所以不勾选，直接点继续
在这里插入图片描述
输入密码，点继续
在这里插入图片描述
安装完成后，点继续
在这里插入图片描述








如下图，选最下面一项，然后点继续
在这里插入图片描述
如下图勾选"自定义"，然后勾选，要安装的组件，然后点继续
在这里插入图片描述
在这里插入图片描述



在这里插入图片描述
填写相关数据库的名称、用户名、密码，点连接测试，测试成功后，点继续
在这里插入图片描述
点继续
在这里插入图片描述
点继续
在这里插入图片描述
在这里插入图片描述






标签
mysql
Cloudera
java
CentOS
JDK
易学教程内所有资源均来自网络或用户发布的内容，如有违反法律规定的内容欢迎反馈！
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!