离线CDH5搭建

为什么会出现CDH?

1:Apache Hadoop 版本管理换乱
2:部署过程繁琐,升级过程复杂
3:兼容性查安全性低

Hadoop发行版:

Apache Hadoop
Cloudera’s Distribution Including Apache Hadoop（CDH）
Hortonworks Data Platform (HDP)
MapR
EMR

什么是CDH?

Cloudera’s Distribution Including Apache Hadoop（CDH）
是Hadoop众多分支的一种,由Cloudera维护,是基于稳定的Apache Hadoop去构建的
CDH提供了Hadoop的核心能力分布式计算与可扩展存储以及基于Web的用户界面
在这里插入图片描述

CDH的优点:

1: 版本划分清晰
2:版本更新速度快
3:支持Kerberos安全认证
4:文档清晰
5;支持多种安装方式(Clouder Manager , Yum , Rmp ,Tarball)
本次介绍安装CDH的方式为Clouder Manager方式

ClouderaManager

Clouder Manager 是一个管理CDH端到端的应用:
简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

主要功能管理监控诊断集成 :

• 管理：对集群进行管理，如添加、删除节点等操作。
• 监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
• 诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
• 集成：多组件进行整合。

1: 集群管理

添加删除集群
启动停止重启集群
重命名集群
全体集权配置
移动主机
2: 主机管理
查看主机详细
主机检查
集权添加主机
分配机架
主机模板
维护模式
删除主机
3: 维护管理:
添加服务
对比不同集群上的额服务配置
启动停止重启服务
滚动重启
终止客户端正在执行的命令
删除服务
重命名服务
配置最大进程数
4: 角色管理:
角色实例
添加角色实例
启动停止重启角色实例
解除重新授权
删除角色实例
角色组
创建角色组
管理角色组
5: 资源管理:
动态资源池
静态服务池
6: 用户管理安全管理

在这里插入图片描述

Clouder Manager架构:

在这里插入图片描述
Cloudera Manager Server由以下几个部分组成：

Agent: 安装在每台主机上, 负责启动和停止进程,执行各种监视,报警和报告功能
Server:
管理控制台服务器和应用程序逻辑
负责软件的安装配置
启动和停止服务
管理服务运行的集群
Mangement Service:
由一组角色组成的服务,执行各种监视,报警呵呵报告功能
Database: 存储和监视信息,通常情况下,多个逻辑数据库在一个或者多个数据库服务器上运行,例如Clouder的管理和监控角色使用不同的逻辑数据库
Cloudera Repository：软件由Cloudera 管理分布存储库。
Clients：是用于与服务器进行交互的接口：
Admin Console ：基于Web的用户界面与管理员管理集群和Cloudera管理。
API ：与开发人员创建自定义的Cloudera Manager应用程序的API。

ClouderaManager 部署:

1: 系统环境准备
2: ClouderaManager 安装
1:准备三台虚拟机分贝是 cdh1 cdh2 cdh3 内存分贝为 10G 2G 2G(一共16G)
2: 网络配置(三台机器都要修改):
vim /etc/sysconfig/network-scripts/ifcfg-eth0

vim /etc/hosts(三台机器都要修改)

3: SSH免密登录(三台机器都要修改):
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
ssh-copy-id 节点名称
4:防火墙关闭(三台机器都要修改):
service iptables stop
chkconfig iptables off
5: vim /etc/selinux/config (SELINUX=disabled)
6: 安装JDK环境变量(三台机器都要安装),修改/etc/profile 文件

这里需要强调一下CDH5默认识别的jdk路径为：/usr/java/default 如果安装JDK的路径不是这个的话会出现报错:显示拒绝连接也就是部署客户端配置失败

在这里插入图片描述
解决办法:
可以将将jdk的路径使用软连接的方式将jdk映射到default中，软连接建立命令：
(如果usr中么有java或者default 需要自己建立否则还会报错)
格式: ln -s sourcedir sinkdir
#例如：
ln -s /opt/java/jdk/* /usr/java/default/
7:配置NTP时间同步( 每台节点):
yun install ntp
chkconfig ntp on
ntpdate cn.ntp.org.cn(设置时间同步)
8: 安装Mysql(主节点):
yum install mysql-server
service mysqld start
chkconfig mysqld on
mysql 进入mysql库将user表里面的数据删除掉(实际上就是删除用户)
然后重新新建用户(让root用户有远程登录的权限):
GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘123’ WITH GRANT OPTION;
刷新一下: flush privileges
9: 下载第三方依赖包(每台节点):
yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

ClouderaManager离线安装

1:安装Cloudera Manager Server、Agent
创建目录(每台节点):
mkdir /opt/clouder-manager
准备好本地压缩包(主节点)
tar xf cloudera-manager*.tar.gz -C /opt/cloudera-manager
在这里插入图片描述
2: 配置CM Agent（Server、Agent）:
修改主节点名称
vim /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini

3: 创建用户cloudera-scm(每台节点)
useradd --system --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm
4: 创建Parcel目录
Server节点(主节点):
mkdir -p /opt/cloudera/parcel-repo(中央库)
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
在这里插入图片描述
Agent节点(每个节点)
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
5: 配置CM Server数据库
拷贝mysql jar文件到目录 /usr/share/java/(如果java目录不存在直接新建就好了)
注意jar包名称要修改为mysql-connector-java.jar
在这里插入图片描述
grant all on . to ‘temp’@’%’ identified by ‘temp’ with grant option;

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h cdh1 -utemp -ptemp --scm-host cdh1 scm scm scm(主节点)
格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
6: 制作本地源:
(下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json，将这两个文件放到server节点的/opt/cloudera/parcel-repo下)
在这里插入图片描述
因为采取的是分发机制所以启动之前先将主节点的东西发给另外两个节点:

7: 启动CM Server、Agent
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start(主节点)
Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装
./cloudera-scm-agent start(每台节点)
在server启动的过程中我们可以去监控server的日志文件
在这里插入图片描述
用户名和密码都是admin

选择免费版

选择CDH版本