源码安装对于新手来说往往费时费力,搭建好hadoop环境之后,再搭建hadoop生态中其他工具就更具挑战;此外,搭建好之后对于生态工具的管理以及监控也是不小的挑战,因此ambari及CDH并应运而生。ambari及CDH的诞生极大简化了大数据集群的配置安装及监控管理。这篇文章以ambari大数据集群的安装配置为例,记录整个过程。
PS: 本文中用到的安装包均可从百度网盘获取:https://pan.baidu.com/s/1povy3VrUgNyd2ezWHbxFKA 提取密码: ufqd
前提假设:
1. 基础系统环境Centos 7.x,预备3台物理机或虚拟机或docker容器 //由于ambari安装比源码更耗资源,建议每台主机内存不少于4G,如果要加装其他工具,建议分配更大
由于资源有限,本次示例以docker容器方式安装,分别规划了master(172.18.0.251), worker1(172.18.0.252), worker2(172.18.0.253)三个容器
容器快速入门可参考地址: https://blog.51cto.com/taoismli/category8.html
2. 每台主机(容器)已配置好JDK
centos配置JDK可参考地址: https://blog.51cto.com/taoismli/1963896
3. 每台主机(容器)之间已配置相互之间免密码登录
centos配置免密登录可参考地址: https://blog.51cto.com/taoismli/2056275
4. 集群主机之间配置NTP,保障时间同步
centos配置NTP可参考地址: https://blog.51cto.com/taoismli/2494056
5. 每台主机禁用防火墙以及SELinux
配置方式可参考地址: https://blog.51cto.com/taoismli/2162750
6. Optional:安装MySQL数据库 //安装HIVE时,需要配置HIVE元数据库,可选择自定义的关系型数据库也可使用默认的postgre数据库
本次示例以docker实例了MySQL数据库作为HIVE元数据库
一)每台主机基础环境插件安装
yum install -y openssl
yum -y install ruby*
yum -y install redhat-lsb*
yum -y install snappy*
yum -y install gcc
二)编辑每台主机/etc/hosts文件,将所有主机的ip和主机名映射配置在文件中
三)配置本地源
四)
来源:oschina
链接:https://my.oschina.net/u/4346514/blog/4287461