ambari大数据集群+HIVE安装配置

三世轮回 提交于 2020-08-13 23:03:43

        源码安装对于新手来说往往费时费力,搭建好hadoop环境之后,再搭建hadoop生态中其他工具就更具挑战;此外,搭建好之后对于生态工具的管理以及监控也是不小的挑战,因此ambari及CDH并应运而生。ambari及CDH的诞生极大简化了大数据集群的配置安装及监控管理。这篇文章以ambari大数据集群的安装配置为例,记录整个过程。

        

        PS: 本文中用到的安装包均可从百度网盘获取:https://pan.baidu.com/s/1povy3VrUgNyd2ezWHbxFKA 提取密码: ufqd

        前提假设:

            1.  基础系统环境Centos 7.x,预备3台物理机或虚拟机或docker容器        //由于ambari安装比源码更耗资源,建议每台主机内存不少于4G,如果要加装其他工具,建议分配更大

                由于资源有限,本次示例以docker容器方式安装,分别规划了master(172.18.0.251), worker1(172.18.0.252), worker2(172.18.0.253)三个容器

                容器快速入门可参考地址: https://blog.51cto.com/taoismli/category8.html

            2. 每台主机(容器)已配置好JDK

                centos配置JDK可参考地址: https://blog.51cto.com/taoismli/1963896

            3. 每台主机(容器)之间已配置相互之间免密码登录

                centos配置免密登录可参考地址: https://blog.51cto.com/taoismli/2056275

            4. 集群主机之间配置NTP,保障时间同步

                centos配置NTP可参考地址: https://blog.51cto.com/taoismli/2494056

            5. 每台主机禁用防火墙以及SELinux

                 配置方式可参考地址: https://blog.51cto.com/taoismli/2162750

            6. Optional:安装MySQL数据库            //安装HIVE时,需要配置HIVE元数据库,可选择自定义的关系型数据库也可使用默认的postgre数据库

                本次示例以docker实例了MySQL数据库作为HIVE元数据库


一)每台主机基础环境插件安装

yum install -y openssl
yum -y install ruby*
yum -y install redhat-lsb*
yum -y install snappy*
yum -y install gcc





二)编辑每台主机/etc/hosts文件,将所有主机的ip和主机名映射配置在文件中



三)配置本地源



四)

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!