ambari

Ambari学习笔记:以本地仓库自动搭建hadoop集群环境

╄→尐↘猪︶ㄣ 提交于 2019-12-03 19:34:00
测试平台:Ubuntu_server_16.04_x64 准备好一台虚拟机,安装vmtool以设置共享文件夹: sudo mkdir /mnt/cdrom mount -tro iso9660 /dev/cdrom /mnt/cdrom sudo tar -vxzf /mnt/cdrom/VMwareTools cd vmware -tools -distrib . /vmware -install . pl rm -rf .. /vmware -tools -distrib ln -s /mnt/hgfs/shared_dir /home/daya/shared_dir(此句在重启后执行) 创建好root账户: sudo passwd root Requirements 首先看下abmari的一些前置需求与兼容性,看是否满足: 满足 浏览器需要安装Ubuntu桌面,必要时再进行安装。 安装openssl: sudo apt-get install openssh-server -y 安装Python2.7: sudo apt-get install python2.7 -y 安装JDK: cp /home/daya/shared_dir/jdk- 8 u144-linux-x64 .tar .gz /usr/ tar -zxvf jdk- 8 u144-linux-x64

虚拟机安装Ambari和Hadoop相关服务

丶灬走出姿态 提交于 2019-12-03 19:32:56
一、环境准备 通过vmware 三台虚拟 机 172.16.120.15, 172.16.120.25,172.16.120.35 系统:centOS6.7 镜像地址:https://www.centos.org/download/ 镜像说明: CentOS-7.0-x86_64-DVD-1503-01.iso 标准安装版,一般下载这个就可以了(推荐) CentOS-7.0-x86_64-NetInstall-1503-01.iso 网络安装镜像(从网络安装或者救援系统) CentOS-7.0-x86_64-Everything-1503-01.iso 对完整版安装盘的软件进行补充,集成所有软件。(包含centos7的一套完整的软件包,可以用来安装系统或者填充本地镜像) CentOS-7.0-x86_64-GnomeLive-1503-01.iso GNOME桌面版 CentOS-7.0-x86_64-KdeLive-1503-01.iso KDE桌面版 CentOS-7.0-x86_64-livecd-1503-01.iso 光盘上运行的系统,类拟于winpe CentOS-7.0-x86_64-minimal-1503-01.iso 精简版,自带的软件最少 网络设置: (1)VMWARE如果主机和虚拟机需要通信,需要在“设置”->"网络适配器“设置为桥接模式。说明可参考:

ambari下线机器节点流程步骤

為{幸葍}努か 提交于 2019-12-03 19:32:31
1.下线前如果数据不均衡,需要均衡一下数据: hdfs dfsadmin -setBalancerBandwidth 67108864 hdfs balancer -threshold 5 2.ambari WEB管理平台操作NodeManager decommission 3.ambari WEB管理平台操作HRegonServer decommission 4.ambari WEB管理平台操作DataNode decommission 5.ambari WEB管理平台操作停止此节点的所有组件,stop all components 6.停止ambari-agent ambari-agent stop 7.ambari WEB管理平台操作delete host 8.找合适时间重启NameNode和ResourceManager 9.如果此机器上有zookeeper server,delete host之后,找合适时间restart zookeeper server 10.结束 有问题加QQ群:877769335 或者用QQ扫描二维码加群: 来源: CSDN 作者: loveProLife 链接: https://blog.csdn.net/lucia555/article/details/83008813

Ambari安装,配置和部署Hadoop集群

孤街浪徒 提交于 2019-12-03 19:32:12
使用浏览器中运行的Ambari安装向导来安装,配置和部署集群,如下所示: 1.登录到Apache Ambari: 启动Ambari服务后,使用Web浏览器打开Ambari Web 将浏览器指向 http:// <your.ambari.server>:8080 ,其中 <your.ambari.server> 是ambari服务器主机的名称 使用默认用户名/密码登录Ambari服务器:admin / admin。稍后更改这些凭据 2.启动Ambari安装向导: 从Ambari Welcome页面,选择启动安装向导 3.为您的集群命名: 在“为您的群集命名”中,键入要创建的群集的名称。名称中不要使用空格或特殊字符。 点击下一步 4.选择版本: 在此步骤中,您将选择群集的软件版本和交付方式。 使用公共存储库需要Internet连接。 使用本地存储库需要您在网络中可用的存储库中配置软件 选择堆栈 :可用的HDP版本显示在TAB中。 当您选择TAB时,Ambari会尝试发现该HDP堆栈的特定版本可用。 该列表显示在DROPDOWN中。 对于该特定版本,将显示可用的服务,其中的版本显示在TABLE中。 选择版本 :如果Ambari可以访问Internet,则特定版本将作为选项列在DROPDOWN中。 如果您有未列出的版本的版本定义文件,您可以单击添加版本…并上载VDF文件。 此外

Ambari详细安装步骤

徘徊边缘 提交于 2019-12-03 19:31:46
Ambari详细安装步骤 一.安装前的准备 (前言:先使用ios镜像文件创建一个新的虚拟机,建议至少虚拟机配置5G,硬盘50GB,一个空的虚拟机可能会遇到vi编辑器上下左右出现ABCD乱码问题,vmtools工具未安装,虚拟机ip地址重启自动更改等问题,请大家耐心按照关键字自行百度解决) 1.下载相应安装包 所有依赖的安装包及下载地址可从下面的网址获取: https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.0.0/bk_ambari-installation/content/ambari_repositories.html https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.0.0/bk_ambari-installation/content/hdp_26_repositories.html 先确保按照目录下有以下文件:(6个) ambari-2.6.0.0-ubuntu16.tar.gz ambari.list HDP-2.6.3.0-ubuntu16-deb.tar.gz hdp.list HDP-UTILS-1.1.0.21-ubuntu16.tar.gz jdk-8u144-linux-x64.tar.gz 2.配置免密登入 命令-先安装SSH服务:sudo agt

Ambari2.6安装部署Hadoop2.7

匿名 (未验证) 提交于 2019-12-03 00:40:02
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了LDAP和Active Directory。 之所以选择Ambari部署hadoop而不是CDH,是因为CDH最新版本只支持Hadoop2.6.X,Ambari最新版本支持Hadoop2.7.3。 一、安装部署参考官网http://ambari.apache.org/ 及简书https://www.jianshu.com/p/73f9670f71cf?,主要分以下几步: 1、节点互信 2、关闭防火墙、selinux 3、安装ambari-server 4、设置ambari-server 5、图形界面部署hadoop各组件 //-->

CentOS 7使用本地仓库安装ambari 2.4,搭建hadoop集群环境(一)

匿名 (未验证) 提交于 2019-12-03 00:32:02
一、安装准备 硬件环境 两台家用电脑,一台台式机,使用VMWare安装两台CentOS 7虚拟机(主机名server1,server2);一台笔记本电脑,使用VMWare安装一台CentOS 7 虚拟机(server3)。为了方便,三台虚拟机网络连接使用桥接方式。这里注意一点,要在VMWare里进入“编辑->虚拟网络编辑器”,连接桥接到的网卡。开启虚拟机后互相PING一下,能PING通代表网络是通的。 下载ambari和HDP离线安装包 下载地址 ,这里我选择的版本是ambari 2.4.0.1 ,HDP安装包选择的版本是2.5.3.0,下载地址见下图 二、安装Apache服务器 这里我使用Apache来当作HTTP服务器,在server1上使用yum直接安装。 三、创建yum源配置文件 四、关闭防火墙和SELinux systemctl stop firewalld.service #停止firewall firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running) Cryptography Extension (JCE) Policy Files 7 文章来源: CentOS 7使用本地仓库安装ambari 2.4,搭建hadoop集群环境(一)

Ambari报错:SSLError: Failed to connect. Please check openssl library versions.

匿名 (未验证) 提交于 2019-12-03 00:22:01
ERROR 2018-03-08 15:02:25,223 NetUtil.py:89 - SSLError: Failed to connect. Please check openssl library versions. 有可能是openssl版本不匹配,因环境问题无法升级openssl版本,所以可以进行如下修改: 因为python 2.7.5有的版本(或更高版本)增加了certificate verification,正是因为这个特性导致ambari-agent无法连接server。 # vim /etc/python/cert-verification.cfg [https] verify=disable 修改为verify=disable,就可以正常注册。 文章来源: Ambari报错:SSLError: Failed to connect. Please check openssl library versions.

ambari一直报错,连不上数据库

匿名 (未验证) 提交于 2019-12-02 22:56:40
26 Jul 2018 21:19:00,696 ERROR [main] DBAccessorImpl:109 - Error while creating database accessor java.sql.SQLException: Access denied for user ‘ambari‘@‘node5(主机名)‘ (using password: YES) use mysql; select * from user order by `User` GRANT ALL PRIVILEGES ON *.* TO ‘ambari‘ @ ‘%‘ ; GRANT ALL PRIVILEGES ON *.* TO ‘ambari‘ @ ‘localhost‘ ; GRANT ALL PRIVILEGES ON *.* TO ‘ambari‘ @ ‘YOUR_AMBARI_HOSTNMAE‘ ; GRANT ALL PRIVILEGES ON *.* TO ‘ambari‘ @ ‘10.166.2.206‘ ; FLUSH PRIVILEGES ; 原文:https://www.cnblogs.com/yaoyao66123/p/9374963.html

Ambari 管理hadoop、hbase、zookeeper节点

泄露秘密 提交于 2019-12-02 02:43:39
简介: Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。 环境 现有主机: 172.18.75.248 dn1.ambari 172.18.75.247 dn2.ambari 172.18.75.249 nn1.ambari 172.18.75.250 nn2.ambari 172.18.191.149 yarn.ambari 新增主机: 172.18.75.251 dn3.ambari 172.18.75.252 dn4.ambari 172.18.75.253 dn5.ambari 1、 添加/删除Hadoop节点 Ambari有4大板块,分别是Dashboard(仪表盘)、Services(服务)、Host(主机)、Alerts(告警)、Admin(管理)等 (1)、在添加服务之前,先对主机进行管理,Add New Hosts (2)、填写主机的host names 此处新增