ambari

一、准备工作 l 基本工具 1) 安装epel,epel是一个提供高质量软件包的项目。先检查主机上是否安装： rpm -q epel-release 2) 如果没有安装，使用rpm命令安装： rpm -ivh http: // dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm （也可手动下载安装包安装） 3) 成功后查看其所依附的软件包： rpm -qR epel-release 4) 导入key: rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL- 6 5) 安装yum-priority: yum install yum -priorities 6) 在主机仓库目录中可以查到epel.repo,命令： ①　 cd /etc/ yum .repos.d ②　 ls | grep epel 7) 安装pdsh: yum install pdsh l 配置/etc/hosts和/etc/sysconfig/network 以Ambari节点下修改hosts文件为例说明：（本机192.168.1.162/hadoop03） l 设置ssh免密码登录 略… l 关闭SELinux、防火墙、packagekit 1) 关闭SELinux ①　暂时关闭：

#!/bin/ bash # Program: # uninstall ambari automatic # History: # 2014 / 01 / 13 - Ivan - 2862099249 @qq.com - First release PATH =/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/ bin export PATH #取得集群的所有主机名，这里需要注意： /etc/ hosts配置的IP和主机名只能用一个空格分割 hostList =$( cat /etc/hosts | tail -n + 3 | cut -d ' ' -f 2 ) yumReposDir =/etc/ yum .repos.d/ alterNativesDir =/etc/alternatives/ pingCount = 5 logPre = TDP read -p " Please input your master hostname: " master master =${master:- " master " } ssh $master " ambari-server stop " #重置ambari数据库 ssh $master " ambari-server reset " for host in

1.问题描述 最近一台线上的主机硬盘完全坏掉，也就是说机器需要重新装了，这台主机安装的还有standby name节点，以及其他的组件。主机挂掉之后，Ambari上该主机对应的组件状态全部都为未知状态，所以也无法对其操作，最后能作的就是在该主机重新安装完系统之后，把原来安装的组件都恢复过来。 2.问题解决 （1）主机重装系统之后，基本准备工作要做好，jdk、免密登陆、防火墙、hosts等等一些基本的环境准备工作，不限于上面几项，最主要是要和其它主机的保持一致。 （2）安装Ambari-agent，这个是保证能够恢复Ambari上对应主机组件的服务。否则Ambari-server无法感知对应主机的状态。安装完成之后需要修改Ambari-agent的配置文件/etc/ambari-agent/conf/ambari-agent.ini 修改上面属性为Ambari-server的地址。 （3）我们知道对于大数据各个组件来说，各个机器上的配置等基本信息是一样的，所以我们只需要将其它主机上的对应组件copy到这个主机上就OK了。例如：我是将/usr/hdp下的东西全部都copy到重装主机上了，由于配置时不变的，也就是说重装主机上的各个组件也是不会变的。原文件下面也有一些文件软连接，注意一下。 由于我的坏掉的是standby name节点，我还需要将active节点的name

Hadoop 介绍 Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是：MapReduce和HDFS。MapReduce提供了对数据的分布式计算，HDFS提供了海量数据的分布式存储。 在Hadoop家族中，收入了20多个用于计算、分析、存储、监控、管理等组件和工具，这些家族成员极大的丰富了Hadoop的各方面的功能。 Hadoop常见家族成员 下面简单的列举几个常见的组件： Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。 Apache HBase: 是一个高可靠性、高性能、面向列

查看/usr/log/hue/error.log 发现如下问题 [24/Nov/2019 16:57:53 ] supervisor ERROR Process /usr/lib/hue/build/env/bin/hue kt_renewer exited abnormally. Restarting it. [24/Nov/2019 16:57:53 ] supervisor ERROR Process /usr/lib/hue/build/env/bin/hue runcpserver exited abnormally. Restarting it. [24/Nov/2019 16:57:54 ] supervisor ERROR Process /usr/lib/hue/build/env/bin/hue runcpserver exited abnormally. Restarting it. [24/Nov/2019 16:57:54 ] supervisor ERROR Process /usr/lib/hue/build/env/bin/hue kt_renewer exited abnormally. Restarting it. [24/Nov/2019 16:57:55 ] supervisor ERROR Process /usr/lib/hue