Ambari安装,配置和部署Hadoop集群

孤街浪徒 提交于 2019-12-03 19:32:12

使用浏览器中运行的Ambari安装向导来安装,配置和部署集群,如下所示:

1.登录到Apache Ambari:

启动Ambari服务后,使用Web浏览器打开Ambari Web

  1. 将浏览器指向http:// <your.ambari.server>:8080,其中<your.ambari.server>是ambari服务器主机的名称
  2. 使用默认用户名/密码登录Ambari服务器:admin / admin。稍后更改这些凭据

2.启动Ambari安装向导:

从Ambari Welcome页面,选择启动安装向导

3.为您的集群命名:

  1. 在“为您的群集命名”中,键入要创建的群集的名称。名称中不要使用空格或特殊字符。
  2. 点击下一步

4.选择版本:

在此步骤中,您将选择群集的软件版本和交付方式。 使用公共存储库需要Internet连接。 使用本地存储库需要您在网络中可用的存储库中配置软件

  1. 选择堆栈:可用的HDP版本显示在TAB中。 当您选择TAB时,Ambari会尝试发现该HDP堆栈的特定版本可用。 该列表显示在DROPDOWN中。 对于该特定版本,将显示可用的服务,其中的版本显示在TABLE中。

  2. 选择版本:如果Ambari可以访问Internet,则特定版本将作为选项列在DROPDOWN中。 如果您有未列出的版本的版本定义文件,您可以单击添加版本…并上载VDF文件。 此外,如果您无法访问Internet或者不确定要安装哪个特定版本,则默认版本定义也包含在列表中。
    Tips:如果您的Ambari服务器可以访问Internet,但必须通过Internet代理服务器,请确保为Internet代理设置Ambari服务器。有关详细信息,请参阅设置Ambari的Internet代理服务器

  3. 选择存储库:Ambari允许您选择从公共存储库(如果您有Internet访问权限)或本地存储库安装软件。 无论您的选择如何,您都可以编辑存储库的基本URL。 将显示可用的操作系统,您可以从列表中添加/删除操作系统以适应您的环境。


    UI显示基于操作系统系列(OS系列)的存储库基本URL。请确保基于正在运行的操作系统设置正确的操作系统系列。下表将OS系列映射到操作系统。
系统类别 操作系统
redhat7 Red Hat 7, CentOS 7, Oracle Linux 7
redhat6 Red Hat 6, CentOS 6, Oracle Linux 6
sles11 SUSE Linux Enterprise Server 11
sles12 SUSE Linux Enterprise Server 12
ubuntu12 Ubuntu 12
ubuntu14 Ubuntu 14
debian7 Debian 7

4. 高级选项
跳过存储库基本URL验证(高级):当您单击下一步时,Ambari将尝试连接到存储库基本URL,并验证您已输入验证存储库。 如果没有,将显示一个错误,您必须在继续之前纠正。
使用RedHat Satellite / Spacewalk:仅当计划使用本地存储库时,才会启用此选项。 当您为软件存储库选择此选项时,您负责配置Satellite / Spacewalk中的存储库通道,并确认所选群集版本的存储库在群集中的主机上可用。

5.安装选项

为了构建集群,安装向导将提示您有关如何设置它的一般信息。 您需要提供每个主机的FQDN。 该向导还需要访问在设置无密码SSH中创建的私钥文件。 使用主机名和密钥文件信息,向导可以定位,访问和与群集中的所有主机安全交互。

  1. 用“目标主机”文本框输入主机名列表,每行一个。您可以使用括号内的范围来表示较大的主机集。例如,对于host01.domain通过host10.domain使用host [01-10] .domain

  2. 如果要让Ambari使用SSH在所有主机上自动安装Ambari代理,请选择提供您的SSH私钥,并使用主机注册信息部分中的选择文件按钮来查找与您安装的公钥匹配的私钥文件 早于所有主机,或者手动将密钥剪切并粘贴到文本框中。

  3. 填写您选择的SSH密钥的用户名。 如果不想使用root用户,则必须为可以在不输入密码的情况下执行sudo的帐户提供用户名。 如果您的环境中的主机上的SSH配置为22以外的端口,您也可以更改它。

  4. 如果您不希望Ambari自动安装Ambari agent,请选择执行手动注册。 有关更多信息,请参阅手动安装Ambari代理。

  5. 选择注册并确认以继续。

6.确认主机

确认主机提示您确认Ambari已为集群找到正确的主机,并检查这些主机以确保它们具有继续安装所需的正确目录,软件包和进程。

如果错误地选择了任何主机,您可以通过选择相应的复选框并单击灰色的“删除所选项”按钮来删除它们。要删除单个主机,请单击“操作”列中的小白色“删除”按钮。

在屏幕底部,您可能会注意到一个黄色框,表示在检查过程中遇到了一些警告。 例如,您的主机可能已经有一个wget或curl的副本。 选择单击此处查看警告,以查看检查内容和导致警告的原因的列表。 警告页面还提供对python脚本的访问,可以帮助您清除可能遇到的任何问题,并让您运行重新运行检查。

当您对主机列表感到满意后,请选择下一步。

7.选择服务

基于在选择堆栈期间选择的堆栈,您将看到选择要安装到群集中的服务。 HDP堆栈包括许多服务。 您可以选择立即安装任何其他可用服务,或稍后添加服务。 默认情况下,安装向导将选择所有可用的服务进行安装。

  1. 选择无清除所有选择,或选择全部以选择所有列出的服务。

  2. 选择或清除单个复选框以定义一组要立即安装的服务。

  3. 选择要立即安装的服务后,选择下一步。

8.分配Master

Ambari安装向导会将所选服务的主组件分配给集群中的相应主机,并在Assign Masters中显示分配。 左列显示服务和当前主机。 右列显示主机的当前主组件分配,指示每个主机上安装的CPU内核数量和RAM数量。

  1. 要更改服务的主机分配,请从该服务的下拉菜单中选择主机名。

  2. 要删除ZooKeeper实例,请单击要删除的主机地址旁边的绿色减号图标。

  3. 当您对分配感到满意后,请选择下一步。

9. 分配 Slaves and Clients

Ambari安装向导将从属组件(DataNodes,NodeManager和RegionServers)分配给集群中的相应主机。 它还会尝试选择主机以安装适当的客户端集。

  1. 使用all或none可分别选择列中的所有主机或不选择任何主机。如果主机旁边有星号,则该主机也运行一个或多个主组件。 将鼠标悬停在星号上,以查看该主机上的哪些主组件。

  2. 使用特定主机旁边的复选框微调您的选择。

  3. 当您对作业感到满意后,请选择下一步。

10.自定义服务

自定义服务步骤为您提供一组选项卡,您可以查看和修改HDP集群设置。向导会尝试为每个选项设置合理的默认值。强烈建议您查看这些设置,因为您的要求可能略有不同。

浏览每个服务标签,然后将光标悬停在每个属性上,您可以看到属性做什么的简要说明。显示的服务选项卡数取决于您决定在群集中安装的服务。任何需要输入的选项卡都会显示一个红色徽章,其中包含需要注意的属性数。选择显示红色徽章编号的每个服务选项卡,然后输入相应的信息。

目录

HDP将存储信息的目录的选择是至关重要的。

Ambari将尝试根据您环境中可用的安装点选择合理的默认值,但强烈建议您查看Ambari推荐的默认目录设置。特别是,确认目录(如/tmp和/ var)未用于HDFS选项卡下的HDFS NameNode目录和DataNode目录。

密码

您必须为Hive和Oozie服务以及Knox的主密钥提供数据库密码。使用Hive作为示例,选择Hive选项卡并展开高级部分。在以红色标记的数据库密码字段中,提供密码,然后重新键入以确认。

服务帐户用户和组

服务帐户用户和组在Misc选项卡下可用。 这些是服务组件将作为运行的操作系统帐户。 如果这些用户不存在于您的主机上,Ambari将自动在主机上本地创建用户和组。 如果这些用户已经存在,Ambari将使用这些帐户。

根据您的环境配置,您可能不允许groupmod或usermod操作。

如果是这种情况,您必须确保已创建所有用户和组,并确保在“杂项”选项卡上选择“跳过组修改”选项。这告诉Ambari不修改服务用户的组成员资格。

完成自定义服务后,选择下一步。

11.回顾确认

显示您所做的分配。 检查以确保一切正确。 如果需要进行更改,请使用左侧导航栏返回到相应的屏幕。

要打印信息以供以后参考,请选择打印。

当您对选择感到满意时,请选择“部署”。

12.安装,启动和测试

安装的进度将显示在屏幕上。 Ambari安装,启动和对每个组件运行一个简单的测试。 过程的总体状态显示在屏幕顶部的进度栏中,主机的主机状态显示在主要部分。 在此过程中不要刷新浏览器。 刷新浏览器可能会中断进度指示器。

要查看每个主机已完成的任务的具体信息,请单击相应主机的“消息”列中的链接。 在任务弹出窗口中,单击单个任务以查看相关的日志文件。 您可以使用显示下拉列表选择过滤条件。 要查看日志内容的较大版本,请单击打开图标或将内容复制到剪贴板,使用复制图标。

成功安装并启动后,出现服务,选择下一步。

13.完成

摘要页面提供了已完成任务的摘要列表。 选择完成。 Ambari Web GUI显示。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!