从零自学Hadoop(06):集群搭建

风流意气都作罢 提交于 2020-10-29 03:04:01

阅读目录

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

 

  上一篇,我们把Ambari的环境基本搭建好了,那么我们趁热打铁,打造我们的第一个HDP集群,这样,离我们下一步就越来越近了,在安装中还是会碰到很多想不到的情况的。所以,注意分析,找到解决方法很重要。

  对了,这里我们还是多搭建了一个机器H34,怕集群机器不够。大家按照原来的步骤在做一个吧。

集群搭建

一:登陆

  使用我们设置的Ambari服务器登陆,还记得么,在H30上面。

二:主界面

  我们看到圈起来的地方就是我们要搭建集群的地方。

 

三:新建集群

  这里,我们使用MyCluster作为我们第一个集群的名称。

四:选择HDP版本和源

  我们当然选择最新的HDP2.3,玩就玩最新的,要不老是在别人后面,多不好啊。

  这里我们得设置HDP和 HDP-UTILS的源,我们已经搭建好了仓库,可以直接使用本地源了。

五:将SSH私有Key放到本机

  由于是页面登陆,当然如果H30开启了GUI界面,是可以不用这个操作的。

  目前我们使用的没有GUI界面的Linux,所以,得在浏览器使用的机器上能使用的到ssh private key。

  过程很简单,就不上图了。

六:选择带集群的机器

  这里我们选择了事前准备好的H31,H32,H33这3台机器,由于本机的性能一般,很快内存,IO就占满了,所以没有使用很多的机器做集群。

七:修改ambari.repo文件

vim /etc/yum.repos.d/ambari.repo

  将线上库改成本地的http资源。

八:Confirm Hosts

  核实主机群。确保这里待集群主机有符合的运行环境。

九:选择待安装库

  我们根据自己的需要来选择带安装的。

十:集群结构搭建

  我们选择H31作为主NameNode,H32作为Second NameNode。

十一:集群结构搭建2

  选择H31,H32作为NodeManager,H33,H34作为DataNode

十二:自定义服务群

  这里,一半NameNode需要比较大内存的,但是没办法,所以 这里也不自定义修改了,就那么多,全用了。

 

十三:Review

  Review下我们的配置情况。

十四:Deploy

  开始安装等环节了。

十五:Deploy2

  我们可以看到success了。

 

 

十六:Summary

  安装过程的总结。

监控

一:仪表盘

  在这里,我们可以全面,直观的看到整个集群的运行情况,可以大大的提高了运维的效率。

二:服务

  在这里,可以看到例如HDFS,Zookeeper,SparK这些服务的情况。

 

三:Hosts

  我们可以看到,集群中所有的主机信息,状态。

四:报警

  如果集群中出现了什么问题,这里是可以实时的监控的到的,很是方便。

             到此,我们这章节的内容已经完毕,基本上环境搭建的部分告一段落,后面我们就是对HDP的应用了。

系列索引

  【源】从零自学Hadoop系列索引

 

 

 

 

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!