【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-上

给你一囗甜甜゛ 提交于 2020-04-28 08:20:41

0. 环境说明及软件准备

  对于大多数学习者而言,是不具备在真实的分布式环境中进行学习和实验的条件,因此这里我也是利用虚拟机软件搭建一个伪分布式的Hadoop平台。当然,如果有多台闲置PC,则可以搭建一个真实分布式环境,方法是一样的。

  为了保证愉快的学习心情,建议使用更高配置的电脑,不然电脑的卡慢和死机会让人疯掉的。

  以我的笔记本配置为例,Hadoop在下述环境下可以畅快的奔跑,毫无压力,可供参考:

1. VMware workstation安装

  VMware安装之前首先要检查物理机是否支持虚拟化,请确保使用的物理机打开虚拟化功能(Inter VT或AMD V),如不确认可使用LeoMoon CPU-V检测,如果检测结果如下图,则表示CPU及操作系统都支持虚拟化,如果未通过,需要在BIOS中启用Intel虚拟技术,否则无法正常使用Vmware workstation。

  安装虚拟机软件VMware workstation,安装过程不再赘述,直接下一步至完成即可。

2. Xmanager Enterprise 5安装

  下载并安装Xmanager Enterprise 5,安装过程也是一路的下一步。完成安装后打开桌面的快捷方式即可看到Xmanager所包含的一系列产品,这里我们主要使用Xftp和Xshell,Xftp能够完成Windows和linux之间的文件传输。Xshell能够提供Windows SSH访问,能轻松和安全地从Windows PC上访问Linux主机。

3. CentOS安装

  首先,需要在Vmware中创建虚拟机,然后再为虚拟机安装CentOS操作系统。步骤如下:

  a.  打开Vmware,在软件工作区点击创建新的虚拟机。

  b.  随后便弹出新建虚拟机向导,选择【典型】下一步》【稍后安装操作系统】下一步》进入选择操作系统界面。

  c.  确定操作系统下一步即进入虚拟机命名和虚拟机位置配置界面。

  d.  下一步进入磁盘容量分配。

  e.  下一步》【自定义硬件】,进入硬件配置界面。CPU和内存可根据自己计算机的配置灵活选择。

  f.  光驱选择【使用ISO映像文件】,点击【浏览】选择已下载的CentOS操作系统映像文件,以便下面安装操作系统。

  g.  【网络适配器】选项选择【仅主机模式】。

  配置完毕,点击完成按钮即可成功创建虚拟机。启动虚拟机即可为其安装CentOS操作系统,简要过程如下。

  a.   在WM中启动虚拟机,稍等一会儿即可进入语言选择界面,默认是英语,可选择中文。

  b、  安装是默认是最小安装,可选择图形界面(即带GUI的服务器)。

  c、  为ROOT设置密码,等待安装完成后重启即可。

4. Linux虚拟机网络配置

  首先编辑Vmware的网络模式,在Vmware菜单栏中选择【编辑】>>【虚拟网络编辑器】,打开虚拟网络编辑器对话框。

  然后启动虚拟机,进入CentOS登陆界面,使用root登陆主机,在桌面点击右键打开一个控制台。

  输入ifconfig查看网卡信息。一块物理网卡可以有多个配置文件,但只能启用其中一个,可以看到ens或eno开头的网卡。

  重启可配置进入命令界面,不进入图形界面,这样可以有效缓解物理机的资源压力,能提高运行速度。

5. Xshell工具使用

  完成IP配置后,能够在物理机上ping通linux主机IP,即可使用Xshell登陆至linux主机,这样能够大幅提高效率。首先打开Xshell,进入新建会话对话框,配置连接名称和linux主机的IP,然后在用户身份验证界面输入账号密码,即可完成连接配置。然后连接该会话,如弹出安全警告,选择【接受并保存】即可。

6. Linux节点配置

    【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

7. JDK安装配置

    【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

8. Hadoop安装配置

    【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

9. Hadoop启动

    【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!