0. 环境说明及软件准备
对于大多数学习者而言,是不具备在真实的分布式环境中进行学习和实验的条件,因此这里我也是利用虚拟机软件搭建一个伪分布式的Hadoop平台。当然,如果有多台闲置PC,则可以搭建一个真实分布式环境,方法是一样的。
为了保证愉快的学习心情,建议使用更高配置的电脑,不然电脑的卡慢和死机会让人疯掉的。
以我的笔记本配置为例,Hadoop在下述环境下可以畅快的奔跑,毫无压力,可供参考:
1. VMware workstation安装
VMware安装之前首先要检查物理机是否支持虚拟化,请确保使用的物理机打开虚拟化功能(Inter VT或AMD V),如不确认可使用LeoMoon CPU-V检测,如果检测结果如下图,则表示CPU及操作系统都支持虚拟化,如果未通过,需要在BIOS中启用Intel虚拟技术,否则无法正常使用Vmware workstation。
安装虚拟机软件VMware workstation,安装过程不再赘述,直接下一步至完成即可。
2. Xmanager Enterprise 5安装
下载并安装Xmanager Enterprise 5,安装过程也是一路的下一步。完成安装后打开桌面的快捷方式即可看到Xmanager所包含的一系列产品,这里我们主要使用Xftp和Xshell,Xftp能够完成Windows和linux之间的文件传输。Xshell能够提供Windows SSH访问,能轻松和安全地从Windows PC上访问Linux主机。
3. CentOS安装
首先,需要在Vmware中创建虚拟机,然后再为虚拟机安装CentOS操作系统。步骤如下:
a. 打开Vmware,在软件工作区点击创建新的虚拟机。
b. 随后便弹出新建虚拟机向导,选择【典型】下一步》【稍后安装操作系统】下一步》进入选择操作系统界面。
c. 确定操作系统下一步即进入虚拟机命名和虚拟机位置配置界面。
d. 下一步进入磁盘容量分配。
e. 下一步》【自定义硬件】,进入硬件配置界面。CPU和内存可根据自己计算机的配置灵活选择。
f. 光驱选择【使用ISO映像文件】,点击【浏览】选择已下载的CentOS操作系统映像文件,以便下面安装操作系统。
g. 【网络适配器】选项选择【仅主机模式】。
配置完毕,点击完成按钮即可成功创建虚拟机。启动虚拟机即可为其安装CentOS操作系统,简要过程如下。
a. 在WM中启动虚拟机,稍等一会儿即可进入语言选择界面,默认是英语,可选择中文。
b、 安装是默认是最小安装,可选择图形界面(即带GUI的服务器)。
c、 为ROOT设置密码,等待安装完成后重启即可。
4. Linux虚拟机网络配置
首先编辑Vmware的网络模式,在Vmware菜单栏中选择【编辑】>>【虚拟网络编辑器】,打开虚拟网络编辑器对话框。
然后启动虚拟机,进入CentOS登陆界面,使用root登陆主机,在桌面点击右键打开一个控制台。
输入ifconfig查看网卡信息。一块物理网卡可以有多个配置文件,但只能启用其中一个,可以看到ens或eno开头的网卡。
重启可配置进入命令界面,不进入图形界面,这样可以有效缓解物理机的资源压力,能提高运行速度。
5. Xshell工具使用
完成IP配置后,能够在物理机上ping通linux主机IP,即可使用Xshell登陆至linux主机,这样能够大幅提高效率。首先打开Xshell,进入新建会话对话框,配置连接名称和linux主机的IP,然后在用户身份验证界面输入账号密码,即可完成连接配置。然后连接该会话,如弹出安全警告,选择【接受并保存】即可。
6. Linux节点配置
【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下
7. JDK安装配置
【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下
8. Hadoop安装配置
【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下
9. Hadoop启动
【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下
来源:oschina
链接:https://my.oschina.net/u/4331678/blog/3629152