Windows10安装搭建hadoop伪分布式-总结(亲测可行)

不问归期 提交于 2019-12-08 23:21:56

写在前面:

本人最近因课程作业需要安装hadoop。hadoop有三种安装模式,即单机模式,伪分布式,分布式。伪分布式是在一台电脑上模拟多台电脑进行分布式MapReduce操作,符合课程要求,相对难度低,因此为之。

下面是一些高质量的blog,一步步照着来。然而,本人还是遇到了一些坑,因此做详细补充说明,刚刚搭建成功了,亲测可行。

 

1.Windows安装搭建hadoop伪分布式--具体流程:

windows环境搭建hadoop伪集群 - 简书
https://www.jianshu.com/p/1e7e9a70262d

 

2.这里附上一些可能会用上的链接:

如何配置Java环境变量-百度经验
https://jingyan.baidu.com/article/fd8044fa2c22f15031137a2a.html

如何查看jdk版本-百度经验
https://jingyan.baidu.com/article/ab69b270b8ae352ca7189f20.html

 

3.配置java环境变量(有几处坑,当心)

3.1 配置java环境变量时,最好在“环境变量”中添加“JAVA_HOME”这个变量名(当然,附上你的jdk文件目录);然后在“PATH”中,把“JAVA_HOME”添加上去,并加上bin,也就是写成这样,“%HADOOP_HOME%\bin”。

这个知识点是关于环境变量的。本人之前的java环境变量是“C:\Program Files\Java\jdk1.8.0_161\bin”,也就是说,没有用“JAVA_HOME”作为变量名,理论上是一样的效果,但是就是安装不上去(cmd命令行里,输入"hadoop version"没有反应,说输入命令无效)。

另外,尤其注意bin末尾不要有“;”。记得几年前添加环境变量的时候,“PATH”中有一长串不同的环境变量,“;”是作为分隔符的。类似这样:

 

可能是Windows10系统更新了。现在分行来显示环境变量。

 

因此,注意bin末尾不要有“;”

 

3.2 将环境变量JAVA_HOME值中的Program Files替换为Progra~1。如:C:\Progra~1\Java\jdk1.8.0_161

这一点也是简书那个blog提到的。下面这个blog做了详细说明,可参考。

Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\conf\hadoop-env.cmd错误的解决办法(图文详解) - 大数据和AI躺过的坑 - 博客园
https://www.cnblogs.com/zlslch/p/8580446.html

 

3.3 环境目录的还可以参考这个blog,说明详细。

【大数据】10分钟搞定Windows环境下hadoop安装和配置 - 符智生的专栏 - CSDN博客
https://blog.csdn.net/CSDN_fzs/article/details/78985586

 

3.4 如果还是环境目录有问题,注意查看你的hadoop目录下,etc/hadoop/hadoop-env.cmd, 用文档编辑器打开它。

(图片截自:https://blog.csdn.net/CSDN_fzs/article/details/78985586)

注意查看 set JAVA_HOME这一栏的情况,一定要和你的JAVA_HOME一致。(建议用JAVA_HOME作为变量名,见本文的3.1)

 

这排了几个坑之后,应该就没问题了。按照简书那个blog,顺利搭建。

 

写在后面:

搭建好环境,还只是第一步。还需要,在windows10搭建hadoop伪分布式,然后在eclipse运行java代码,来执行MapReduce操作。具体的排坑经历,见下一个blog:

Windows10 Eclipse安装hadoop插件+运行hadoop代码示例(亲测可行) - Zhou_Dao的博客 - CSDN博客

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!