写在前面:
本人最近因课程作业需要安装hadoop。hadoop有三种安装模式,即单机模式,伪分布式,分布式。伪分布式是在一台电脑上模拟多台电脑进行分布式MapReduce操作,符合课程要求,相对难度低,因此为之。
下面是一些高质量的blog,一步步照着来。然而,本人还是遇到了一些坑,因此做详细补充说明,刚刚搭建成功了,亲测可行。
1.Windows安装搭建hadoop伪分布式--具体流程:
windows环境搭建hadoop伪集群 - 简书
https://www.jianshu.com/p/1e7e9a70262d
2.这里附上一些可能会用上的链接:
如何配置Java环境变量-百度经验
https://jingyan.baidu.com/article/fd8044fa2c22f15031137a2a.html
如何查看jdk版本-百度经验
https://jingyan.baidu.com/article/ab69b270b8ae352ca7189f20.html
3.配置java环境变量(有几处坑,当心)
3.1 配置java环境变量时,最好在“环境变量”中添加“JAVA_HOME”这个变量名(当然,附上你的jdk文件目录);然后在“PATH”中,把“JAVA_HOME”添加上去,并加上bin,也就是写成这样,“%HADOOP_HOME%\bin”。
这个知识点是关于环境变量的。本人之前的java环境变量是“C:\Program Files\Java\jdk1.8.0_161\bin”,也就是说,没有用“JAVA_HOME”作为变量名,理论上是一样的效果,但是就是安装不上去(cmd命令行里,输入"hadoop version"没有反应,说输入命令无效)。
另外,尤其注意bin末尾不要有“;”。记得几年前添加环境变量的时候,“PATH”中有一长串不同的环境变量,“;”是作为分隔符的。类似这样:
可能是Windows10系统更新了。现在分行来显示环境变量。
因此,注意bin末尾不要有“;”
3.2 将环境变量JAVA_HOME值中的Program Files
替换为Progra~1
。如:C:\Progra~1\Java\jdk1.8.0_161
。
这一点也是简书那个blog提到的。下面这个blog做了详细说明,可参考。
Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\conf\hadoop-env.cmd错误的解决办法(图文详解) - 大数据和AI躺过的坑 - 博客园
https://www.cnblogs.com/zlslch/p/8580446.html
3.3 环境目录的还可以参考这个blog,说明详细。
【大数据】10分钟搞定Windows环境下hadoop安装和配置 - 符智生的专栏 - CSDN博客
https://blog.csdn.net/CSDN_fzs/article/details/78985586
3.4 如果还是环境目录有问题,注意查看你的hadoop目录下,etc/hadoop/hadoop-env.cmd, 用文档编辑器打开它。
(图片截自:https://blog.csdn.net/CSDN_fzs/article/details/78985586)
注意查看 set JAVA_HOME这一栏的情况,一定要和你的JAVA_HOME一致。(建议用JAVA_HOME作为变量名,见本文的3.1)
这排了几个坑之后,应该就没问题了。按照简书那个blog,顺利搭建。
写在后面:
搭建好环境,还只是第一步。还需要,在windows10搭建hadoop伪分布式,然后在eclipse运行java代码,来执行MapReduce操作。具体的排坑经历,见下一个blog:
Windows10 Eclipse安装hadoop插件+运行hadoop代码示例(亲测可行) - Zhou_Dao的博客 - CSDN博客
来源:CSDN
作者:如果曾经拥有
链接:https://blog.csdn.net/Zhou_Dao/article/details/101602119