最近一段时间在学习hadoop分布式相关技术,根据网上一些资料和配置在虚拟机一个小的集群环境.一个主节点,两个子节点.编写一些相关测试例子在window和虚拟机上的eclipse都无法连接上hadoop集群环境 ,在网上查找了一个资料原来hadoop的eclipse支持的版本不一同.没有提供最新的eclipse的插件.就想自己解决一下这个问题.
环境说明:
window7 64位操作系统
jdk1.6
hadoop1.1.1
eclipse Version: Juno Service Release 2 Build id: 20130225-0426 对应是(Version: 4.2.2)
集群环境已经搭建好.这里就介绍了.
之前使用hadoop-0.20.1-eclipse-plugin.jar每次连接都会
提示:
现在开始相关的操作
- 首先下载hadoop1.1.1压缩包:
http://archive.apache.org/dist/hadoop/core/hadoop-1.1.1/hadoop-1.1.1.tar.gz
-
解压到D:\hadooop1.1.1下
-
打开eclipse工具
点击右边使用导入项目功能,import-->Existing Project into Workspace ,下一步,选择d:\hadoop1.1.1
-
.打开对应项目文件加在对应的D:\hadoop-1.1.1\src\contrib\eclipse-plugin目录中,在此目录下新建一个lib文件夹,从hadoop-1.1.1文件加找到这几个jar,把这个jar包放入到lib目录下.并在eclipse的补丁项目中添加这几个jar包,并编译项目,加入1.6的jdk.
<!-- lang: java -->
commons-lang-2.4.jar
<!-- lang: java -->
commons-configuration-1.6.jar
<!-- lang: java -->
commons-collections-3.2.1.jar
<!-- lang: java -->
commons-codec-1.4.jar
<!-- lang: java -->
hadoop-core-1.1.1.jar
-
打开plugin.xml文件 打开Runtime选项卡,添加classpath,如下图,把classs目录,新添加的几个jar包都添加进去.
-
击加运行按装测试插件是否启动正常
-
配置hadoop远程连接 新建一个hadoop远程连接,点击大象加号的图标,添加远程连接配置,并设置好远程连接相关信息. 配置成功后,查看一个远程连接是否可用.
- 现在开始生成插件 进行eclipse的hadoop插件项目中,打开plugin.xml,选择runtime选项,点击生成右上角的生成插件图标,如下图
- 选择要生成的插件,并指定生成目录,如下图
-
点击完成 生成eclipse的hadoop插件到指定目录D:\eclipse-hadoop\plugins,把此插件放到eclipse的plugin插件目录中.
-
重新配置eclipse的hadoop远程连接 同样配置hadoop远程连接,即可访问远程集群服务器.如下图
来源：oschina
链接：https://my.oschina.net/u/98008/blog/123366