Hadoop集群

1 下载插件 hadoop-eclipse-plugin-2.5.1.jar 从网上下载对应版本的插件， http://download.csdn.net/detail/tondayong1981/7920973 2 配置插件 把插件放到..\eclipse\plugins目录下，重启eclipse，配置Hadoop installation directory， 如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。（windows下只需把hadoop-2.5.1.tar.gz解压到指定目录） 3 配置Map/Reduce Locations 在Window-->Show View中打开Map/Reduce Locations，点击OK，控制台会出现： 在Map/Reduce Locations中新建一个Hadoop Location。在这个View中，右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name，如Hadoop，还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。 点击"Finish"按钮

来吧，小伙伴们 1、环境：3台CentOS7，64位，Hadoop2.7需要64位Linux 提前安装好jdk-8u121-linux-x64.tar.gz, 并配置JAVA_HOME hadoop-2.7.3.tar.gz 2、SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，root用户，每台服务器都生成公钥，再合并到authorized_keys (1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置， #RSAAuthentication yes #PubkeyAuthentication yes 改为： (2)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置， (3)合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并， cat id_rsa.pub>> authorized_keys ssh root@192.168.1.101 cat ~/.ssh/id_rsa.pub>> authorized_keys ssh root@192.168.1.101 cat ~/.ssh/id_rsa.pub>> authorized_keys

安装Java 参见 Hadoop 1.2.1 伪分布式模式安装 中Java安装部分 配置SSH免密码验证 我们还是以spark-master, ubuntu-worker, spark-worker1三台机器为例。 参见博客 Spark集群搭建——SSH免密码验证登陆 下载hadoop 下载地址： http://hadoop.apache.org/releases.html#Download 解压文件： tar -zxvf hadoop-2.4.1.tar.gz 修改配置文件 进入hadoop-2.4.1/etc/hadoop目录下，需要配置以下7个文件有： hadoop-env.sh, yarn-env.sh, slaves, core-site.xml, hdfs-site.xml , maprd-site.xml, yarn-site.xml 1. hadoop-env.sh配置JAVA_HOME export JAVA_HOME=/home/mupeng/java/jdk1.6.0_35 2. yarn-env.sh 配置JAVA_HOME # some Java parameters export JAVA_HOME=/home/mupeng/java/jdk1.6.0_35 3. slaves配置slave结点 ubuntu-worker spark-worker1 4