Hadoop 2.2.0集群搭建

一、环境说明

1、虚拟机平台：VMware10

2、Linux版本：ubuntu-12.04.3-desktop-i386

3、JDK：jdk1.7.0_51

4、Hadoop版本：2.2.0

5、集群节点：3个，分别是hadoopMaster，hadoopSlave1，hadoopSlave2

注明：文中fyzwjd是虚拟机用户名。

二、准备工作

1、安装虚拟机平台，并新建一个Ubuntu虚拟机，记为hadoopMaster。

2、在hadoopMaster上安装JDK。

Jdk一般有两个版本：Open JDK、SunJDK，建议使用Sun JDK。安装步骤如下：

先去 Oracle下载Linux下的JDK压缩包，http://www.oracle.com/technetwork/java/javase/downloads/index.html，下好后直接解压。

进入在存放jdk文件夹的当前目录，将解压好的jdk1.7.0_51文件夹用最高权限复移动到/usr/lib/jvm目录里，此时即使没有jvm目录也可以执行如下命令，jvm文件夹将得到创建。

[plain] view plain copy

sudo mv jdk1.7.0_51 /usr/lib/jvm/

接下来需要设置环境变量，进入当前用户名的主文件夹，修改.profile文件。注意，该文件是当前用户的配置文件，如果要对使用计算机的所有用户生效，那么需要设置的文件应该是 /etc/profile。

[plain] view plain copy

sudo gedit ~/.profile

在末尾加上:

[plain] view plain copy

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
exportJRE_HOME=/usr/lib/jvm/jdk1.7.0_51/jre
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

然后保存关闭，此时在命令行输入java -version将会仍然显示java没有安装。此时，需要使用source更新下.profile文件：

[plain] view plain copy

$ source ~/.profile

再次使用java -version命令可以看到如下输出：

[plain] view plain copy

fyzwjd@ubuntu :~$ java -version
java version "1.7.0_51"
Java(TM) SE Runtime Environment (build1.7.0_51-b18)

到此，已经将oracle jdk配置完成。如果之前系统里面已经安装了openjdk，可以使用如下方法将默认jdk更改过来：

[plain] view plain copy

$ sudo update-alternatives --install/usr/bin/java java /usr/lib/jvm/jdk1.7.0_51/bin/java 300

输入sun jdk前的数字就好了

[plain] view plain copy

$ sudo update-alternatives --install/usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_51/bin/javac 300
$ sudo update-alternatives --config java
$ sudo update-alternatives --config javac

3、安装SSH

可以先检查是否已经有ssh，也可以跳过这步，直接安装。

[plain] view plain copy

$ sudo ps -ef | grep ssh

如果只有 ssh-agent 就需要安装openssh-server了。

[plain] view plain copy

$ sudo apt-get install ssh openssh-server

4、配置SSH公钥

[plain] view plain copy

$ ssh-keygen -t rsa -P "yourPassWord"

[plain] view plain copy

$ ssh-keygen -t rsa -P "yourPassWord"

ssh-kengen 是用连字符连着的，千万不要分开。另外，密码是你的虚拟机密码，而不是空（当然，如果你的虚拟机密码为空，另当别论）。

5、建立IP和hadoop节点的映射关系

修改etc/hosts文件，在上面加入hadoop节点IP和名称的映射关系。

[plain] view plain copy

$ sudo gedit /etc/hosts

在其中加上（ip是节点可配置的ip，自己设定）：

[plain] view plain copy

192.168.32.*** hadoopMaster
192.168.32.*** hadoopSlave1
192.168.32.*** hadoop Slave2

6、克隆两个Ubuntu虚拟机，作为hadoop的其他两个节点

7、分别修改三个Ubuntu虚拟机的名称

[plain] view plain copy

$ sudo gedit /etc/hostname

分别将三个虚拟机名称改为：hadoopMaster，hadoopSlave1，hadoopSlave2。
8、修改三个Ubuntu虚拟机的IP

三、配置SSH无密码登陆。

其目的是让hadoopMaster免密码登陆hadoopSlave1和hadoopSalve2，步骤如下：

1、在hadoopMaster上创建授权文件authorized_keys

进入~/.ssh/目录下执行”ls –a”，发现开始是没有authorized_keys文件的，可以使用以下两种方法来生成：

(1) 将id_rsa.pub追加到authorized_keys授权文件中;

[plain] view plain copy

$ cat id_rsa.pub >> authorized_keys

(2) 复制id_rsa.pub 为 authorized_keys

[plain] view plain copy

$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

完成后就可以无密码登录本机了，可以尝试登陆localhost

[plain] view plain copy

$ ssh localhost

2、将授权文件拷贝到hadoopSlave1、hadoopSlave2相同文件夹下

[plain] view plain copy

$ scp authorized_keys fyzwjd@hadoopSlave1:~/.ssh/authorized_keys
$ scp authorized_keys fyzwjd@hadoopSlave2:~/.ssh/authorized_keys

拷贝过程需要密码，拷贝之后就可以免密码登陆hadoopSlave1和hadoopSlave2了。

四、安装Hadoop2.2，搭建集群

1、在hadoopMaster上安装hadoop

首先到Apache官网上下载hadoop2.2的压缩文件，将其解压到当前用户的根文件夹中（home/fyzwjd/），将解压出的文件夹改名为hadoop。

[plain] view plain copy

$ sudo mv hadoop-2.2.0 hadoop

配置之前，先在本地文件系统创建以下文件夹：~/hadoop/tmp、~/dfs/data、~/dfs/name。主要涉及的配置文件有7个：都在/hadoop/etc/hadoop文件夹下，可以用gedit命令对其进行编辑。

[plain] view plain copy

~/hadoop/etc/hadoop/hadoop-env.sh
~/hadoop/etc/hadoop/yarn-env.sh
~/hadoop/etc/hadoop/slaves
~/hadoop/etc/hadoop/core-site.xml
~/hadoop/etc/hadoop/hdfs-site.xml
~/hadoop/etc/hadoop/mapred-site.xml
~/hadoop/etc/hadoop/yarn-site.xml

        (1)     配置文件1：hadoop-env.sh
              修改JAVA_HOME值（export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51）
        (2)     配置文件2：yarn-env.sh
              修改JAVA_HOME值（export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51）
        (3)     配置文件3：slaves

[plain] view plain copy