Ubuntu10.4安装配置Hadoop-0.20.203.0入门

1.安装Sun公司的jdk1.6 并且，JAVA_HOME环境变量已经指向jdk的安装目录。（详细见 Ubuntu10.4下手动安装SUN公司的jdk1.6[整理]）

2.下载稳定版的hadoop的安装包，解压到/opt/目录下

3.命令行下运行

$ sudo gedit /etc/profile

在文件最后添加

#set Hadoop environment
export HADOOP_INSTALL=/opt/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_INSTALL/bin

设置Hadoop的安装位置的环境变量

4.运行hadoop version 命令来测试是否成功(需要重启)

5.配置：

1）独立模式：

在此模式下,不需要特别的配置操作，只需要在/conf目录中的hadoop-env.sh中设置java jdk的HAVA_HOME环境变量

2）伪分布式模式：

自此模式下，需要配置3个配置文件（在conf/目录下的core-site.xml hdfs-site.xml mapred-site.xml）

<!--core-site.xml  -->
<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost/</value>
   </property>
</configuration>

<!--hdfs-site.xml -->
<configuration>
     <property>
        <name>dfs.replication</name>
        <value>1</value><!--设置副本为1，程序就不会试图复制的其他的机器上，就不会产生副本无法复制的警告-->
     </property>
</configuration>

<!--mapred-site.xml-->
<configuration>
    <property>
       <name>mapred.job.tracker</name>
       <value>localhost:8021</value>
    </property>
</configuration>

6.配置SSH

%sudo apt-get install ssh

基于空口令创建一个新的SSH密钥，以启动无密码登录

%ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
%cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

以上命令是Hadoop实战中的配置方法，使用了linux系统的工具，我个人强烈建议使用ssh自带的id生成和拷贝命令，以防止错误的发生：

$ ssh-keygen   #然后一直回车到结束
$ ssh-copy-id -i ~/.ssh/id_rsa.pub 你的用户名@localhost

用以下指令测试：

%   ssh localhost

如果成功，则无须输入密码。

若出现“ Agent admitted failure to sign using the key”的错误提示，需要将你的私钥加入到ssh中：

#解決方式使用 ssh-add 指令将私钥 加进来 根据个人的密匙命名不同更改 id_rsa
% ssh-add  ~/.ssh/id_rsa

如果你发现什么22端口拒绝连接之类的错误，是因为你的ssh服务没有启动，输入命令：

$  sudo /etc/init.d/sshd start

来启动ssh服务，之后照着上面做就可以了。

7.格式化HDFS文件系统：

%hadoop namenode -format

8.启动和终止守护进程

%start-dfs.sh
%start-mapred.sh

本地计算机将启动三个守护进程一个namenode 一个辅助namenode和一个datanode

在http://localhost:50030/查看jobtracker或在http://localhost:50070/查看namenode java的jps命令也可以查看守护进程是否在运行。

%stop-dfs.sh
%stop-mapred.sh

未完待续

来源：oschina

链接：https://my.oschina.net/u/234944/blog/40042

标签

Ubuntu10.4

安装配置Hadoop

入门