完全分布式

完全分布式 hadoop 1.X集群部署

半腔热情 提交于 2019-12-01 23:08:06
准备工作:配置好两台以上能免密码ssh访问的Linux服务器;下载好jdk和hadoop-1.2.1-bin.tar.gz;确保iptables、selinux等防火墙已关闭 1、解压jdk $tar -xzvf jdk-7u71-linux-i586.tar.gz #将解压出来的jdk文件转移到usr目录下,也可以不转移,后面通过环境变量配置到相应的目录即可 $mv ./jdk1.7.0_71 /usr 2、解压hadoop,配置hadoop $tar -xzvf hadoop-1.2.1-bin.tar.gz #进入到hadoop-1.2.1下面的conf目录下 $cd hadoop-1.2.1/conf #配置环境变量 java_home $vi hadoop-env.sh #只修改这一行即可 export java_home=/usr/jdk1.7.0_71 #修改core-site.xml $vi core-site.xml <configuration> #自定义namenode的主机名 master.haddop,可以自定义,也可以是IP地址,如果是名称,需要修改hosts <property> <name>fs.default.name</name> <value>hdfs://master.hadoop:9000</value> </property>

HADOOP(3.0.0)在CENTOS7(RED HAT 7)下完全分布式环境搭建

徘徊边缘 提交于 2019-11-27 14:51:06
一、环境简介 本教程服务器主机都是CentOS 7(Red Hat 7 亦可),集群结点分布情况如下表: +---------------+-----------+---------------------------------- |IP |HOSTNAME |备注 +---------------+-----------+---------------------------------- |192.168.6.171 |hdpmmaster |ResourceManager 进程所在机器 +---------------+-----------+---------------------------------- |192.168.6.172 |hdpsmaster |SecondaryNameNode 主机的备机 +---------------+-----------+---------------------------------- |198.168.6.67 |hdpslave67 |datanode +---------------+-----------+---------------------------------- |198.168.6.68 |hdpslave68 |datanode +---------------+-----------+-----