hadoop集群搭建

用了这么久的hadoop，只会使用streaming接口跑任务，各种调优还不熟练，自定义inputformat ， outputformat， partitioner 还不会写，于是干脆从头开始，自己搭一个玩玩，也熟悉一下整体架构。 整体环境： 主机Win7 i5 4核 8G内存 笔记本； 虚拟机（客户机）采用Centos5.9 （ 用这个的原因是不想用图形界面，并且以后还想试着装一下ICE） 3台互联的虚拟机搭建 Hadoop集群： 1. 选用virtualbox V4.2.18 + Centos 5.9 virtualbox V4.2.18 下载地址： http://dlc.sun.com.edgesuite.net/virtualbox/4.2.18/VirtualBox-4.2.18-88781-Win.exe Centos 5.9 下载地址(共9个iso文件)： http://mirror.bit.edu.cn/centos/5.9/isos/x86_64/ 2. 安装virtualbox 和 Centos5.9 3. hadoop集群用3台机器，拓扑如下： master： ip：192.168.56.120 机器名： master 启动NameNode 启动JobTracker slave1: ip: 192.168.56.121 机器名：slave1

1.上传zookeeper压缩包到linux系统中 2.解压到/app目录 tar -zxvf zookeeper-3.4.5.tar.gz -C app 3.到conf目录下，修改zoo_sample.cfg为zoo.cfg 4.编辑zoo.cfg 4.1 修改本地存储路径 4.2 添加集群机器，端口 5.在新建的data目录中新建myid，内容为1，这个与刚才编辑的server.1向对应 6.把已经安装好的zookeeper复制到node002,node003中，注意修改data下的myid 7.在bin下启动zookeeper ./zkServer.sh start 为什么zkServer.sh start不可以？只能加上./ 8.查看zookeeper工作状态 ./zkServer.sh status 因为我们配置3台，只启动1台，少于集群配置的一半，zookeeper就不能工作 9.遇到此时遇到几个问题 1.在把zookeeper文件赋复制到另外两个服务器后，在启动./zkServer.sh start 后，jps查看进程，发现提示command not found 解决办法：从新安装jdk，并且重新配置环境变量 2.Zookeeper启动显示成功，zkServer.sh status报错 解决办法：网上查阅资料，有存在相同问题的朋友已解决，此处引入其解决办如下：

文章目录 简介 安装 解压Hbase并重命名 添加Hbase环境变量并刷新环境变量 修改配置文件hbase-env.sh 修改配置文件hbase-site.xml 修改配置文件regionservers 拷贝分发 启动Hbase 检验安装是否成功 最后，记得点赞哦！！！ღ( ´･ᴗ･` )比心！！！ 系列文章： 简介 本篇介绍Hadoop大数据平台组件中的HBase组件的搭建(搭建HBase前需搭建完成Hadoop以及zookeeper) 使用软件版本信息 hbase-1.2.12-bin.tar.gz （百度云提取码： zf9f ） 安装 解压Hbase并重命名 tar - zxvf / opt / software / hbase - 1 . 2 . 12 - bin . tar . gz - C / usr / local / scr / 添加Hbase环境变量并刷新环境变量 添加环境变量 #....hbase..... export HBASE_HOME= / usr / local / scr / hbase export PATH= $PATH : $HBASE_HOME / bin 刷新环境变量 source / etc / profile 修改配置文件hbase-env.sh # 指定jdk路径 export JAVA_HOME= / usr / local /

文章目录 1.Hadoop部署的基本知识 1. 单节点模式 2. 伪分布式集群模式 3. 多节点集群模式 2.hadoop前准备 软件包以及提取码 软件说明 虚拟机内操作系统安装 CentOS7安装 配置供参考┗|｀O′|┛ 架构分布 1.Hadoop部署的基本知识 Hadoop的部署模式分为三种，分别是单节点模式、伪分布式集群模式、多节点集群模式。 1. 单节点模式 无需任何守护进程，所有的程序都运行在同一个JVM上执行。在独立模式下调试MapReduce程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用 。 2. 伪分布式集群模式 Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。 3. 多节点集群模式 Hadoop守护进程运行在一个集群上，是一个真正意义上的分布式大数据集群。 2.hadoop前准备 准备安装环境，包括虚拟机、CentOS系统、JDK、Hadoop。 安装3虚拟机用于模拟真实物理集群。 在每台虚拟机中安装JDK，JDK是Hadoop平台运行的基础环境。 部署Hadoop平台，并对其四个重要文件进行配置实现集群化。 启动并运行Hadoop集群 注意jdk版本是否兼容 软件包以及提取码 链接：https://pan.baidu.com/s

因为每次启动hadoop都需要登陆密码，在伪分布式中尚可，但是在大型集群中多个服务器不能每次都输入密码 ll -a 显示隐藏文件 touch 创建文件 流程： 1. 配置黑色部分； 2. 实现无密码的密钥登陆； 1.产生密钥对 2.复制公钥到另一个服务器 已显示 3.把此文件追加到.ssh的authorized_keys文件中 4.测试 注意：普通用户需要把authorized_keys设置成600 来源： oschina 链接： https://my.oschina.net/u/4434424/blog/3187935

动态扩容，顾名思义，就是通过增加节点实现集群服务能力的提升。是hadoop，或者说分布式集群的特性之一； 同理，部分节点可能老化，升级换代，节点需要对应的下线处理。今天就分别介绍这两部分操作： 1，动态扩容 1.1，在新增节点配置环境，可以参考 Hadoop集群的搭建 里如何配置节点，主要是配置ssh免密登录，配置java环境。步骤都是一样的，不在赘述。 1.2，在主节点修改hosts文件，增加新增节点，并同步到集群所有节点 [hadoop@server45 hadoop]$ cat /etc/hosts 10.1.197.50 server50 10.1.197.51 server51 10.1.197.41 server41 10.1.197.42 server42 10.1.197.43 server43 10.1.197.44 server44 10.1.197.45 server45 1.3,修改 hadoop目录下的etc/hadoop/下的slaves文件，增加新节点 [hadoop@server45 hadoop]$ cat slaves server45 server44 server43 server42 [hadoop@server45 hadoop]$ pwd /opt/bigdata/hadoop/hadoop-2.6.5/etc/hadoop 1.4

Windows 端 Hdfs 客户端实现文件上传、下载等操作 文章目录 1. 先在 Centos 上开启 Hdfs 2. 在 Windows 上配置 Hadoop 2.1 下载 Hadoop 包 2.2 解压配置 2.3 可能的错误 3. 配置 winutil 和 hadoop.ddl 3.1 下载 winutil 和 hadoop.ddl 3.2 拷问至 .\hadoop-2.9.2\etc\hadoop\bin 目录 4. 创建 maven 工程， 运行读写程序 4.1 pom 文件 4.2 运行上传文件 4.3 查看结果 1. 先在 Centos 上开启 Hdfs 具体可参考： Hadoop环境搭建-1. 安装VMware及Centos7 Hadoop环境搭建-2. Hadoop单机版 Hadoop环境搭建-3. Hadoop集群版 2. 在 Windows 上配置 Hadoop 2.1 下载 Hadoop 包 地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/ 2.2 解压配置 解压到目录下，在高级系统设置中设置环境变量 配置完成，在 cmd 输入"hadoop version" 验证成功 2.3 可能的错误 出现下面错误, 但是 java 却是正常的 Error: JAVA_HOME is

实际生产环境当中，hadoop的环境搭建完成之后，第一件事情就是进行压力测试，测试我们的集群的读取和写入速度，测试我们网络带宽是否足够等一些基准测试 测试写入速度： 向HDFS文件系统中写入数据，10个文件，每个文件10MB，文件存放到/benchmarks/TestDFSIO中 hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB 完成之后查看写入速度结果： hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000 测试读取结果： 测试hdfs的读取文件性能 在HDFS文件系统中读入10个文件，每个文件10M hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB 查看读取结果： hdfs dfs -text /benchmarks

hadoop-2.8.4 本地模式 配置免密登录 ssh - keygen 将公钥拷贝到要免密登录的目标机器上 ssh - copy - id 主机名1 记录ssh访问过计算机的公钥 ( public key ) cat / root / . ssh / known_hosts scp scp / etc / hosts root @bigdata1112 : / etc / scp test . tar . gz ip: / opt / svn / 配置环境变量 vi / etc / profile export JAVA_HOME= / opt / mod / jdk1 . 8 . 0_144 export PATH= $PATH : $JAVA_HOME / bin export HADOOP_HOME= / opt / mod / hadoop - 2 . 8 . 4 export PATH= $HADOOP_HOME / bin: $PATH : $HADOOP_HOME / sbin source / etc / profile 统计test文件的单词个数 / opt / soft / hadoop - 2 . 8 . 4 / share / hadoop / mapreduce hadoop jar hadoop - mapreduce - examples - 2

大数据专栏 上一篇 主目录 下一篇 目录 1. eclipse的安装 2. 安装hadoop插件 3. 搭建eclipse开发环境 【前言】 1. eclipse的安装 参见 https://blog.csdn.net/qq_36554582/article/details/81835097 2. 安装hadoop插件 将hadoop-eclipse-plugin-2.7.4.jar放在eclipse的安装目录的dropins下： 重启eclipse 3. 搭建eclipse开发环境 在eclipse->windows->show view->others->MapReduce Tools 打开Map/ReduceLocations窗口 new一个hadoop location： 连接成功： 附录一段连接虚拟机中hdfs集群的小代码： import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class MyFirstHDFSDemo { public static void main(String[] args) throws Exception