搭建Hadoop之部署前准备（一）

文章目录

• 1.Hadoop部署的基本知识
• 1. 单节点模式
• 2. 伪分布式集群模式
• 3. 多节点集群模式
• 2.hadoop前准备
• 软件包以及提取码
• 软件说明
• 虚拟机内操作系统安装
• CentOS7安装
• 配置供参考┗|｀O′|┛
• 架构分布

1.Hadoop部署的基本知识

Hadoop的部署模式分为三种，分别是单节点模式、伪分布式集群模式、多节点集群模式。

1. 单节点模式

无需任何守护进程，所有的程序都运行在同一个JVM上执行。在独立模式下调试MapReduce程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用 。

2. 伪分布式集群模式

Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。

3. 多节点集群模式

Hadoop守护进程运行在一个集群上，是一个真正意义上的分布式大数据集群。

2.hadoop前准备

1. 准备安装环境，包括虚拟机、CentOS系统、JDK、Hadoop。
2. 安装3虚拟机用于模拟真实物理集群。
3. 在每台虚拟机中安装JDK，JDK是Hadoop平台运行的基础环境。
4. 部署Hadoop平台，并对其四个重要文件进行配置实现集群化。
5. 启动并运行Hadoop集群
   注意jdk版本是否兼容

软件包以及提取码

链接：https://pan.baidu.com/s/1nao93d0fGB5eHqPEk9eezg
提取码：9xy5

软件说明

1. CentOS-7-x86_64-DVD-1511.iso:CentOS7版本的Linux系统，我们所用到的大数据平台是基于Linux 系统的，换言之大数据平台运行在Linux系统之上。
2. hadoop-3.0.0：hadoop第三版的大数据平台包。
3. jdk-8u161-linux-x64.tar.gz:jdk1.8的java开发环境压缩包，因为我们的Hadoop需要Java运行环境的支持。

虚拟机内操作系统安装

CentOS7安装

我们一共需要三台机器作为一个服务器集群，分别命名为master，node1，node2.

配置供参考┗|｀O′|┛

架构分布

NameNode运行在Master节点、SecondaryNameNode运行在Node1节点，DataNode运行在Node1和Node2节点上。ResourceManager运行在Master节点上，NodeManager运行在Node1和Node2上。从而可以看出，我们Master节点为主节点，Node1和Node2作为数据节点。

来源：CSDN

作者：周偏偏偏

链接：https://blog.csdn.net/Miracle1203/article/details/104683089