hadoop集群搭建

参考来源： http://hadoop.apache.org/docs/r1.0.4/cn/index.html Hadoop安装 单机模式 伪分布式模式 完全分布式模式 Hadoop集群搭建 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves。 Hadoop 命令 archive 用法：hadoop archive -archiveName NAME * 创建一个hadoop档案文件 distcp 用法：hadoop distcp 递归地拷贝文件或目录 fs 用法：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS] 运行一个常规的文件系统客户端。 fsck 用法：hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 运行HDFS文件系统检查工具 jar 用法：hadoop jar [mainClass] args... 运行jar文件。用户可以把他们的Map Reduce代码捆绑到jar文件中，使用这个命令执行。 job 用法

VM15.0,centos7 最小版安装centos，不能上网。先配置网络，设置： BOOTPROTO="dhcp" ONBOOT="yes" 然后service network restart重启网络，根据分配的ip，设置静态ip BOOTPROTO="static" # 手动分配ip IPADDR=172.16.235.240 # 该网卡ip地址就是你要配置的固定IP，如果你要用xshell等工具连接，220这个网段最好和你自己的电脑网段一致，否则有可能用xshell连接失败 GATEWAY="172.16.235.129" # 网关 NETMASK="255.255.255.224" # 子网掩码 DNS1="172.16.6.208" # DNS，8.8.8.8为Google提供的免费DNS服务器的IP地址 安装资源准备： 1、8G内存以上的台式机，安装VM15.0，再安装centos7，选择最小安装，先配置master,如下： 2、建好目录： mkdir /bdl /bdl/software /bdl/appData /bdl/software/hadoop /bdl/software/java8 -bdl --software ---hadoop –--java8 --appData 2、准备好安装包：jdk-8u121-linux-x64.tar.gz、hadoop

Hadoop常见的端口 Hadoop生态圈 Hadoop配置文件以及简单的Hadoop集群搭建 Hadoop参数调优 项目经验之基准测试 Hadoop宕机 Hadoop 高可用配置 Hadoop 常见的端口  dfs.namenode.http-address:50070  dfs.datanode.http-address:50075  SecondaryNameNode辅助名称节点端口号：50090  dfs.datanode.address:50010  fs.defaultFS:8020 或者9000  yarn.resourcemanager.webapp.address:8088  历史服务器web访问端口：19888 Hadoop 生态圈 然后就是各个组件的介绍了，简单的介绍一下就好了。比如说: Flume: 一个高可用的，高可靠的，分布式的海量数据日志采集，聚合和传输的系统； Zookeeper: 是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接受管擦者的注册，一旦这些数据的状态发生了变化，Zookeeper就将负责通知已经在Zookeeper上注册的观察者做出相应的反应。 Hadoop配置文件以及简单的Hadoop集群搭建 （1）配置文件： core-site.xml <configuration> <!--

一、 VM虚拟环境搭建（详细讲解） 说明：在windos10上使用VmWare Workstation创建3节点Hadoop虚拟环境 创建虚拟机 下一步 设置虚拟机主机名和介质存放路径 设置20G磁盘大小 选择“自定义硬件” 配置网络模式为NAT模式 配置虚拟机启动镜像 到这里，使用虚拟机克隆技术配置另外两台slave 同理克隆slave2, 步骤省略 此时windos网络连接里面会出现两张虚拟网卡 接下来就是给虚拟机配置IP网络 虚拟机网卡IP要和NAT模式的IP是在同一个段，虚拟机才能通过windos笔记的VMnet8网卡与互联网通信 接下来启动虚拟机配置操作系统IP网络（具体配置过程省略） 二、Hadoop2.6.5+centos7.5三节点集群搭建步骤 1、环境规划 Hadoop2.6.5+centos7.5 2、配置集群中主机域名访问解析 [root@master ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.11.10 master 192.168.11.11

不得不收藏的大数据Hadoop干货：Hadoop集群搭建搭建环境： 安装时间同步 Yum install -y ntpdate 网络时间同步命了 服务器地址是阿里云 ntpdate ntp1.aliyun.com 手动时间同步方式 date -s "20190622 12:32:00" #yyyymmdd hh:mm:ss 完全分布式 Ps:这里我们已经将时间同步,主机名称,网络通信,hosts映射都做完,以上步骤省略 上传到目录中 然后进行解压 后面的路径自己写 进入到对应的路径 就可以查看版本了 配置环境变量是为了以后方便使用 将进入和这个里配置环境变量,这是一个全局的环境变量谁都可以使用了 在最后添加 保存退出 然后然后重新加载资源文件 然后执行java -version 1.先解压hadoop安装包 到 /opt/softwar/路径下 2. 修改配置文件先修改 /hadoop2.7.1/etc/hadoop/hadoop-env 3.修改相同路径下 core-site.xml hdfs-site.xml 修改core-site.xml内容 <property> <name>fs.defaultFS</name>主namenode <value>hdfs://hadoop01:9000</value> </property> <property> <name>hadoop

转自： https://blog.csdn.net/bingduanlbd/article/details/51914550#t24 1. 介绍 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。 传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问NFS Server时，很容易造成服务器压力，造成性能瓶颈。另外如果要对NFS中的文件中进行操作，需要首先同步到本地，这些修改在同步到服务端之前，其他客户端是不可见的。某种程度上，NFS不是一种典型的分布式系统，虽然它的文件的确放在远端（单一）的服务器上面。 从NFS的协议栈可以看到，它事实上是一种VFS（操作系统对文件的一种抽象）实现。 HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成，甚至可以通过Web协议（webhsfs）来操作。HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证

今天在搭建hadoop集群时，在启动hdfs时报异常了，异常信息为以下内容： node01: head: cannot open ‘/home/install/hadoop-2.6.0-cdh5.14.2/logs/hadoop-hadoop-namenode-node01.com.out’ for reading: No such file or directory 根据在网上找的答案是如下的文件没有创建： mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2

hadoop集群启动后，jps 发现没有namenode。 网上查了下，这问题可能是由于两次或两次以上格式化NameNode造成的。 因为我的是刚刚新搭建的集群，里面没什么资料，所以我直接删除各个节点上的目录，然后重新格式化节点。 之后，就OK了～ <property> <name>dfs.namenode.name.dir</name> <value> /hadoop/name </value> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value> /hadoop/data </value> <final>true</final> </property> <property> <name>hadoop.tmp.dir</name> <value> /hadoop/temp </value> <description>A base for other temporary directories.</description> </property> 来源： https://www.cnblogs.com/toughhou/p/3864277.html

出现该问题的设备： 在云服务器上搭建hadoop集群，服务器为一核，2g内存。 普通游戏本 运行虚拟机搭建hadoop集群。 问题表述： 安装好jdk，hadoop,hive。在eclipse可以正常执行mapreduce任务，在hive上也可以至执行无MR任务的语句（like：select * from test） ,但是在hive上执行有MR任务的语句（like：select * from test order by id），程序卡死，卡死，卡死。 长达几十分钟卡死，最终程序被强制kill。 问题原因： 专业名词没有。 可能与内核数量和运行内存有关 解决办法： 修改hadoop/etc/hadoop/mapred-site.xml < configuration > < property > < name > mapreduce . job . tracker < / name > < value > hdfs : / / master : 8001 < / value > < final > true < / final > < / property > < / configuration > 来源： CSDN 作者： llhp123 链接： https://blog.csdn.net/llhp123/article/details/103754487

# jdk+hadoop+hbase+spark的搭建 jdk+hadoop+hbase+spark的搭建,这是一个已经搭建好的，服务器到期之后的，配置保存 hosts: 118.31.38.25 work1 101.37.147.47 work2 47.96.11.140 master 修改各机器的host和hosts 配置ssh免密登陆 全部的环境变量： export HADOOP_HOME=/root/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib