jdk+hadoop+hbase+spark的搭建

# jdk+hadoop+hbase+spark的搭建

jdk+hadoop+hbase+spark的搭建,这是一个已经搭建好的，服务器到期之后的，配置保存

hosts:
118.31.38.25  work1
101.37.147.47  work2
47.96.11.140  master
修改各机器的host和hosts
配置ssh免密登陆

全部的环境变量：
export HADOOP_HOME=/root/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HBASE_HOME=/root/hbase-1.4.11
export PATH=$PATH:$HBASE_HOME/bin
export SPARK_HOME=/root/spark-2.2.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

JAVA_HOME=/root/jdk1.8.0_231
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

将压缩包解压到root目录下，各应用的配置文件基本可以使用了。前提是配置好hostname 、hosts
压缩包地址：
链接：https://pan.baidu.com/s/1bJAW1Ras7K7mnL1X5EeWjQ
提取码：2eos

集群页面
hafs  http://master:50070/dfshealth.html#tab-overview
yarn  http://master:8088/cluster/nodes
hbase  http://master:16010/master-status
spark  http://master:8080/

要开放的端口号：
7077/7077
16030/16030
16000/16000
16020/16020
2181/2181
16010/16010
50070/50070
3000/10000

 

 

来源：CSDN

作者：i_am_will

链接：https://blog.csdn.net/qq_36801710/article/details/103712258