Spark Eclipse 开发环境搭建
Spark Eclipse 开发环境搭建 1 安装Spark环境 首先下载与集群 Hadoop 版本对应的 Spark 编译好的版本,解压缩到指定位置,注意用户权限 进入解压缩之后的 SPARK_HOME 目录 配置 /etc/profile 或者 ~/.bashrc 中配置 SPARK_HOME cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.sh vim spark-env.sh export SCALA_HOME=/home/hadoop/cluster/scala-2.10.5 export JAVA_HOME=/home/hadoop/cluster/jdk1.7.0_79 export HADOOP_HOME=/home/hadoop/cluster/hadoop-2.6.0 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop #注意这个地方一定要指定为IP,否则下面的eclipse去连接的时候会报: #All masters are unresponsive! Giving up. 这个错误的。 SPARK_MASTER_IP=10.16.112.121 SPARK_LOCAL_DIRS=/home/hadoop/cluster/spark-1.4.0-bin