windows eclipse 搭建spark开发环境
1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk1.7.0_79”，视自己安装路劲而定。 同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\Program Files\Java\jre7\bin。 1.2 spark环境变量配置 去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本，我下载的是 spark-1.6.0-bin-hadoop2.6.tgz ，spark版本是1.6，对应的hadoop版本是2.6 解压下载的文件，假设解压 目录为：D:\spark-1.6.0-bin-hadoop2.6。将D:\spark-1.6.0-bin-hadoop2.6\bin添加到系统Path变量，同时新建SPARK_HOME变量，变量值为：D:\spark-1.6.0-bin-hadoop2.6 1.3 hadoop工具包安装 spark是基于hadoop之上的，运行过程中会调用相关hadoop库，如果没配置相关hadoop运行环境，会提示相关出错信息，虽然也不影响运行