windows下搭建spark环境

文章目录

• 0.前提
• 1. 安装Scala
• 1.1. 下载Scala
• 1.2. 配置环境变量
• 1.3. 验证
• 2. 安装spark
• 2.1. 下载spark
• 2.2. 配置环境变量
• 2.3. 验证spark是否能正常启动
• 3. 安装hadoop
• 3.1. 下载
• 3.2. 安装
• 3.3. 配置环境变量
• 3.4. 安装hadoop winutils，
• 3.5. 验证

0.前提

windows下搭建spark环境需要首先在本地安装JDK，spark支持的jdk版本为1.8及以上

1. 安装Scala

1.1. 下载Scala

下载地址

我安装的是Scala2.11.12版本

1.2. 配置环境变量

SCALA_HOME=C:\Users\ywq\soft\Scala path=%SCALA_HOME%\bin; 

1.3. 验证

# 查看版本号 scala-version # 进入scala环境 scala 

如果出现上图所示结果，说明Scala安装成功

2. 安装spark

2.1. 下载spark

下载地址

2.2. 配置环境变量

spark不需要安装，解压后配置path环境变量即可

path=C:\Users\ywq\Downloads\spark-2.4.0-bin-hadoop2.7\spark-2.4.0-bin-hadoop2.7\bin; 

2.3. 验证spark是否能正常启动

spark-shell # 在命令行输入以上命令，中间是没有空格的 

出现上图说明spark安装成功

3. 安装hadoop

3.1. 下载

下载地址

• 注：这里要和spark中选择的hadoop保持一致，所以我的是hadoop2.7
  
  

3.2. 安装

解压即安装

3.3. 配置环境变量

HADOOP_HOME=E:\hadoop-2.7.2\hadoop-2.7.2 path=%HADOOP_HOME%\bin; 

3.4. 安装hadoop winutils，

下载链接

选择你要的hadoop版本号，你只需要下载winutils.exe，然后拷贝到Hadoop目录下的bin文件夹中。（如果你的bin目录下已经有该文件，就不必再下载了）

3.5. 验证

以管理员身份打开cmd，运行spark-shell，如果遇到访问权限等错误的话，运行 winutils.exe chmod 777 \tmp\hive

以管理员身份打开cmd，运行spark-shell，你应该看到如下界面

最重要的，你要看到Spark context available as ‘sc’ (master = local[*], app id = local-1507235397368).字样

这时，你的spark环境已经搭建成功了！

文章来源: https://blog.csdn.net/qq_41725214/article/details/88613706