windows下spark搭建 spark windows集群搭建

如果不需要配置本机的spark集群和hadoop集群，只需要使用spark基于local模式开发代码，则无需配置hadoop和spark。只需要指定jdk和scala的位置即可，并且通过maven的方式引入spark的源码包等。（PS:如果报错winutils.exe找不到，则需要配置hadoop路径--包含windows运行hadoop的工具https://pan.baidu.com/s/1_C4TALLBW9TbIrJMC4JKtA 密码: dc63 ，并且把对应版本的hadoop.dll和winutils.exe拷贝到对应的bin目录下即可，视情况而定）

安装jdk

下载jdk，安装jdk
新建JAVA_HOME，指向jdk安装目录
classpath中添加：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
path中添加：.;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

安装scala

新建SCALA_HOME，指向安装目录
path中添加%SCALA_HOME%\bin

配置IDEA的scala插件

配置IDEA的scala的sdk为scala，指定安装目录

scala插件下载地址：https://plugins.jetbrains.com/plugin/1347-scala/versions

Idea中需要把项目配置成maven项目，并且把对应的目录包配置成源码位置。