1.安装idea scala 插件
安装intelj IDEA并配置scala插件
https://www.jetbrains.com/idea/
IDEA安装完成后,安装scala插件:启动intelj -> 点击启动页configuration -> Plugins,或者file->setting->Plugins,搜索scala并安装插件。如果搜不到,可能是需要代理:Install JetBrains plugin… -> HTTP Proxy Settings设置代理。
安装完成后要重启IDEA。
版本说明:
jdk:1.8
scala:2.11.8
spark:2.3.0
hadoop 2.6.5
环境准备
jdk配置
- 配置JAVA_HOME与Path:
- Path
- 验证配置:
scala安装与配置
- scala下载:
访问官方地址 http://www.scala-lang.org/download/2.11.8.html
- 配置Path:
方法同上,参加电脑中具体位置
- 验证配置:
Spark安装与配置
- spark下载:
访问官方地址 http://spark.apache.org/downloads.html
选中官方推荐的地址即可下载,其他地址也可用(建议采用迅雷等下载工具下载,速度比较会快很多)
- 解压至D盘;
- 配置Path:
- 通过spark-shell进入Spark的交互式命令行模式:
如上,可以看到对应的spark、scala、java版本,同时也看到了异常信息,该异常信息是由于hadoop导致的,下面来配置hadoop。
Hadoop安装与配置
- hadoop下载
访问官方 http://hadoop.apache.org/releases.html
进入下载页,如下建议地址(同样建议用迅雷等下载工具下载,速度更快)
下载binary版本
- 解压至
- 配置HADOOP_HOME&Path:
path:
winutils下载:https://github.com/steveloughran/winutils
下载对应版本的bin目录直接替换本地bin目录即可。
此时继续spark-shell进入spark命令行交互模式:
此时即不会出现上述的异常提示。
访问控制台中的webui如下: