本文将介绍在Mac os上搭建Spark开发环境。
在安装spark环境之前,需要确保配置相应的java环境,jdk或者jre的版本需要在1.8.0版本以上。
(1)首先下载开发IDE,目前比较流行的IDE是IntelliJ IDEA,可以在官网下载使用,下载地址:https://www.jetbrains.com/idea/。
(2)Spark环境搭建:
mac上启动终端,使用brew install scala命令(brew是一个软件包管理工具,类似于centos下的yum或者ubuntu下的apt-get),进行Scala的安装下载,如下:
到此scala的环境已经安装成功,现在我们从spark的官网下载spark相关环境,网址为:http://spark.apache.org/
下载完spark,进入到下载的spark包的文件夹下,执行tar -zxvf spark-2.3.1-bin-hadoop2.7.tar。
安装完scala以及spark后,进行相关环境变量的配置,执行vim /etc/profile命令,在其后追加如下环境变量:
export SCALA_HOME=/usr/local/Cellar/scala/2.12.4 export PATH=$PATH:$SCALA_HOME/bin export SPARK_HOME=/Users/mengxin/Downloads/spark-2.3.1-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin
(3)进行本机ssh配置,主目录执行以下命令:
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
执行过程如下:
(4)检测下spark是否能启动
进入spark解压包下的sbin目录,执行./start-all.sh,如下图
可以在local.out文件下查看相关的启动情况。
spark启动后,所启动的master以及worker进程其实就是就是jvm进程,我们可以用jps命令看一下。
再用spark shell测试下,进入到spark安装包的bin目录下,如果出现如下界面,则说明spark安装环境已经大功告成了。