文章目录

Ubuntu下的Spark 伪分布式安装

一、安装Scala

  • 解压安装包至指定目录:​​tar -zxvf scala-2.10.4.tgz -C /home/​​​

    • 【Ubuntu】Spark 伪分布式安装_scala

  • 重新命名解压的文件：​​mv scala-2.10.4/ scala​​​

    • 【Ubuntu】Spark 伪分布式安装_hadoop_02

  • 配置环境变量:​​vi /etc/profile​​
export SCALA_HOME=/home/scala
export PATH=$PATH:$SCALA_HOME/bin

【Ubuntu】Spark 伪分布式安装_spark_03

  • 使环境变量立刻生效: ​​source /etc/profile​​
  • 测试是否安装成功: ​​scala​​​

    • 【Ubuntu】Spark 伪分布式安装_hadoop_04

​​返回顶部​​

二、安装Spark

  • 解压安装包至指定目录:​​tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /home/​​​

    • 【Ubuntu】Spark 伪分布式安装_hadoop_05

  • 重命名解压的问价：​​mv spark-2.2.0-bin-hadoop2.7/ hadoop​​​

    • 【Ubuntu】Spark 伪分布式安装_scala_06

  • 配置环境变量:​​vi /etc/profile​​
export SPARK_HOME=/home/spark
export PATH=$PATH:$SPARK_HOME/bin

【Ubuntu】Spark 伪分布式安装_hadoop_07

  • 使环境变量立刻生效:​​source /etc/profile​​
  • 测试是否安装成功:​​spark-shell​​​

    • 【Ubuntu】Spark 伪分布式安装_hadoop_08

​​返回顶部​​

三、配置Spark文件

  • 将spark-env.sh.template文件重命名为spark-env.sh:​​mv spark-env.sh.template spark-env.sh​​

    • 【Ubuntu】Spark 伪分布式安装_scala_09

  • 打开spark-env.sh文件并且添加如下内容:​​vi spark-env.sh​​

    • 【Ubuntu】Spark 伪分布式安装_linux_10

# 环境变量配置
export JAVA_HOME=/home/java
export HADOOP_HOME=/home/hadoop
export HADOOPCONF_DIR=/home/hadoop/etc/hadoop
export SCALA_HOME=/home/scala
export SPARK_MASTER_IP=192.168.64.100
export SPARK_MASTER_PORT=7077

​​返回顶部​​

四、测试

测试之前先启动hadoop：​​/home/hadoop/sbin/start-all.sh​​​

启动spark:​​/home/spark/sbin/start-all.sh​​,包含master进程和worker进程

【Ubuntu】Spark 伪分布式安装_linux_11


再登陆 ​​http://192.168.64.100:8080/​​ 测试：

【Ubuntu】Spark 伪分布式安装_linux_12


状态为Active，成功！

参考大佬博客！凸(｀0´)凸 基友高

​​返回顶部​​