Ubuntu中spark集群启不起来 ubuntu配置spark

转载

码海探险家 2023-07-07 17:53:49

文章标签 Ubuntu中spark集群启不起来 spark 命令行 Scala 文章分类 Spark 大数据

注意：1.搭建环境：Ubuntu64位，Linux（也有Windows的，我还没空试）

2.一般的配置jdk、Scala等的路径环境是在/etc/profile里配置的，我自己搭建的时候发现我自己在profile配置环境会有问题，比如说：我配置了spark，source了profile，启动spark是没问题的，但是当我想再次启动spark的时候，

就会启动失败，需要再source一遍profile，所以我把所有的需要配置环境的命令都写在了 ~/.bashrc文件里，只需要source一遍就好了。

　　 3.我只是菜鸟，如果有什么地方说错了，大家一定要跟我说，我改。或者大家有更好的办法，麻烦教我一下，谢谢！

一、设置SSH免密登入:

（一般Ubuntu自带客户端了，所以只需要装服务端即可。可通过命令：dpkg -l | grep ssh 查看是否安装有服务端和客户端，安装客户端命令：sudo apt-get install opendssh-client）

1、安装服务端，安装命令： sudo apt-get install openssh-server，可能会需要输入用户密码，输入按回车继续。可能它还会询问是否继续，输入 Y 回车继续。安装成功后，使用命令 ssh localhost 测试安装的SSH是否能正常连接，连接需要输入用户的密码

2、设置免密码登录步骤：

（1）生成密钥，命令：ssh-keygen。执行过程中会要求你输入连接用的密码，不要输入任何东西，直接回车。系统会在~/.ssh目录生成密钥文件(id_rsa 私钥，id_rsa.pub公钥)，执行成功的结果如图所示。

（2）将生成公钥的内容添加到authorized_keys文件中，命令：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

（3）修改authorized_keys和~/.ssh文件权限，命令：

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

（4）设置成功后，可以验证一下是否成功，命令：ssh localhost ，如果不需要输入用户密码，即为设置成功。

二、JDK的安装与配置

1、解压JDK的安装包，解压命令：tar -zvxf jdk-8u181-linux-x64.tar.gz -C /opt

2、配置环境变量，在 /etc/profile 文件中添加如下内容：

export JAVA_HOME=/opt/jdk1.8.0_181 # 配置JAVA_HOME

export CLASS_PATH=/opt/jdk1.8.0_181/lib # 配置类路径

export PATH=$PATH:$JAVA_HOME/bin # 添加bin路径到PATH，添加后可以在命令行中直接使用java相关命令

3、重新执行刚修改的/etc/profile文件，使配置的环境立即生效，命令： source /etc/profile

4、JDK安装配置完成之后，在命令行输入命令：java –version，检查JDK是否安装无误

三、Scala的安装与配置

1、解压Scala的安装包，解压命令：tar -zvxf scala-2.11.12.tgz -C /opt

2、配置环境变量，在 /etc/profile 文件中添加如下内容：

export SCALA_HOME=/opt/scala-2.11.12 # 配置SCALA_HOME

export PATH=$PATH:$SCALA_HOME/bin # 添加bin目录到PATH

3、重新执行刚修改的/etc/profile文件，使配置的环境立即生效，命令： source /etc/profile

4、Scala安装配置完成之后，在命令行输入命令：scala，检查Scala是否安装无误。

四、Spark的安装与配置

1、解压Spark的安装包，解压命令： tar -zvxf spark-2.3.3-bin-hadoop2.7.tgz -C /opt

2、配置环境变量，在 /etc/profile 文件中添加如下内容：

export SPARK_HOME=/opt/spark-2.3.3-bin-hadoop2.7 # 配置SPARK_HOME

export PATH=$PATH:$SPARK_HOME/bin # 添加bin目录到PATH

3、重新执行刚修改的/etc/profile文件，使配置的环境立即生效，命令： source /etc/profile

4、修改Spark配置文件

（1）复制模板文件，将在Spark的conf目录中的spark-env.sh.template、log4j.properties.template、slaves.template三个文件拷贝为spark-env.sh、log4j.properties、slaves到同一目录下(conf文件夹)，注意把.template去掉，然后Spark启动时就会对文件中的配置项进行读取，否则找不到配置。命令如下：

cd /opt/spark-2.3.3-bin-hadoop2.7/conf // 进入到配置文件夹中

sudo cp spark-env.sh.template spark-env.sh // Spark环境相关

sudo cp log4j.properties.template log4j.properties // Spark日志相关

sudo cp slaves.template slaves // Spark集群节点

5、设置spark-2.3.3-bin-hadoop2.7文件夹可读可写可执行权限，命令：

cd /opt

sudo chmod 777 spark-2.3.3-bin-hadoop2.7/

6、Spark已经安装配置完成了，进入到Spark目录中的sbin路径下，运行 ./start-all.sh启动集群，测试一下刚刚安装的Spark。
7、命令行输入spark-shell来检查spark是否安装无误，成功运行的画面如图：（spark默认是用Scala语言，如果想用python编写看第9个步骤。）

Ubuntu中spark集群启不起来 ubuntu配置spark_Ubuntu中spark集群启不起来