两步实现spark集群
原创
©著作权归作者所有:来自51CTO博客作者luoganttcc的原创作品,请联系作者获取转载授权,否则将追究法律责任
进入spark 的安装目录下的sbin文件夹
master节点
#master的ip是192.168.1.8
这一步就是声明:我是Master!
你们这些worker向我看其听我指挥;
./start-master.sh --host 192.168.10.182#master的ip是192.168.10.182
slave节点
cd /home/luogan/spark_install/spark-2.3.1-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
对slave节点进行配置,声明这个worker出多少人,SPARK_WORKER_CORES=1;
出多少钱,SPARK_WORKER_MEMORY=1g
JAVA_HOME=/home/luogan/spark_install/jdk1.8.0_151
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g
cp slaves.template slaves
vi slaves
你打算在哪几个主机上放worker就在slaves里加入它的主机名
luogan
进入slave电脑下的 spark 的安装目录下的sbin文件夹
./start-slave.sh spark://192.168.1.8:7077
通过下面这条命令就可以在集群环境下进行操作
#./bin/spark-shell --master spark://IP:PORT
./bin/spark-shell --master spark://luogandeMacBook-Pro.local:7077
官方文档
参考链接