系列文章目录

zookeeper第一章:集群搭建



文章目录

  • 系列文章目录
  • 前言
  • 一、软件下载
  • 二、单机模式
  • 三、集群模式
  • 四、启动脚本
  • 总结



前言

zookeeper是apache基金会下的一个分布式管理框架,可以用来管理Hadoop,spark等分布式计算框架,所以我们在学完Hadoop后在继续学习zookeeper。


提示:以下是本篇文章正文内容,下面案例可供参考

一、软件下载

zookeeper部署集群 编辑脚本 zookeeper搭建集群_java-zookeeper


这是官网的信息,可以看到现在最稳定版本是3.7.1,所以咱们也选择3.7.1版本来学习。

阿里源下载地址

二、单机模式

zookeeper部署集群 编辑脚本 zookeeper搭建集群_zookeeper_02


现在我们将下载好的文件上传到/opt/software/,然后解压。

tar -xvf /opt/software/apache-zookeeper-3.7.1-bin.tar.gz -C /opt/module/

zookeeper部署集群 编辑脚本 zookeeper搭建集群_分布式_03


在conf文件夹中将示例文件重命名就可以启动进行修改了。

vim /opt/module/apache-zookeeper-3.7.1-bin/conf/zoo.cfg

zookeeper部署集群 编辑脚本 zookeeper搭建集群_分布式_04


可以看到这是数据存储目录,/tmp是临时目录这里只是用作示例,所以咱么自己创建一个。

zookeeper部署集群 编辑脚本 zookeeper搭建集群_java-zookeeper_05


将其修改成自己的存储目录。

zookeeper部署集群 编辑脚本 zookeeper搭建集群_分布式_06


启动服务

在文件目录下执行命令

bin/zkServer.sh start
bin/zkCli.sh

zookeeper部署集群 编辑脚本 zookeeper搭建集群_分布式_07


启动成功。

三、集群模式

首先要给每个服务器进行编号,咱们分别在Hadoop102-104进行搭建,所以分别编号2,3,4即可。

进入数据存储目录。

zookeeper部署集群 编辑脚本 zookeeper搭建集群_zookeeper部署集群 编辑脚本_08


创建myid文件,输入编号。

zookeeper部署集群 编辑脚本 zookeeper搭建集群_分布式_09


分发整个zookeeper文件。

xsync apache-zookeeper-3.7.1-bin/

在其他服务器修改编号。

zookeeper部署集群 编辑脚本 zookeeper搭建集群_hadoop_10


zookeeper部署集群 编辑脚本 zookeeper搭建集群_java-zookeeper_11


修改配置文件。

vim conf/zoo.cfg
在后边追加。
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

zookeeper部署集群 编辑脚本 zookeeper搭建集群_hadoop_12


配置参数解读

server.A=B:C:D。

A 是一个数字,表示这个是第几号服务器;

集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据

就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比

较从而判断到底是哪个 server。

B 是这个服务器的地址;

C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口;

D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

然后配置文件。

xsync conf/zoo.cfg

四、启动脚本

咱们再单机模式是已经启动过服务了,多个服务器启动时就需要挨个启动,所以咱们要写一个启动脚本。

zookeeper部署集群 编辑脚本 zookeeper搭建集群_java-zookeeper_13

#!/bin/bash

case $1 in
"start"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 启动 ------------
ssh $i "/opt/module/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start"
done
};;
"stop"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 停止 ------------ 
ssh $i "/opt/module/apache-zookeeper-3.7.1-bin/bin/zkServer.sh stop"
done
};;
"status"){
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 状态 ------------ 
ssh $i "/opt/module/apache-zookeeper-3.7.1-bin/bin/zkServer.sh status"
done
};;
esac

zookeeper部署集群 编辑脚本 zookeeper搭建集群_zookeeper_14


赋予操作权限。

启动集群

zookeeper部署集群 编辑脚本 zookeeper搭建集群_zookeeper部署集群 编辑脚本_15


启动成功

zookeeper部署集群 编辑脚本 zookeeper搭建集群_zookeeper部署集群 编辑脚本_16


总结

zookeeper可以辅助Hadoop和spark框架运行,所以还是要学习一下。