linux zookeeper集群 zookeeper集群架构

文章目录

• 一、Zookeeper介绍

• 1.Zookeeper是什么
• 2.Zookeeper能干什么
• 3.应用场景

• 1）维护配置信息
• 2）分布式锁服务
• 3）集群管理
• 4）生产分布式唯一ID

• 4.Zookeeper数据模型

• 数据结构的特点
• 节点的类型：

• 二、单机安装
• 0.Zookeeper单机安装
• 1.zookeeper服务端命令
• 2.客户端连接与命令

• 创建临时节点和顺序节点
• 查看节点的详细信息

• 3.zookeeper配置文件参数解读
• 4.Docker安装

• 三、zookeeper集群架构（三台）

• 1.环境准备
• 2.创建目录
• 3.修改zookeeper配置文件名称
• 4.启动zookeeper
• 5.查看集群状态
• 6.模拟测试
• 7.集群的角色

• 了解（观察者节点）

• 补充

• 分布式锁
• 分布式锁的原理

一、Zookeeper介绍

1.Zookeeper是什么

Zookeeper(zoo+keeper动物园管理者):它是一个分布式协调服务

最初作为研发Hadoop时的副产品，使用java语言编写

由于分布式系统中一致性处理较为困难，其他的分布式系统没有必要费劲重复造轮子，故随后的分布式系统中大量应用了zookeeper，以至于zookeeper成为了各种分布式系统的基础组件，

著名的hadoop、kafka、dubbo 都是基于zookeeper而构建

2.Zookeeper能干什么

分布式应用程序可以基于它实现同步服务，配置维护和命名服务等

• 1 微服务中的注册发现
  dubbo框架，springcloud框架作为注册中心
• 2 为Hadoop，kafka集群做做协调
• 3 实现分布式的锁
• 4.配置管理

3.应用场景

zookeepepr是一个经典的分布式数据一致性解决方案，致力于为分布式应用提供一个高性能、高可用,且具有严格顺序访问控制能力的分布式协调存储服务。

• 维护配置信息
• 分布式锁服务
• 集群管理
• 生成分布式唯一ID

1）维护配置信息

java编程经常会遇到配置项，比如数据库的url、 schema、user和 password等。通常这些配置项我们会放置在配置文件中，再将配置文件放置在服务器上当需要更改配置项时，需要去服务器上修改对应的配置文件。

但是随着分布式系统的兴起,由于许多服务都需要使用到该配置文件,因此有必须保证该配置服务的高可用性(highavailability)和各台服务器上配置数据的一致性。

通常会将配置文件部署在一个集群上，然而一个集群动辄上千台服务器，此时如果再一台台服务器逐个修改配置文件那将是非常繁琐且危险的的操作，因此就需要一种服务，能够高效快速且可靠地完成配置项的更改等操作，并能够保证各配置项在每台服务器上的数据一致性。

zookeeper就可以提供这样一种服务，其使用Zab这种一致性协议来保证一致性。现在有很多开源项目使用zookeeper来维护配置，如在 hbase中，客户端就是连接一个zookeeper，获得必要的hbase集群的配置信息，然后才可以进一步操作。还有在开源的消息队列 kafka中，也便用zookeeper来维护 brokers的信息。在 alibaba开源的soa框架dubbo中也广泛的使用zookeeper管理一些配置来实现服务治理。

2）分布式锁服务

一个集群是一个分布式系统，由多台服务器组成。为了提高并发度和可靠性，多台服务器上运行着同一种服务。当多个服务在运行时就需要协调各服务的进度，有时候需要保证当某个服务在进行某个操作时，其他的服务都不能进行该操作，即对该操作进行加锁，如果当前机器挂掉后，释放锁并 fail over到其他的机器继续执行该服务
集群管理

3）集群管理

一个集群有时会因为各种软硬件故障或者网络故障，出现棊些服务器挂掉而被移除集群，而某些服务器加入到集群中的情况，zookeeper会将这些服务器加入/移出的情况通知给集群中的其他正常工作的服务器，以及时调整存储和计算等任务的分配和执行等。此外zookeeper还会对故障的服务器做出诊断并尝试修复。

4）生产分布式唯一ID

在过去的单库单表型系统中，通常可以使用数据库字段自带的auto_ increment属性来自动为每条记录生成一个唯一的ID。但是分库分表后，就无法在依靠数据库的auto_ Increment属性来唯一标识一条记录了。此时我们就可以用zookeeper在分布式环境下生成全局唯一ID。

做法如下:每次要生成一个新id时，创建一个持久顺序节点，创建操作返回的节点序号，即为新id，然后把比自己节点小的删除即可

4.Zookeeper数据模型

Zookeeper本身是一个分布式的应用，通过对共享的数据的管理来实现对分布式应用的协调。

ZooKeeper使用一个树形目录作为数据模型，这个目录和文件目录类似，目录上的每一个节点被称作ZNodes 每个子目录项如NameService 都被称作为 znode(目录节点)，和文件系统一样，我们能够自由的增加、删除znode，在一个znode下增加、删除子znode，唯一的不同在于znode是可以存储数据的。

数据结构的特点

每个子目录项如NameService 都被称作为 znode，这个 znode 是被它所在的路径唯一标识，如 p_1 这个 znode 的标识为 /app1/p_1

znode可以有子节点目录，并且每个 znode 可以存储数据，注意 EPHEMERAL 类型的目录节点不能有子节点目录

znode 是有版本的，每个 znode 中存储的数据可以有多个版本，也就是一个访问路径中可以存储多份数据

znode 可以是临时节点，一旦创建这个 znode 的客户端与服务器失去联系，这个 znode 也将自动删除，Zookeeper 的客户端和服务器通信采用长连接方式，每个客户端和服务器通过心跳来保持连接，这个连接状态称为session，如果 znode 是临时节点，这个 session 失效，znode 也就删除了

znode的目录名可以自动编号，如 App1 已经存在，再创建的话，将会自动命名为 App2

znode 可以被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个是 Zookeeper的核心特性，Zookeeper 的很多功能都是基于这个特性实现的。

节点的类型：

PERSISTENT-持久化目录节点 客户端与zookeeper断开连接后，该节点依旧存在

PERSISTENT_SEQUENTIAL -s参数：持久化顺序编号目录节点 客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号

EPHEMERAL -e参数： 临时目录节点 客户端与zookeeper断开连接后，该节点被删除

EPHEMERAL_SEQUENTIAL -es参数：临时顺序编号目录节点 客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号

二、单机安装

0.Zookeeper单机安装

Centos7 安装
第一种方法：

0.需要java环境  jdk8就行 rpm包也可以
# 1 下载地址：https://zookeeper.apache.org/releases.html
# 2 下载
wget https://mirror-hk.koddos.net/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
# 3 解压
tar -xzf apache-zookeeper-3.7.0-bin.tar.gz
# 4 重命名，进入
mv apache-zookeeper-3.7.0-bin zk1
cd zk1
# 5 查看
ls   # bin启动目录，conf配置文件目录
bin  conf  docs  lib  LICENSE.txt  NOTICE.txt  README.md  README_packaging.md
# 6 修改配置文件
mkdir /root/zk1/data
vi conf/

tickTime=2000
dataDir=/root/zk1/data
clientPort=2181
# Zookeeper3.5的新特性,起了个http服务，浏览器访问，查看所有短句命令，默认8080
# http://10.0.0.100:8888/commands 
admin.serverPort=8888

# 7 启动
# 这里命令写的长是为了便于知道ZooKeeper是如何使用配置文件的。
./bin/zkServer.sh start ./conf/zoo.cfg  

# 8 查看ZooKeeper是否运行
ps aux |grep zookeeper
# 也可以使用jps ，可以看到java进程中有QuorumPeerMain列出来。

# 9 查看ZooKeeper的状态
./bin/zkServer.sh status

# 10 常用的ZooKeeper用法
./zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}

第二种方法：

1.jdk源码包配置java环境
[root@zk ~]# ll
-rw-r--r--  1 root root  12387614 3月  27 18:12 apache-zookeeper-3.7.0-bin.tar.gz
-rw-r--r--  1 root root 191753373 8月  13 09:03 jdk-8u191-linux-x64.tar.gz
2.下载zookeeper包
 下载地址：https://zookeeper.apache.org/releases.html
下载
wget https://mirror-hk.koddos.net/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz

3.配置环境变量
 cat /etc/profile.d/java.sh 
export JAVA_HOME=/usr/local/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH

验证java环境
java -version

4.创建zookeeper目录
mkdir /usr/local/zookeeper/ -p

5.解压
tar xf apache-zookeeper-3.7.0-bin.tar.gz  -C /usr/local/zookeeper/
mv apache-zookeeper-3.7.0-bin/ zookeeper


6.创建zookeeper数据目录
 mkdir /usr/local/zookeeper/zookeeper/data

7.修改配置文件以及名称，修改为zoo.cfg
cd /usr/local/zookeeper/zookeeper/conf/
mv zoo_sample.cfg zoo.cfg
[root@zk conf]# vim zoo.cfg 
[root@zk conf]# grep -E ^[^#] zoo.cfg 
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/zookeeper/data
clientPort=2181

8.启动
 /usr/local/zookeeper/zookeeper/bin/zkServer.sh start

 /usr/local/zookeeper/zookeeper/bin/zkServer.sh status

1.zookeeper服务端命令

启动服务端的命令：./zkServer.sh start
查看服务端的状态 ：./zkServer.sh status
停止服务端的服务：./zkServer.sh stop
重启服务端的服务：./zkServer.sh restart

2.客户端连接与命令

# 客户端连接
./bin/zkCli.sh -server localhost:2181
# 执行命令
ls /  # 查看节点  一层一层查看
version # 查看版本
#退出：
quit
[zk: localhost:2181(CONNECTED) 2] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 3] ls /zookeeper 
[config, quota]

#创建===create 节点 数据（不写默认就是空的）
[zk: localhost:2181(CONNECTED) 6] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 7] create /app1 it
Created /app1
[zk: localhost:2181(CONNECTED) 8] ls /
[app1, zookeeper]
#查看====get
[zk: localhost:2181(CONNECTED) 9] get /app1 
it
[zk: localhost:2181(CONNECTED) 10] create /app2 
Created /app2
[zk: localhost:2181(CONNECTED) 11] get /app2 
null
#修改
[zk: localhost:2181(CONNECTED) 12] set /app
app1   app2   
[zk: localhost:2181(CONNECTED) 12] set /app2 itcast
[zk: localhost:2181(CONNECTED) 13] get /app2
itcast
#删除
[zk: localhost:2181(CONNECTED) 14] delete /app1
[zk: localhost:2181(CONNECTED) 15] ls /
[app2, zookeeper]
...
子节点的增删改查
[zk: localhost:2181(CONNECTED) 16] create /app1
Created /app1
[zk: localhost:2181(CONNECTED) 17] create /app1/p1
Created /app1/p1
[zk: localhost:2181(CONNECTED) 18] create /app1/p2
Created /app1/p2
[zk: localhost:2181(CONNECTED) 19] ls /
[app1, app2, zookeeper]
[zk: localhost:2181(CONNECTED) 20] ls /app1
[p1, p2]
[zk: localhost:2181(CONNECTED) 21] delete /app1/p1
[zk: localhost:2181(CONNECTED) 22] delete /app1
Node not empty: /app1
[zk: localhost:2181(CONNECTED) 23] deleteall /app1
[zk: localhost:2181(CONNECTED) 24] ls /
[app2, zookeeper]

注意：删除子节点的数据可以直接用delete 
如果node节点有数据，子节点也有数据，这时候需要deleteall强制删除node节点

# 停止服务
./bin/zkServer.sh stop


#万能命令
help

创建临时节点和顺序节点

#创建临时节点
[zk: localhost:2181(CONNECTED) 27] create -e /app1
Created /app1
[zk: localhost:2181(CONNECTED) 28] ls /
[app1, app2, zookeeper]
只要会话断开，临时节点消失。
#创建顺序节点
[zk: localhost:2181(CONNECTED) 2] create -s /app1
Created /app10000000004
[zk: localhost:2181(CONNECTED) 3] create -s /app1
Created /app10000000005
[zk: localhost:2181(CONNECTED) 4] create -s /app1
Created /app10000000006
[zk: localhost:2181(CONNECTED) 5] create -s /app1
Created /app10000000007
[zk: localhost:2181(CONNECTED) 6] ls /
[app10000000004, app10000000005, app10000000006, app10000000007, app2, zookeeper]


#创建临时顺序节点
[zk: localhost:2181(CONNECTED) 8] create -es /app3
Created /app30000000008
[zk: localhost:2181(CONNECTED) 9] ls /
[app10000000004, app10000000005, app10000000006, app10000000007, app2, app30000000008, zookeeper]

查看节点的详细信息

ls -s /节点path

3.zookeeper配置文件参数解读

# 心跳 2000ms
tickTime=2000

# Leader和Follow刚开始通信的时候，初始化最大的延迟时间：10个心跳，一个心跳2000毫秒，20秒,超过说明连接不上
initLimit=10

# 集群正常启动后，Leader和Follow通信的最大延迟时间： 5 * 2000 毫秒
syncLimit=5

# 日志和数据存储路径
dataDir=/tmp/zookeeper
dataLogDir=/tmp/log
# 客户端访问服务的端口号  IP + clientPort
clientPort=2181
# 限制连接到zk客户端的数量，根据IP来区分不同的客户端。默认不开启，不限制连接数量
maxClientCnxns=60

# 保留多少个快照文件
#autopurge.snapRetainCount=3

# 快照和事务日志清理的频率，单位小时
#autopurge.purgeInterval=1

## Metrics Providers
# https://prometheus.io Metrics Exporter
#metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
# Jetty使用的端口号
#metricsProvider.httpPort=7000
#metricsProvider.exportJvmInfo=true

4.Docker安装

# 拉取镜像
docker pull zookeeper
# 运行容器
docker run -id --name zk -p 2181:2181 zookeeper

# 今日容器
docker exec -it df249b28f9cc /bin/bash
# 查看节点
zkCli.sh -server localhost:2181
ls /

三、zookeeper集群架构（三台）

1.环境准备

安装java环境
官网：下载地址：(https://www.oracle.com/java/technologies/javase-jdk8-downloads.html)
 rpm -ivh jdk-8u181-linux-x64.rpm 

下载zookeeper安装包
wget https://mirror-hk.koddos.net/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz

解压
tar xf apache-zookeeper-3.7.0-bin.tar.gz

2.创建目录

创建zookeeper目录
 mkdir /usr/local/zookeeper-cluster/
 
 mv apache-zookeeper-3.7.0-bin zookeeper
 mv zookeeper/ /usr/local/zookeeper-cluster/

创建数据zookeeper目录
mkdir /usr/local/zookeeper-cluster/zookeeper/data

#myid文件，里面的内容为数字，用于标识主机，如果这个文件没有的话，zooKeep无法启动（3台机器分别为1，2,3）
echo 1 >/usr/local/zookeeper-cluster/zookeeper/data/myid
一般为集群为单数超过一半就会成master
如果有三个服务器，按顺序启动，第二个机器就是loader

3.修改zookeeper配置文件名称

cd /usr/local/zookeeper-cluster/zookeeper/conf
mv zoo_sample.cfg zoo.cfg

vim zoo.cfg 
[root@kafka conf]# grep -E ^[^#] zoo.cfg 
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-cluster/zookeeper/data
clientPort=2181
server.1=10.0.0.20:2888:3888
server.2=10.0.0.30:2888:3888
server.3=10.0.0.40:2888:3888

解释：
servere.服务器id=服务器ip地址：服务器之间通信端口：服务器之间投票选举端口

4.启动zookeeper

/usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh start

5.查看集群状态

/usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh status
 可以看到一个leader，两个follower

6.模拟测试

如果三号机器挂掉
[root@kaf-03 conf]# /usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh stop
[root@kaf-01 conf]# /usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
[root@kaf-02 conf]# /usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader
结论：一号机器仍然为following ，二号机器为loader
结论：停掉三号机器不影响大局




继续测试：
继续停掉一号机器
[root@kaf-02 conf]# /usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running.

结论：二号机器的状态为报错，类似于没有运行

这时候一号机器启动，查看二号机器的状态
一号机器：
[root@kafka conf]# /usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh start
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
二号机器：
[root@kaf-01 conf]# /usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader
结论：一号机器重新启动，然后二号机器再次成为leader，活过来了。一号机器成为following



继续测试：
启动三号机器，三号机器成为following

这时候停掉二号机器
[root@kaf-02 conf]# /usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh stop
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED


[root@kaf03 ~]# /usr/local/zookeeper-cluster/zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-cluster/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader
结论：三号机器成为leader

7.集群的角色

在zookeeper的集群中，各个节点共有下面3种角色和4种状态：
角色：leader,follower,observer 状态：leading,following,observing,looking
Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。
实现这个机制的协议叫做Zab协议（ZooKeeper Atomic Broadcast protocol：原子广播协议）。
Zab协议有两种模式，它们分别是恢复模式（Recovery选主）和广播模式（Broadcast同步）。
当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。
状态同步保证了leader和Server具有相同的系统状态。
为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的统治时期。低32位用于递增计数。
每个Server在工作过程中有4种状态：
LOOKING：当前Server不知道leader是谁，正在搜寻。
LEADING：当前Server即为选举出来的leader。
FOLLOWING：leader已经选举出来，当前Server与之同步。
OBSERVING：observer的行为在大多数情况下与follower完全一致，但是他们不参加选举和投票，而仅仅接受(observing)选举和投票的结果

Zookeeper节点部署越多，服务的可靠性越高，
建议部署奇数个节点，因为zookeeper集群是以宕机个数过半才会让整个集群宕机的。

了解（观察者节点）

加入观察者节点
具体可以参考： https://zookeeper.apache.org/doc/r3.4.14/zookeeperObservers.html

观察者节点为10.0.0.100，myid为4

#第一步，在观察者节点的配置文件中增加以下内容：
peerType=observer

# 第二步，在其它的节点上修改配置添加
server.4=10.0.0.100:6002:6003:observer

补充

分布式锁

分布式锁的原理