ZooKeeper
- 一.ZooKeeper基础
- 1.ZooKeeper概述
- 2.ZooKeeper的设计目标
- 二.ZooKeeper的作用及优势
- 1.为什么需要ZooKeeper
- 2.ZooKeeper作用
- 三.ZooKeeper架构
- 四.ZooKeeper内部原理
- 1.选举机制
- 2.节点类型
一.ZooKeeper基础
1.ZooKeeper概述
ZooKeeper是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目
Zookeeper=文件系统+通知机制
Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册
一旦数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管理模式
2.ZooKeeper的设计目标
1)简单(simple)。分布式应用中的各个进程可以通过ZooKeeper的名字空间(Namepace)来协调,这个名字空间是共享的,具有层次结构,最重要的是他类似于平常接触到的文件系统的目录结构,非常简单。
2)可复制(replicated)。在ZooKeeper集群中,每个节点的数据都可以在集群中复制传播,实现集群中每一个节点的数据同步一致,同时也可以避免发生单点故障
3)顺序性(order)。ZooKeeper使用时间戳来记录引起状态更新的事务性操作并通过时间戳来保证有序性。
4)快速(fast)。在分布式应用中,ZooKeeper对于以读数据为主的应用场景,是非常高效的。
二.ZooKeeper的作用及优势
1.为什么需要ZooKeeper
(1)开发分布式系统是非常复杂的。复杂主要体现在集群的维护和多节点应用程序的协作运行上。
(2)开发的私有的协调程序间缺乏一个通用的机制,而且由于反复编写,难以形成通用的,伸缩性好的协调程序。
2.ZooKeeper作用
(1)配置管理除了编写代码之外,还有一些配置工作,比如数据库连接,通常是使用配置文件来完成。ZooKeeper可以提供统一的配置服务
(2)分布式同步ZooKeeper提供了锁服务,用来解决分布式系统操作过程中的数据一致性问题,以保证分布式数据运算中数据操作的一致性。
(3)通过ZooKeeper的通信与回调机制可以进行分布式集群的机器状态监视,做到动态感知集群目前的状态,同时实现很多技术框架的主备切换
三.ZooKeeper架构
ZooKeeper集群是由一组server节点和若干Client(客户端)组成
(1)Zookeeper:一个领导者(leader),多个跟随者(follower)组成的集群.
(2)Leader负责进行投票的发起和决议,更新系统状态
(3)Follower用于接收客户请求并向客户端返回结果,在选举Leader过程中参与投票
(4)集群中只要有半数以上节点存活,Zookeeper集群就能正常服务
(5)全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个server,数据都是一致的。
(6)更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行。
(7)数据更新原子性,一次数据更新要么成功,要么失败
(8)实时性,在一定时间范围内,client能读到最新数据。
四.ZooKeeper内部原理
1.选举机制
(1)半数机制:集群中半数以上机器存活,集群可用。所以zookeeper适合装在奇数台机器上。
(2)Zookeeper虽然在配置文件中并没有指定master和slave。但是,zookeeper工作时,是有一个节点为leader,其他则为follower,Leader是通过内部的选举机制临时产生的
(3)以一个简单的例子来说明整个选举的过程,假设有五台服务器组成的zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。
- 服务器1启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,所以它的选举状态一直是LOOKING状态。
- 服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1、2还是继续保持LOOKING状态。
- 服务器3启动,根据前面的理论分析,服务器3成为服务器1、2、3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的leader。
- 服务器4启动,根据前面的分析,理论上服务器4应该是服务器1、2、3、4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3,所以它只能接收当小弟的命了。
- 服务器5启动,同4一样当小弟。
2.节点类型
(1)Znode有两种类型:
- 短暂(ephemeral):客户端和服务器端断开连接后,创建的节点自己删除
- 持久(persistent):客户端和服务器端断开连接后,创建的节点不删除
(2)Znode有四种形式的目录节点(默认是persistent )
1)持久化目录节点(PERSISTENT)
客户端与zookeeper断开连接后,该节点依旧存在
2)持久化顺序编号目录节点(PERSISTENT_SEQUENTIAL)
客户端与zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号
3)临时目录节点(EPHEMERAL)
客户端与zookeeper断开连接后,该节点被删除
4)临时顺序编号目录节点(EPHEMERAL_SEQUENTIAL)
客户端与zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号
(3)创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器,由父节点维护
(4)在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序