本文介绍的 Zookeeper 是以 3.4.10 这个稳定版本为基础,最新的版本可以通过官网下载。Zookeeper 不仅可以单机提供服务,同时也支持多机组成集群来提供服务。实际上 Zookeeper 还支持另外一种伪集群的方式,也就是可以在一台物理机上运行多个 Zookeeper实例。Zookeeper的安装非常简单,本文主要介绍集群模式的安装和配置。环境如下图所示:

1、安装

[hadoop@hdp01 ~]$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz
[hadoop@hdp01 ~]$ tar -xzf zookeeper-3.4.10.tar.gz
[hadoop@hdp01 ~]$ mv zookeeper-3.4.10 /u01/zookeeper

创建两个文件夹分别存放data和log:

[hadoop@hdp01 ~]$ mkdir /u01/zookeeper/data/
[hadoop@hdp01 ~]$ mkdir /u01/zookeeper/logs/

2、配置 2.1 创建配置文件 zoo.cfg是zookeeper的主要配置文件,因为Zookeeper是一个集群服务,集群的每个节点都需要这个配置文件。为了避免出差错,zoo.cfg这个配置文件里没有跟特定节点相关的配置,所以每个节点上的这个zoo.cfg都是一模一样的配置。这样就非常便于管理了,比如我们可以把这个文件提交到版本控制里管理起来。其实这给我们设计集群系统的时候也是个提示:集群系统一般有很多配置,应该尽量将通用的配置和特定每个服务的配置(比如服务标识)分离,这样通用的配置在不同服务之间copy就可以了。

[hadoop@hdp01 ~]$ vi /u01/zookeeper/conf/zoo.cfg 
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/u01/zookeeper/data
dataLogDir=/u01/zookeeper/logs
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
maxClientCnxns=100
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=hdp01:2888:3888
server.2=hdp02:2888:3888
server.3=hdp03:2888:3888
server.4=hdp04:2888:3888
  • tickTime:则是上述两个超时配置的基本单位,例如对于initLimit,其配置值为5,说明其超时时间为 2000ms * 5 = 10秒。
  • dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。其配置的含义跟单机模式下的含义类似,不同的是集群模式下还有一个myid文件。myid文件的内容只有一行,且内容只能为1 - 255之间的数字,这个数字亦即上面介绍server.id中的id,表示zk进程的id。
  • dataLogDir:如果没提供的话使用的则是dataDir。zookeeper的持久化都存储在这两个目录里。dataLogDir里是放到的顺序日志(WAL)。而dataDir里放的是内存数据结构的snapshot,便于快速恢复。为了达到性能最大化,一般建议把dataDir和dataLogDir分到不同的磁盘上,这样就可以充分利用磁盘顺序写的特性。
  • initLimit:ZooKeeper集群模式下包含多个zk进程,其中一个进程为leader,余下的进程为follower。当follower最初与leader建立连接时,它们之间会传输相当多的数据,尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。
  • syncLimit:配置follower和leader之间发送消息,请求和应答的最大时间长度。
  • server.id=host:port1:port2 server.id:其中id为一个数字,表示zk进程的id,这个id也是data目录下myid文件的内容 host:是该zk进程所在的IP地址 port1:表示follower和leader交换消息所使用的端口 port2:表示选举leader所使用的端口
  • clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。 2.2 创建myid文件 Zookeeper 启动时会读取myid文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。在创建myid之前,先把zookeeper的所有文件复制到其它节点。
[hadoop@hdp01 ~]$ for i in {2..4};do scp -r /u01/zookeeper hdp0$i:/u01/zookeeper;done
[hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "echo $i >/u01/zookeeper/data/myid";done

3、管理 3.1 启动集群 在任意一台机器上操作即可。

[hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "source .bash_profile;zkServer.sh start";done
ZooKeeper JMX enabled by default
Using config: /u01/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
ZooKeeper JMX enabled by default
Using config: /u01/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
ZooKeeper JMX enabled by default
Using config: /u01/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
ZooKeeper JMX enabled by default
Using config: /u01/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

3.2 查看集群状态

[hadoop@hdp01 ~]$ for i in {1..4};do ssh hdp0$i "source .bash_profile;zkServer.sh status";done
ZooKeeper JMX enabled by default
Using config: /u01/zookeeper/bin/../conf/zoo.cfg
Mode: follower
ZooKeeper JMX enabled by default
Using config: /u01/zookeeper/bin/../conf/zoo.cfg
Mode: follower
ZooKeeper JMX enabled by default
Using config: /u01/zookeeper/bin/../conf/zoo.cfg
Mode: leader
ZooKeeper JMX enabled by default
Using config: /u01/zookeeper/bin/../conf/zoo.cfg
Mode: follower

3.3 连接集群

[hadoop@hdp01 ~]$ zkCli.sh -server hdp01:2181,hdp02:2181,hdp03:2181,hdp04:2181
Connecting to localhost:2181
2017-12-13 10:08:15,949 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
2017-12-13 10:08:15,957 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=hdp01.thinkjoy.tt
2017-12-13 10:08:15,957 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_152
2017-12-13 10:08:15,961 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2017-12-13 10:08:15,961 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/java/jdk1.8.0_152/jre
......
Welcome to ZooKeeper!
2017-12-13 10:08:16,001 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2017-12-13 10:08:16,081 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@876] - Socket connection established to localhost/0:0:0:0:0:0:0:1:2181, initiating session
2017-12-13 10:08:16,093 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x1604d9842db0006, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0]

参考文献: 1、CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务 2、【分布式】Zookeeper的Leader选举 3、分布式服务框架 Zookeeper -- 管理分布式环境中的数据