本节内容：

  • Zookeeper介绍
  • Zookeeper特点
  • Zookeeper应用场景
  • 用到了Zookeeper的一些系统
  • Zookeeper集群安装部署

 

一、Zookeeper介绍

  • 是一个针对大型分布式系统的可靠协调系统；
  • 提供的功能包括：配置维护、名字服务、分布式同步、组服务等；
  • 目标就是封装好复杂易出错的关键职务，将简单易用的接口和性能高效、功能稳定的系统提供给用户；
  • Zookeeper已经成为Hadoop生态系统中的基础组件。

 

二、Zookeeper特点

  • 最终一致性：为客户端展示同一视图，这是Zookeeper最重要的性能；
  • 可靠性：如果消息被一台服务器接受，那么它将被所有的服务器接受；
  • 原子性：更新只能成功或失败，没有中间状态；

 

三、Zookeeper应用场景

1. 统一命名服务
（1）分布式环境下，经常需要对应用/服务进行统一命名，便于识别不同的服务

  • 类似于域名与ip之间对应关系，域名容易记住；
  • 通过名称来获取资源或服务的地址，提供者信息。

（2）按照层次结构组织服务/应用名称

  • 可将服务名称以及地址信息写在Zookeeper上，客户端通过Zookeeper获取可用服务列表。

2. 配置管理
（1）分布式环境下，配置文件管理和同步是一个常见问题

  • 一个集群中，所有节点的配置信息是一致的，比如Hadoop；
  • 对配置文件修改后，希望能够快速同步到各个节点上。

（2）配置管理可交由Zookeeper实现

  • 可将配置信息写入Zookeeper的一个znode上；
  • 各个节点监听这个znode
  • 一旦znode中的数据被修改，Zookeeper将会通知各个节点。

3. 集群管理
（1）分布式环境下，实时掌握每个节点的状态是必要的

  • 可根据节点实时状态做出一些调整。

（2）可交由Zookeeper实现

  • 可将节点信息写入Zookeeper的一个znode上；
  • 监听这个znode可获得它的实时状态变化。

（3）典型应用

  • HBase中Master状态的监控与选举。

4. 分布式通知/协调
原理其实就是发布/订阅。
（1）分布式环境下经常存在一个服务需要知道它所管理的子服务的状态

  • NameNode需要知道各DataNode的状态

（2）心跳检测机制可通过Zookeeper实现

（3）信息推送可由Zookeeper实现(发布/订阅模式)

5. 分布式锁
（1）Zookeeper是强一致性的

  • 多个客户端同时在Zookeeper上创建相同znode，只有一个创建成功。

（2）实现锁的独占性

  • 多个客户端同时在Zookeeper上创建相同znode，创建成功的那个客户端得到锁，其他客户端等待。

（3）控制锁的时序

  • 各个客户端在某个znode下创建临时znode(类型为CreateMode.EPHEMERAL_SEQUENTIAL)，这样，该znode可掌握全局访问时序。

 

四、用到了Zookeeper的一些系统

  • HDFS
  • YARN
  • Storm
  • HBase
  • Flume
  • Dubbo
  • metaq

五、Zookeeper集群安装部署

下面开始介绍Zookeeper的安装部署。安装部署分三种模式：单机模式、伪分布式模式和分布式模式。单机模式和为分布式比较简单，多用于本地测试调试，下面介绍分布式模式安装部署。

注意：3台机器都需要安装zk。对于Zookeeper集群的话，官方推荐的最小节点数为3个。

1. 环境信息

主机名

操作系统版本

IP地址

安装软件

console

CentOS 7.0

192.168.92.128

JDK1.7、zookeeper-3.4.6

log1

CentOS 7.0

192.168.92.129

JDK1.7、zookeeper-3.4.6

log2

CentOS 7.0

192.168.92.130

JDK1.7、zookeeper-3.4.6

 

 

 

 

 

 

 

2. 安装jdk1.7

3台机器都需要安装jdk1.7



[root@log1 local]# mkdir /usr/java
[root@log1 local]# tar zxf jdk-7u80-linux-x64.gz -C /usr/java/
[root@log1 local]# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
[root@log1 local]# source /etc/profile



3. 安装配置zk

（1）配置zk节点的hosts文件：配置3台机器的ip地址和主机名的对应关系。以下以console主机为例，其hosts文件添加下面3行：


192.168.92.128 console
192.168.92.129 log1
192.168.92.130 log2


（2）解压安装配置第一台zk



[root@console local]# tar zxf zookeeper-3.4.6.tar.gz
[root@console local]# cd zookeeper-3.4.6



创建快照日志存放目录：



[root@console zookeeper-3.4.6]# mkdir -p dataDir


创建事务日志存放目录：



[root@console zookeeper-3.4.6]# mkdir dataLogDir


【注意】:如果不配置dataLogDir，那么事务日志也会写在dataDir目录中。这样会严重影响zk的性能。因为在zk吞吐量很高的时候，产生的事务日志和快照日志太多。

修改配置文件，添加如下内容：



[root@console zookeeper-3.4.6]# cd conf 
[root@console conf]# mv zoo_sample.cfg zoo.cfg 
[root@console conf]# vim zoo.cfg
# 存放数据文件
dataDir=/usr/local/zookeeper-3.4.6/dataDir
# 存放日志文件
dataLogDir=/usr/local/zookeeper-3.4.6/dataLogDir
# zookeeper cluster，2888为选举端口，3888为心跳端口
server.1=console:2888:3888
server.2=log1:2888:3888
server.3=log2:2888:3888



在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字：


[root@console ~]# echo "1" > /usr/local/zookeeper-3.4.6/dataDir/myid


（3）远程复制第一台的zk到另外两台上，并修改myid文件为2和3


[root@console local]# scp -rp zookeeper-3.4.6 root@114.55.29.86:/usr/local/
[root@console local]# scp -rp zookeeper-3.4.6 root@114.55.29.241:/usr/local/


 （4）添加环境变量，三台服务器都需要添加，在/etc/profile文件中设置PATH，修改profile文件：


[root@log1 local]# vim /etc/profile


export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6
 
  
export PATH=$ZOOKEEPER_HOME/bin:$PATH export PATH
 
  
[root@log1 local]# source /etc/profile



4. 启动和关闭zk

在ZooKeeper集群的每个结点上，执行启动ZooKeeper服务的脚本，如下所示：



[root@console bin]# ./zkServer.sh start 
[root@log1 bin]# ./zkServer.sh start
[root@log2 bin]# ./zkServer.sh start


日志可查询：/usr/local/zookeeper-3.4.6/bin/zookeeper.out

可以通过命令jps查看Zookeeper进程：

zookeeper在windows添加身份认证 zookeeper认证功能和权限功能_开发工具

停止zk命令：


# /usr/local/zookeeper-3.4.6/bin/zkServer.sh stop


 

5. 测试zk集群

可以通过ZooKeeper的脚本来查看启动状态，包括集群中各个结点的角色（或是Leader，或是Follower）



zookeeper在windows添加身份认证 zookeeper认证功能和权限功能_大数据_02


[root@console bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@log1 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
[root@log2 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

zookeeper在windows添加身份认证 zookeeper认证功能和权限功能_大数据_02



通过上面状态查询结果可见，log1是集群的Leader，其余的两个结点是Follower。

另外，可以通过客户端脚本，连接到ZooKeeper集群上。对于客户端来说，ZooKeeper是一个整体，连接到ZooKeeper集群实际上感觉在独享整个集群的服务，所以，你可以在任何一个结点上建立到服务集群的连接。

 




zookeeper在windows添加身份认证 zookeeper认证功能和权限功能_开发工具_04

zookeeper在windows添加身份认证 zookeeper认证功能和权限功能_java_05

[root@log2 bin]# ./zkCli.sh -server log1:2181
Connecting to log1:2181
2016-03-08 14:21:31,502 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT
2016-03-08 14:21:31,505 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=log2
2016-03-08 14:21:31,505 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.7.0_80
2016-03-08 14:21:31,507 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2016-03-08 14:21:31,507 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/java/jdk1.7.0_80/jre
2016-03-08 14:21:31,507 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/usr/local/zookeeper-3.4.6/bin/../build/classes:/usr/local/zookeeper-3.4.6/bin/../build/lib/*.jar:/usr/local/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/local/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/usr/local/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/usr/local/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/usr/local/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/usr/local/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/usr/local/zookeeper-3.4.6/bin/../conf:.:/usr/java/jdk1.7.0_80/lib/dt.jar:/usr/java/jdk1.7.0_80/lib/tools.jar
2016-03-08 14:21:31,507 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-123.9.3.el7.x86_64
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/usr/local/zookeeper-3.4.6/bin
2016-03-08 14:21:31,510 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=log1:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@ee01430
Welcome to ZooKeeper!
2016-03-08 14:21:31,534 [myid:] - INFO  [main-SendThread(log1:2181):ClientCnxn$SendThread@975] - Opening socket connection to server log1/114.55.29.86:2181. Will not attempt to authenticate using SASL (unknown error)
2016-03-08 14:21:31,539 [myid:] - INFO  [main-SendThread(log1:2181):ClientCnxn$SendThread@852] - Socket connection established to log1/114.55.29.86:2181, initiating session
JLine support is enabled
[zk: log1:2181(CONNECTING) 0] 2016-03-08 14:21:31,572 [myid:] - INFO  [main-SendThread(log1:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server log1/114.55.29.86:2181, sessionid = 0x25354db0d430000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

[zk: log1:2181(CONNECTED) 0]

连接zookeeper


View Code


 

 

 

6. 脚本定期清理zk快照和日志文件

正常运行过程中，ZK会不断地把快照数据和事务日志输出到dataDir和dataLogDir这两个目录，并且如果没有人为操作的话，ZK自己是不会清理这些文件的。 我这里采用脚本切割。



[root@log1 ~]# cd /usr/local/zookeeper-3.4.6/
[root@log1 zookeeper-3.4.6]# vim clean_zklog.sh
#!/bin/bash
###Description:This script is used to clear zookeeper snapshot file and transaction logs.
###Written by: jkzhao - jkzhao@wisedu.com  
###History: 2016-04-08 First release.

# Snapshot file dir.
dataDir=/usr/local/zookeeper-3.4.6/dataDir/version-2

# Transaction logs dir.
dataLogDir=/usr/local/zookeeper-3.4.6/dataLogDir/version-2

# Reserved 5 files.
COUNT=5

ls -t $dataDir/snapshot.* | tail -n +$[$COUNT+1] | xargs rm -f
ls -t $dataLogDir/log.* | tail -n +$[$COUNT+1] | xargs rm -f

[root@log1 zookeeper-3.4.6]# chmod +x clean_zklog.sh

脚本切割zookeeper日志



每个Zookeeper集群节点配置周期性任务，每个星期日的0点0分执行：



[root@console zookeeper-3.4.6]# crontab -e
0 0 * * 0 /usr/local/zookeeper-3.4.6/clean_zklog.sh


 

安装过程可能遇到的问题：（防火墙问题，需关闭）

 

我采用的是CentOS7操作系统安装zookeeper，我的配置没有问题，三个节点启动后（./zkServer.sh start），用jps查看进程，QuorumPeerMain进程都正常启动

但是 zkServer.sh status 查看状态时，显示的是 Error contacting service. It is probably not running.

 

查看了配置文件和myid，仍然看不出啥问题，后面想着看日志，可是不知道日志在哪里看。

以start-foreground方式启动，会看到启动日志

故采用此命令执行   ./zkServer.sh start-foreground

 

然后终端就输出以下提示错误：

2017-06-20 10:54:57,691 [myid:1] - WARN  [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@588] - Cannot open channel to 2 at election address centos06/192.168.3.9:3888

java.net.NoRouteToHostException: 没有到主机的路由

 

百度说可能是linux系统的防火前没有关闭，所以关闭三个节点的防火墙

以下是centos关闭防火墙的正确方式:

禁用防火墙

[root@centos06 ~]# systemctl stop firewalld.service
[root@centos06 ~]#systemctl disable firewalld.service
[root@centos06 ~]#systemctl status firewalld.service (查看关闭状态)
[yellow@centos06 ~]$ systemctl status firewalld.service
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
关闭防火墙之后，zookeeper就正常工作了[yellow@centos05 bin]$ ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/yellow/app/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[yellow@centos05 bin]$ [yellow@centos06 bin]$ ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/yellow/app/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[yellow@centos06 bin]$ 
[yellow@centos07 bin]$ ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/yellow/app/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower