文章目录

  • ZooKeeper集群的安装、配置、高可用测试
  • ZooKeeper 与 Dubbo 服务集群架构图
  • 1、 修改操作系统的/etc/hosts 文件，添加 IP 与主机名映射：
  • 2、 下载或上传 zookeeper-3.4.6.tar.gz 到/home/wusc/zookeeper 目录：
  • 3、 解压 zookeeper 安装包，并按节点号对 zookeeper 目录重命名：
  • 4、 在各 zookeeper 节点目录下创建以下目录：
  • 5、 将 zookeeper/node-0X/conf 目录下的 zoo_sample.cfg 文件拷贝一份，命名为 zoo.cfg:
  • 6、 修改 zoo.cfg 配置文件：
  • 7、 在 dataDir=/home/wusc/zookeeper/node-0X/data 下创建 myid 文件
  • 8、 在防火墙中打开要用到的端口 218X、288X、388X
  • 9、 启动并测试 zookeeper（要用 wusc 用户启动，不要用 root）:
  • 10、停止 zookeeper 进程：
  • 11、配置 zookeeper 开机使用 wusc 用户启动：
  • 二、安装 Dubbo 管控台（基础篇有讲,此处重点讲`管控台如何链接集群`）：
  • 1、 下载（或上传）最新版的 Tomcat7（apache-tomcat-7.0.57.tar.gz）到/home/wusc/
  • 2、 解压：
  • 3、 移除/home/wusc/dubbo-admin-tomcat/webapps 目录下的所有文件：
  • 4、 上传 Dubbo 管理控制台程序 dubbo-admin-2.5.3.war
  • 5、 解压并把目录命名为 ROOT:
  • 6、 配置 dubbo.properties：
  • 7、 防火墙开启 8080 端口，用 root 用户修改/etc/sysconfig/iptables，
  • 8、 启动 Tomat7
  • 9、 浏览 http://192.168.1.81:8080/
  • 10、配置部署了 Dubbo 管控台的 Tomcat 开机启动：
  • ZooKeeper集群的升级、迁移



ZooKeeper集群的安装、配置、高可用测试

Dubbo 建议使用 Zookeeper 作为服务的注册中心。
Zookeeper 集群中只要有过半的节点是正常的情况下，那么整个集群对外就是可用的。正是基于这个特性， 要将 ZK 集群的节点数量要为奇数（2n+1：如 3、5、7 个节点）较为合适。

ZooKeeper 与 Dubbo 服务集群架构图

dubbo的集群部署 dubbo zookeeper集群_dubbo的集群部署

服务器 1：192.168.1.81 端口：2181、2881、3881

服务器 2：192.168.1.82 端口：2182、2882、3882

服务器 3：192.168.1.83 端口：2183、2883、3883

1、 修改操作系统的/etc/hosts 文件，添加 IP 与主机名映射：

# zookeeper cluster servers 
192.168.1.81	edu-zk-01
192.168.1.82	edu-zk-02
192.168.1.83	edu-zk-03

2、 下载或上传 zookeeper-3.4.6.tar.gz 到/home/wusc/zookeeper 目录：

$ cd /home/wusc/zookeeper
$ wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

3、 解压 zookeeper 安装包，并按节点号对 zookeeper 目录重命名：

$ tar -zxvf zookeeper-3.4.6.tar.gz
服务器 1：
$ mv zookeeper-3.4.6 node-01
服务器 2：
$ mv zookeeper-3.4.6 node-02
服务器 3：
$ mv zookeeper-3.4.6 node-03

4、 在各 zookeeper 节点目录下创建以下目录：

$ cd /home/wusc/zookeeper/node-0X	(X 代表节点号 1、2、3，以下同解)
$ mkdir data
$ mkdir logs

5、 将 zookeeper/node-0X/conf 目录下的 zoo_sample.cfg 文件拷贝一份，命名为 zoo.cfg:

$ cp zoo_sample.cfg zoo.cfg

6、 修改 zoo.cfg 配置文件：

zookeeper/node-01 的配置（/home/wusc/zookeeper/node-01/conf/zoo.cfg）如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/wusc/zookeeper/node-01/data
dataLogDir=/home/wusc/zookeeper/node-01/logs
clientPort=2181
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

zookeeper/node-02 的配置（/home/wusc/zookeeper/node-02/conf/zoo.cfg）如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/wusc/zookeeper/node-02/data
dataLogDir=/home/wusc/zookeeper/node-02/logs
clientPort=2182
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

zookeeper/node-03 的配置（/home/wusc/zookeeper/node-03/conf/zoo.cfg）如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/wusc/zookeeper/node-03/data
dataLogDir=/home/wusc/zookeeper/node-03/logs
clientPort=2183
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

参数说明:

tickTime=2000
tickTime 这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。（这里说的服务器和客户端不是说的真正的服务器和客户端，指的是相邻节点之间的心跳）

initLimit=10
initLimit 这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。

syncLimit=5
syncLimit 这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10 秒。

dataDir=/home/wusc/zookeeper/node-01/data
dataDir 顾名思义就是 Zookeeper 保存数据的目录,默认情况下 Zookeeper 将写数据的日志文件也保存在这个目录里。

clientPort=2181
clientPort 这个端口就是客户端（应用程序，真正的客户端，不是相邻的节点）连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口接受客户端的访问请求。

server.A=B：C：D
server.1=edu-zk-01:2881:3881
server.2=edu-zk-02:2882:3882
server.3=edu-zk-03:2883:3883

A是一个数字,表示这个是第几号服务器；
B是这个服务器的 IP 地址（或者是与 IP 地址做了映射的主机名）；
C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的 Leader 服务器交换信息的端口；
D是在 leader 挂掉时专门用来进行选举 leader 所用的端口。
注意：如果是伪集群（在一个机器上部署集群）的配置方式，不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

7、 在 dataDir=/home/wusc/zookeeper/node-0X/data 下创建 myid 文件

编辑 myid 文件，并在对应的 IP 的机器上输入对应的编号。如在 node-01 上，myid 文件内容就是1,node-02 上就是 2，node-03 上就是 3：

$ vi /home/wusc/zookeeper/node-01/data/myid ## 值为 1
输入1
$ vi /home/wusc/zookeeper/node-02/data/myid ## 值为 2
输入2
$ vi /home/wusc/zookeeper/node-03/data/myid ## 值为 3
输入3

8、 在防火墙中打开要用到的端口 218X、288X、388X

切换到 root 用户权限，执行以下命令：

# chkconfig iptables on
# service iptables start

编辑/etc/sysconfig/iptables

# vi /etc/sysconfig/iptables

如服务器 01 增加以下 3 行：

## zookeeper

-A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 2881 -j ACCEPT 
-A INPUT -m state --state NEW -m tcp -p tcp --dport 3881 -j ACCEPT

重启防火墙：

# service iptables restart

查看防火墙端口状态：

# service iptables status

9、 启动并测试 zookeeper（要用 wusc 用户启动，不要用 root）:

(1)使用 wusc 用户到/home/wusc/zookeeper/node-0X/bin 目录中执行：

$ /home/wusc/zookeeper/node-01/bin/zkServer.sh start
$ /home/wusc/zookeeper/node-02/bin/zkServer.sh start 
$ /home/wusc/zookeeper/node-03/bin/zkServer.sh start

zookeeper日志在zookeeper app目录下的zookeeper.out中
启动其中一个的时候会报错：connection refused，这是正常的，因为zookeeper默认只有一半的几点正常的时候才能正常运转，一直在等待其他的两个启动。当第二个节点启动的时候，就不会再报错了。
(2)输入 jps 命令查看进程：

$ jps
1456 QuorumPeerMain

其中，QuorumPeerMain 是 zookeeper 进程，说明启动正常

(3)查看状态：

$ /home/wusc/zookeeper/node-01/bin/zkServer.sh status

通过这个命令可以查看主从关系。
Mode：follower 从节点
Mode：leader 主节点
(4)查看 zookeeper 服务输出信息：
由于服务信息输出文件在/home/wusc/zookeeper/node-0X/bin/zookeeper.out

$ tail -500f zookeeper.out

10、停止 zookeeper 进程：

$ zkServer.sh stop

11、配置 zookeeper 开机使用 wusc 用户启动：

编辑 node-01、node-02、node-03 中的/etc/rc.local 文件，分别加入：

su - wusc -c '/home/wusc/zookeeper/node-01/bin/zkServer.sh start' 
su - wusc -c '/home/wusc/zookeeper/node-02/bin/zkServer.sh start' 
su - wusc -c '/home/wusc/zookeeper/node-03/bin/zkServer.sh start'

二、安装 Dubbo 管控台（基础篇有讲,此处重点讲管控台如何链接集群）：

Dubbo 管控台可以对注册到 zookeeper 注册中心的服务或服务消费者进行管理，但管控台是否正常对 Dubbo 服务没有影响，管控台也不需要高可用，因此可以单节点部署。

IP: 192.168.1.81

部署容器：Tomcat7

端口：8080

1、 下载（或上传）最新版的 Tomcat7（apache-tomcat-7.0.57.tar.gz）到/home/wusc/

2、 解压：

su - wusc -c '/home/wusc/zookeeper/node-01/bin/zkServer.sh start' 
su - wusc -c '/home/wusc/zookeeper/node-02/bin/zkServer.sh start' 
su - wusc -c '/home/wusc/zookeeper/node-03/bin/zkServer.sh start'

3、 移除/home/wusc/dubbo-admin-tomcat/webapps 目录下的所有文件：

$ rm -rf *

4、 上传 Dubbo 管理控制台程序 dubbo-admin-2.5.3.war

到/home/wusc/dubbo-admin-tomcat/webapps

5、 解压并把目录命名为 ROOT:

$ unzip dubbo-admin-2.5.3.war -d ROOT

把 dubbo-admin-2.5.3.war 移到/home/wusc/tools 目录备份

$ mv dubbo-admin-2.5.3.war /home/wusc/tools

6、 配置 dubbo.properties：

$ vi ROOT/WEB-INF/dubbo.properties
dubbo.registry.address=
zookeeper://192.168.1.81:2181?backup=192.168.1.82:2182,192.168.1.83:2183
dubbo.admin.root.password=wusc.123
dubbo.admin.guest.password=wusc.123
（以上密码在正式上生产前要修改）

上面的配置中192.168.1.81:2181是主节点，后面的是备用节点

7、 防火墙开启 8080 端口，用 root 用户修改/etc/sysconfig/iptables，

# vi /etc/sysconfig/iptables

增加：

## dubbo-admin-tomcat:8080
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j ACCEPT

重启防火墙：

# service iptables restart

8、 启动 Tomat7

$ /home/wusc/dubbo-admin-tomcat/bin/startup.sh

9、 浏览 http://192.168.1.81:8080/

登录密码就是刚才配置文件中设置的密码

dubbo的集群部署 dubbo zookeeper集群_java_02

10、配置部署了 Dubbo 管控台的 Tomcat 开机启动：

在虚拟主机中编辑/etc/rc.local 文件，加入：

su - wusc -c '/home/wusc/dubbo-admin-tomcat/bin/startup.sh'

11、应用链接到注册中心群集的测试。
dubbo项目中的配置文件

dubbo.registry.address=192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183

dubbo的集群部署 dubbo zookeeper集群_zookeeper_03


注册成功

12、注册中心高可用集群的测试。

  • 任何一个节点挂掉，不影响程序的正常使用。
    刚才的82是leader，将leader关掉，在eclipse的客户端console中能看到相关的日志，可以看到，失去连接，然后自动连接上了，进入linux再次查看81和83节点的status，发现第三个节点变成了leader。即leader挂掉，会选举出新的leader。就是说任何一个节点挂掉，不影响程序的正常使用。
  • 如果节点不过半，对集群的影响。
    如果集群不正常，管控台启动或者重启是失败的。
    将81关掉，82和83不关掉，83是leader，关掉dubbo管控台，bin/shutdown.sh,然后重新启动bin/start.sh,管控台这个时候还是能够启动的。
    将81和82关掉，83不关掉。83是leader，关掉dubbo管控台，bin/shutdown.sh,然后重新启动bin/start.sh,管控台这个时候是如法使用的。如果关掉81，82管控台没有关闭，还是可以用的，因为管控台只有在启动的时候才会检测，因为本地可能有缓存，举个?，消费端和服务提供端同构zookeeper建立了连接，这个时候就已经不需要zookeeper了，不影响消费端和服务端之间的通信的。
    将82再次启动起来，这个时候管控台又可以用了

以上主要关注 dubbo.properties和项目中配置文件的修改

ZooKeeper集群的升级、迁移

原型就是将原来的放在当节点上的zookeeper进行迁移，并且保证业务的不中断

dubbo的集群部署 dubbo zookeeper集群_java_04

大致的迁移流程：
上图中的 1和2是两个注册中心，下面的方块是被注册的服务，上面的方块是消费者。
第一步服务注册到原来的注册中心1，第二步消费者去注册中心1进行调用，第三步，服务注册到注册中心2，第四部，消费者去注册中心进行调用，第五步，将消费者原来调用注册中心1的连接去掉，第六步，将服务注册到注册中心1的连接去掉，第七步（图中没有给出），将原来的注册中心1去掉。

一个从单节点的注册中心迁移到多借点的注册中心的?：

在dubbo的配置文件中：

dubbo.registry.address=192.168.1.71:2181|192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183

注意上面中的配置多个注册中心用”|“分割，同一个注册中心中的不同节点，用”，“分隔

然后在eclipse中提交

之前请确保每一个服务都 至少有两个实例

dubbo的集群部署 dubbo zookeeper集群_zookeeper_05


dubbo的集群部署 dubbo zookeeper集群_大数据_06


将所有的服务进行构建，确保服务都有 双份（双份的意思是注册多个服务，高可用），避免迁移的过程中出现问题。

dubbo的集群部署 dubbo zookeeper集群_java_07


至此dubbo管制台出现了所有的服务。

上面完成了将服务注册到了两个注册中心，也就是实现了上面的1、2、3步骤。然后将服务的消费方，进行构建（ 同样确保有两个实例，做到高可用）

dubbo的集群部署 dubbo zookeeper集群_开发工具_08


以上完成了1、2、3、4步骤，至此服务，无论从哪个注册中心，都能得到服务的提供者，因为服务的端口都是一样的。至此，通过两个注册中心的管控台对比dubbo服务，发现两个都是一样的。

dubbo的集群部署 dubbo zookeeper集群_java_09


修改配置文件

dubbo.registry.address=192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183

将原来的192.168.1.71:2181删掉。
然后在eclipse中提交。

然后在hudson中对服务的消费端依照上面的步骤进行构建，如此取消了消费方对第一套注册中心的订阅。
以上完成了1、2、3、4、5、6的步骤。

然后再次在hudson中构建服务提供者，如此取消了服务方对第一套注册中心的注册。
以上完成了1、2、3、4、5、6、7的步骤

注意在取消的过程中，同样需要两个实例，所以在真正的迁移中，必须先构建第一个实例，再构建第二个实例，确保在构建的过程中都是可用的。

然后就可以关掉第一套的注册中心了