Zookeeper 的下载(我们以 Windows 为例)
1. 先到 Apache Zookeeper 官网(Apache ZooKeeper)进行下载。进入官网后,我们点击 Download。
2. 下一页面进行版本选择,我们选择最新的版本进行下载。
3. 在下一页面,我们点击下载链接进行压缩包下载。
4. 下载完成后解压到电脑上。解压后我们可以自己整理一下路径,本人 Zookeeper 的根目录如下所示。
5. 接着我们设置一下系统的环境变量。依次点击:右键我的电脑 -- 属性 -- 高级系统设置 -- 环境变量,然后我们在系统变量中添加 Zookeeper 的根目录变量,新建一个 ZK_HOME 变量,变量值设为刚刚安装并整理后的 Zookeeper 的根目录路径。然后我们在系统变量 Path 的变量值的尾部加上 %ZK_HOME%\bin,这样我们在 cmd 中就不需要每次启动 Zookeeper 都得先进入到 Zookeeper 根目录下的 bin 文件夹里面,我们可以直接在任何路径下访问 Path 中各路径下的文件。Win10 以下注意 Path 的多个变量值之间使用分号(;)来分隔开。配置好后点击确定来保存我们的配置。
5. 接着我们到根目录下的 conf 文件夹里面创建一个 Zookeeper 配置文件 zoo.cfg。
6. 然后打开 zoo_sample.cfg,把里面的内容复制到新建的 zoo.cfg 里面。然后我们配置好 dataDir 路径参数,指向根目录下的 data 文件夹,用于存放数据文件。我们可以不在根目录下创建这个文件夹,若没有创建,当 Zookeeper 需要用到时会自动创建。
此处注意的是:Linux 系统的路径分隔符使用 /,Windows 系统的路径分隔符使用 \\
7. 保存好配置文件,然后我们就可以在 cmd 中执行 zkServer 命令来启动 Zookeeper 服务器。如果执行后没有出现错误,且进入不可输入状态,说明我们的 Zookeeper 服务器启动成功。
前面我们添加了 ZK_HOME 环境变量指向 Zookeeper 根目录,并在 Path 的变量值添加了 %ZK_HOME%\bin,即 Zookeeper 根目录下的 bin 文件夹。那么我们执行 zkServer 命令时会到 Path 各个变量值的路径下寻找,当在 Zookeeper 根目录的 bin 文件夹下找到 zkServer.cmd 文件时,会执行它。
8. 接着我们另外打开一个 cmd,输入 zkCli 来启动 Zookeeper 客户端。当我们进入可输入状态且进入 zk 命令行时,说明我们连接 Zookeeper 服务器成功。我们可以执行 help 命令来查看 Zookeeper 的命令,接着我们可以执行 ls / 来查看一下 Zookeeper 的根节点 / 的子节点内容。
9. 到此,我们对 Zookeeper 的安装、简单配置与启动就成功完成了。
Zookeeper 集群
测试完单个 Zookeeper 服务器,接下来我们一起来看看更实用的 Zookeeper 集群功能。
1. 首先在三台机器上安装好 Zookeeper,此处作者没有三台机器,就在同一台机器上进行测试。首先分别在三个不同的路径下分别安装 Zookeeper。
2. 接着同样到三个 Zookeeper 安装目录的 conf 文件夹下分别创建一个 zoo.cfg,在配置文件中配置好 Zookeeper 集群信息。要使集群能运行成功,需要重点关注两个配置信息。
- 其中 clientPort 是用于配置监听 Zookeeper 客户端的端口,也就是客户端连接服务器时所访问的端口。由于作者是在同一台机器中部署三个服务器,所以该端口在三个配置文件中分别设置为 2181、2182、2183,这样才不会造成端口冲突(当在三台机器部署时,由于 IP 不同,可以都配置为默认的 2181 端口)。
- 接着是集群配置,该配置在三个 Zookeeper 的配置文件中都是一样的。server.1、server.2、server.3 分别代指三个服务器,后面配置各个服务器的 IP 和交互端口。同样由于都在同一台机器上,后面两个端口配置得分别设置为不同的端口:2888、2889、2890 和 3888、3889、3890。前三个端口用于服务器之间的通信,用于同步数据时等进行信息交互。后三个端口用于服务器之间的 Leader 选举。其中 server 后面的 1、2、3 为各个服务器的编号,可以自行指定。
提到 Leader 选举,就得说到 Zookeeper 集群中服务器的三种角色:Leader,有且只能存在一个,可以进行读写服务,当挂掉时会重新选举;Follower,只可以进行读服务,可以参与Leader选举;Observer,只可以进行读服务,不可以参与Leader选举。当集群中有 3 个服务器时,角色个数分别为:1、1、1,当集群中有 5 个服务器时,角色个数分别为:1、2、2。
3. 配置好集群设置,接下来我们就得给各个服务器进行编号,我们到 conf 文件中配置的 dataDir 路径下创建 myid 文件,在里面输入服务器的编号,该编号对应着前面配置 conf 文件中集群配置的 server 后面的编号。分别在三个服务器的 dataDir 路径下创建 myid 文件,且分别输入 1、2、3。
4. 接着我们把 Zookeeper 集群也就是三个服务器启动起来。当我们启动完第一个时,它会不断的去访问另外两个服务器,看是否启动。
5. 当我们三个都启动完后,就不会继续弹出连接错误提示,说明我们的集群已经启动成功了。
6. 接着我们启动客户端,看看我们是否能成功连接到我们启动的服务器。使用 zkCli -server 127.0.0.1:2181 去访问编号 1 的服务器。-server 后面的参数为服务器的 IP 和监听端口。连接成功后会进入命令行模式。
7. 接着我们执行命令 create /test hello,在根节点创建一个 test 节点,并赋值为 hello。接着我们就能查询到根节点下多了一个 test 节点,且它的值为 hello。
8. 接着我们再启动一个客户端连接到编号 2 的服务器,查看一下我们对服务器 1 写的数据是否有同步到服务器 2 上。我们能看到我们连接服务器 2 同样能够查询到我们刚刚在服务器 1 所添加的数据,说明服务器之间的数据是同步的。
前文我们说到集群中是只有一个 Leader 角色可以对数据进行读写操作,剩下两个角色都是只能对数据进行读操作。但我们为什么连接三个服务器却都可以进行数据写操作呢。原因在于 Zookeeper 集群的内部机制,当我们访问非 Leader 角色却进行数据写操作时,集群系统会把该操作转发到 Leader 服务器上再执行写操作。
9. 接着我们把服务器 1 关掉,然后我们能发现剩下的两个刚开始会报错,但是过一会他们就会重新选举 Leader,然后恢复正常使用。
10. 当我们继续关掉其中一个服务器时,能发现剩下的一个服务器就会不断报错,无法继续正常运行。这时,Zookeeper 集群就挂掉了。当集群有 3 台服务器时,只允许挂掉一台服务器。当集群有 5 台服务器时,只允许挂掉两台服务器,超出后就无法正常工作。至此,我们对 Zookeeper 集群的搭建与测试算是圆满结束了。
Java 调用 Zookeeper
1. 首先要下载 Zookeeper 的 jar 包,此处作者使用 maven 进行下载调用,也可以自行到网上进行下载。
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.14</version>
</dependency>
2. 接着学习通过 java 代码连接 Zookeeper 并操作节点数据。
package connect;
import java.util.List;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.ACL;
import org.apache.zookeeper.data.Stat;
/**
* @author: awang
* @version: 1.0
* @date: 2021年6月20日
*/
public class ZKConnectTest {
private static final String connectString = "127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183";
private static final int sessionTimeout = 2000;
private static ZooKeeper zk = null;
public static void main(String[] args) {
try {
List<String> child;
byte[] nodeData;
String nodePath;
StringBuffer printInfo = new StringBuffer();
//创建节点
nodePath = create("/test", "hello".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);
System.out.println("所创建节点路径:" + nodePath);
//判断创建节点是否存在
if (isExist("/test")) {
System.out.println("创建节点成功");
}
//获取所有子节点
child = getChildren("/", true);
printInfo.append("/ 的子节点:");
for (String childNode : child) {
printInfo.append(childNode + ",");
}
System.out.println(printInfo.substring(0, printInfo.length()-1).toString());
//获取节点数据
nodeData = getData("/test", false, new Stat());
System.out.println("test 节点的数据:" + new String(nodeData));
// 版本传入 -1,会修改、删除该节点的所有版本
setData("/test", "hello again".getBytes(), -1);
//修改后再次获取节点数据
nodeData = getData("/test", false, new Stat());
System.out.println("test 节点修改后的数据:" + new String(nodeData));
//删除节点数据
delete("/test", -1);
//删除后再次获取所有子节点
child = getChildren("/", true);
printInfo = new StringBuffer();
printInfo.append("/ 的子节点:");
for (String childNode : child) {
printInfo.append(childNode + ",");
}
System.out.println(printInfo.substring(0, printInfo.length()-1).toString());
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 获取zookeeper实例
* @return
* @throws Exception
*/
public static ZooKeeper getZookeeper() throws Exception {
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到watch通知后的回调函数
if (event.getType().toString() != "None") {
System.out.println("事件类型" + event.getType() + ",路径" + event.getPath());
}
//因为监听器只会监听一次,监听事件触发后,如果需要得自己重新添加监听。
try {
zk.getChildren("/", true);
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
});
return zk;
}
/**
* 创建数据
* @throws Exception
* @param path 创建节点路径
* @param data 创建节点数据
* @param acl 创建节点的权限
* @param createMode 创建节点的类型
* @return String 创建节点的路径
*/
public static String create(String path, byte[] data, List<ACL> acl, CreateMode createMode) throws Exception {
ZooKeeper zk = getZookeeper();
return zk.create(path, data, acl, createMode);
}
/**
* 判断节点是否存在
* @throws Exception
* @param 判断节点路径
* @return true | false 是否存在
*/
public static boolean isExist(String node) throws Exception {
ZooKeeper zk = getZookeeper();
Stat exists = zk.exists(node, false);
if (exists == null) {
return false;
} else {
return true;
}
}
/**
* 获取子节点
* @throws Exception
* @param path 所获取子节点所在路径
* @param watch 所获取节点是否监听
* @return List<String> 子节点列表
*/
public static List<String> getChildren(String path, boolean watch) throws Exception {
ZooKeeper zk = getZookeeper();
//获取子节点
List<String> children = zk.getChildren(path, watch);
return children;
}
/**
* 获取节点数据
* @throws Exception
* @param path 所获取节点数据路径
* @param watch 所获取节点是否监听
* @param stat 所获取节点状态
* @return byte[] 节点数据
*/
public static byte[] getData(String path, boolean watch, Stat stat) throws Exception {
ZooKeeper zk = getZookeeper();
byte[] data = zk.getData(path, watch, stat);
return data;
}
/**
* 删除数据,不支持删除的节点下面还有子节点,只能递归删除
* @throws Exception
* @param path 所要删除节点路径
* @param version 所要删除节点版本
*/
public static void delete(String path, int version) throws Exception {
ZooKeeper zk = getZookeeper();
zk.delete(path, version);
}
/**
* 修改节点的值
* @throws Exception
* @param path 所要修改节点的路径
* @param data 所要修改节点的修改后数据
* @param version 所要修改节点的版本
*/
public static boolean setData(String path, byte[] data, int version) throws Exception {
ZooKeeper zk = getZookeeper();
Stat modify = zk.setData(path, data, version);
if (modify != null) {
return true;
}
return false;
}
}
3. 运行代码后控制台输出如下,我们能看到我们的创建、获取、修改、删除操作都生效了,且 Watcher 监听事件也触发了。