Zookeeper 实时性

转载

bigrobin 2024-07-14 08:20:49

文章标签 Zookeeper 实时性 java-zookeeper 大数据 zookeeper jar包 文章分类 运维

大数据编程技术基础实验六：ZooKeeper实验——进程协作

文章目录

大数据编程技术基础实验六：ZooKeeper实验——进程协作

一、前言
二、实验目的与要求
三、实验原理
四、实验步骤

1、启动ZooKeeper集群
2、导入jar包
3、编写java代码
4、做成jar包

五、最后我想说

一、前言

在实验开始之前，首先祝大家国庆节快乐，希望大家都能愉快的度过国庆假期，而我也就昨天休息了一天跟室友们出去吃了一顿饭，我们的国庆只有三天，真羡慕国庆七天并且还能出去玩的人，太命苦了，大学四年已过去三年一次像样的国庆都没有，只能默默的锻炼和学习安抚我的心灵。

好啦，回归正题，在前面一期实验中，我们刚学会了ZooKeeper的部署与启动，本期我们就来用ZooKeeper实战一下，学习一下ZooKeeper如何实现多个线程间的协作。

二、实验目的与要求

掌握Java代码如何连接ZooKeeper集群及通过代码读写ZooKeeper集群的目录下的数据，掌握ZooKeeper如何实现多个线程间的协作。
用Java代码实现两个线程，一个向ZooKeeper中某一目录中写入数据，另一线程监听此目录，若目录下数据有更新则将目录中数据读取并显示出来。

三、实验原理

通过ZooKeeper实现不同物理机器上的进程间通信。
场景使用：客户端A需要向客户端B发送一条消息msg1。
实现方法：客户端A把msg1发送给ZooKeeper集群，然后由客户端B自行去ZooKeeper集群读取msg1。

四、实验步骤

本实验主要完成多线程通过ZooKeeper完成彼此间的协作问题，实验过程包含启动集群、编写代码、客户端提交代码三个步骤。

1、启动ZooKeeper集群

启动ZooKeeper集群。具体步骤可以参考我前面一期博客内容：

大数据技术基础实验五：Zookeeper实验——部署ZooKeeper

2、导入jar包

我们在本地打开我们的开发工具Eclipse，然后创建我们的ZooKeeperTest项目，它是一个java项目。

Zookeeper 实时性_大数据

创建完项目之后，我们需要从服务器上ZooKeeper安装包的lib目录下，将如下jar包导入到开发工具，我们需要用到Xftp工具连接到服务器，然后直接进行拖拽到本地项目下的lib包内即可。

首先连接主机：

Zookeeper 实时性_zookeeper_02

我们需要导入的jar包有：

jline-0.9.94.jar

log4j-1.2.16.jar

netty-3.7.0.Final.jar

slf4j-api-1.6.1.jar

slf4j-log4j12-1.6.1.jar

zookeeper-3.4.6.jar

找到虚拟机内的ZooKeeper安装包的lib目录，它在/usr/cstor/zookeeper/lib，然后将lib下的这些jar包导入到我们本地的项目lib目录内：

Zookeeper 实时性_Zookeeper 实时性_03

一共有六个jar包，最后一个zookeeper-3.4.6.jar它在这个目录/usr/cstor/zookeeper/lib的上一级里面：

Zookeeper 实时性_java-zookeeper_04

然后我们需要将这六个jar导入到我们的项目中，我们右键每一个jar包然后进行如下选择即可导入成功：

Zookeeper 实时性_java-zookeeper_05

3、编写java代码

然后我们创建两个java类:

Zookeeper 实时性_java-zookeeper_06

然后分别写入java代码。

向/testZk目录写数据线程代码实现：

public class WriteMsg extends Thread {
@Override
public void run() {
     try {
         ZooKeeper zk = new ZooKeeper("slave1:2181", 500000, null);
         String content = Long.toString(new Date().getTime());
         // 修改节点/testZk下的数据，第三个参数为版本，如果是-1，那会无视被
           修改的数据版本，直接改掉
         zk.setData("/testZk", content.getBytes(), -1);
         // 关闭session
         zk.close();
      } catch (Exception e) {
      e.printStackTrace();
    }
  }
}

监听/testZk目录若数据改变则读取数据并显示线程代码实现：

public class ReadMsg {
   public static void main(String[] args) throws Exception {
   final ZooKeeper zk = new ZooKeeper("slave1:2181", 500000, null);
   //定义watch 
   Watcher wacher = new Watcher() {
      public void process(WatchedEvent event) {
      //监听到数据变化取出数据
      if(EventType.NodeDataChanged == event.getType()){
         byte[] bb;
         try {
            bb = zk.getData("/testZk", null, null);
            System.out.println("/testZk的数据: "+new String(bb));
         } catch (Exception e) {
         e.printStackTrace();
         }
       }
     }
   };
   //设置watch 
   zk.exists("/testZk", wacher);
   //更新/testZk目录信息，触发wacth
   while(true)
   {
      Thread.sleep(2000);
      new WriteMsg().start();
      //watch一次生效就会删除需重新设置 
      zk.exists("/testZk", wacher);
   }
  }
}

4、做成jar包

和之前打包类似，但这次我们需要改成可执行的jar文件：

Zookeeper 实时性_java-zookeeper_07

Zookeeper 实时性_Zookeeper 实时性_08

打包成功之后，我们再次使用Xftp工具将打包好的jar包放到root目录下面，因为我们要在/testZk目录写数据线程，但在上一期实验中我们最后删除了这个目录，所以我们需要重新启动客户端，然后创建/testZk目录，然后退出。

这里启动客户端和创建目录我就不再演示，不会的朋友可以移步到上一期博客。

然后我们执行如下命令即可执行代码：

java -jar /root/ZooKeeperTest.jar

Zookeeper 实时性_java-zookeeper_09

这里我们成功打印了日志信息，打印日志信息为ZooKeeper接收线程监控到/testZk目录信息有变化时，读取该目录的内容。

但是这里一直抛出这样的错误：

2022-10-02 14:34:08,511 ERROR [org.apache.zookeeper.ClientCnxn] - Error while calling watcher
java.lang.NullPointerException
        at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:522)
        at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:498)

根据我上网查询过后，目前还是没有解决这个异常，我也不太懂这个是什么原因，如果有知道的大佬可以告诉我一下，谢谢，我也准备问一下我们的老师，看他是怎么解决的，如果解决了后续我再将解决办法加进来。