zookeeper参数详解 zookeeper 数据

转载

mob64ca1411e411 2024-04-01 15:38:39

文章标签 zookeeper参数详解大数据 zookeeper 服务器数据 文章分类 运维

一、入门

zookeeper工作机制

基于观察者模式设计的分布式服务管理框架，负责存储和管理大家都关心的数据，然后接受观察者的注册，数据的状态发生变化，负责通知观察者做出反应
zookeeper = 文件系统 + 通知机制
zookeeper特点：zookeeper有一个leader和多个follower；集群只要有半数以上节点存活，zookeeper集群就能正常服务。适合奇数台服务器；全局数据一致：每个server保存相同的数据副本；更新请求顺序执行；数据更新原子性，要么成功要么失败。
zookeeper数据结构：和unix文件系统相似，整体是棵数，每个节点撑ZNode，每个节点默认存储1MB数据
应用场景：统一命名服务；配置文件同步；统一集群管理；服务器动态上下线；软负载均衡；

环境搭建

官网https://zookeeper.apache.org
拷贝 apache-zookeeper-3.5.7-bin.tar.gz 安装包到 Linux 系统下；打开 zoo.cfg 文件，修改 dataDir 路径
启动Zookeeper：bin/zkServer.sh start；启动客户端：bin/zkCli.sh；退出客户端：quit
的配置文件zoo.cfg中参数：tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒；initLimit = 10：LF初始通信时限（10个心跳）；syncLimit = 5：LF同步通信时限；dataDir：保存Zookeeper中的数据；clientPort = 2181：客户端连接端口

二、集群操作

集群安装：安装一台然后在zkData目录创建myid文件，设置编号，拷贝zookeeper到其他机器，改其他机器的myid
zoo.cfg文件增加
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
参数解读：server.A=B:C:D
C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口；D 是Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的
Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
3.在101设置群起脚本/home/jmf/bin/zk，增加权限 chmod u+x zk.sh

选举机制************

第一次启动

zookeeper参数详解 zookeeper 数据_数据

简述流程：小于半数时，每启动一台服务器，自身获得一票，状态为LOOKING，然后交换信息，把自身票投给myid大的机器，直到启动的服务器数大于等于集群数半数，票数最大的为LEADER，其他为FOLLOWING，再启动的机器都为FOLLLOWING。

非第一次启动

zookeeper参数详解 zookeeper 数据_服务器_02

客户端命令行操作

启动客户端：bin/zkCli.sh -server hadoop102:2181
查看当前节点详细数据

（1）czxid：创建节点的事务 zxid
每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在 zxid2 之前发生。
（2）ctime：znode 被创建的毫秒数（从 1970 年开始）
（3）mzxid：znode 最后更新的事务 zxid
（4）mtime：znode 最后修改的毫秒数（从 1970 年开始）
（5）pZxid：znode 最后更新的子节点 zxid
（6）cversion：znode 子节点变化号，znode 子节点修改次数
（7）dataversion：znode 数据变化号
（8）aclVersion：znode 访问控制列表的变化号
（9）ephemeralOwner：如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节点则是 0。
（10）dataLength：znode 的数据长度
（11）numChildren：znode 子节点数量
节点类型
创建永久节点 + 不带序号： create /目录 “内容” ；获取节点值： get -s /sanguo ，名字不可重复；创建永久节点 + 带序号：create -s /sanguo/weiguo/zhangliao “zhangliao”，名字可以重复，会自动增加序号
创建临时节点 + 不带序号：create -e /目录 “内容”；创建临时节点 + 带序号：create -e -s /目录 “内容”；
修改节点数值：set /sanguo/weiguo “simayi”
监听器原理：
注册监听： get -w /sanguo ；注册一次，只能监听一次。想再次监听，需要再次注册。节点的路径变化，也是注册一次，生效一次。想多次生效，就需要多次注册。
删除节点： delete /sanguo/jin ；递归删除多个节点： deleteall /sanguo/shuguo

10.生产经验：
⚫ 10 台服务器：3 台 zk；
⚫ 20 台服务器：5 台 zk；
⚫ 100 台服务器：11 台 zk；
⚫ 200 台服务器：11 台 zk
服务器台数多：好处，提高可靠性；坏处：提高通信延时