一,zookeeper中日志的配置
1,快照文件snapshot的目录:
dataDir=/data/zookeeper/data
存储快照文件snapshot的目录。默认情况下,事务日志也会存储在这里
所以我们建议指定dataLogDir
2,事务日志的目录
dataLogDir=/data/zookeeper/datalogs
事务日志输出目录,不建议和快照文件写在一个目录下
3,日志清理
ZooKeeper 默认不会自动清理 tx log,总有一天你会遇到磁盘空间耗尽。
可以开启自动清理机制
autopurge.snapRetainCount=300
autopurge.purgeInterval=72
#autopurge.purgeInterval=1
自动清理事务日志和快照文件的功能
这个参数是清理频率,单位是小时
默认值是0,表示不开启自动清理功能
#autopurge.snapRetainCount=3
自动清理事务日志和快照文件:保留的文件数量,默认值是保留3个
4,日志的手动清理命令
如果zookeeper集群访问量较高,清理会影响性能,可以手动清理
手动清理文件的例子:
#-n 3 表示保留3个文件
[root@zk1 bin]# /usr/local/soft/apache-zookeeper-3.6.0-bin/bin/zkCleanup.sh -n 3
也可以放到crond中按时间计划执行
说明:刘宏缔的架构森林是一个专注架构的博客,
网站:https://blog.imgtouch.com本文: https://blog.imgtouch.com/index.php/2023/05/22/zookeeper-zai-sheng-chan-huan-jing-zhong-de-pei-zhi-zookeeper36/
对应的源码可以访问这里获取: https://github.com/liuhongdi/
说明:作者:刘宏缔 邮箱: 371125307@qq.com
二,zookeeper中客户端相关配置
1,客户端连接 Zookeeper 服务器的端口
clientPort=2181
端口端和zookeeper连接时,zookeeper使用的端口,防火墙要放开此端口供客户端访问
2,客户端的并发连接数限制
maxClientCnxns=300
官方说明:
maxClientCnxns : (No Java system property) Limits the number of concurrent connections (at the socket level) that a single client,
identified by IP address,
may make to a single member of the ZooKeeper ensemble.
This is used to prevent certain classes of DoS attacks,
including file descriptor exhaustion.
The default is 60. Setting this to 0 entirely removes the limit on concurrent connections
对一个客户端的连接数限制,默认值是60
将它设置为0表示取消对并发连接的限制
这个值过低会在日志中出现:too many connections from host - max is 60
可以视实际连接的情况进行调整
3,关闭启动内置的管理器
admin.enableServer=false
避免启动内置的管理器,也避免占用8080端口
三,zookeeper集群的配置
1,tickTime
tickTime=2000
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。
tickTime以毫秒为单位
默认值:2000
保持默认值即可,无需修改
2,initLimit:LF初始通信时限
initLimit=10
集群中的follower服务器(F)与leader服务器(L)之间 初始连接 时能容忍的最多心跳数(tickTime的数量)
表示允许 follower连接 并同步到 leader 的初始化连接时间,它以 tickTime 的倍数来表示。
当超过设置倍数的 tickTime 时间,则连接失败
在设定的initLimit时间长度内,如果半数以上的跟随者不能完成同步,领导者便会放弃领导地位,进行另一次的领导选举。
如果zk集群环境数量很大则同步数据的时间会变长,这种情况下可以适当调大该参数。
默认为10
3,syncLimit:LF同步通信时限
syncLimit=5
集群中的follower服务器(F)与leader服务器(L)之间 请求和应答 之间能容忍的最多心跳数(tickTime的数量)
表示 leader 与 follower 之间发送消息,请求 和 应答 时间长度。
如果 follower 在设置的时间内不能与leader 进行通信,那么此 follower 将被集群丢弃
默认值是5
4,cluster成员列表
#cluster
server.1=172.18.1.1:2888:3888
server.2=172.18.1.2:2888:3888
server.3=172.18.1.3:2888:3888
server.A = B:C:D
A:zookeeper服务器的序号,即第几号服务器.
注意这个序号要与zookeeper的myid保持一致
B:服务器的 IP 地址
C:服务器跟随者follower与集群中的 Leader 服务器交换信息的端口
D:如果集群中的 Leader 服务器宕机,需要一个端口通信重新进行选举,选出一个新的 Leader。
这个端口就是用来做leader选举的端口
四,为zookeeper的运行配置JVM参数
vi zkEnv.sh
修改:SERVER_JVMFLAGS一行为:
export SERVER_JVMFLAGS="-Xmx2048m -Xms2048m"
说明:这两个参数的作用,
Xmx :程序运行期间最大可占用的内存大小,
如果程序运行需要占用更多的内存,超出了这个设置值,就会抛出 OutOfMemory异常
Xms : 程序启动时占用内存大小
此值可以设置与-Xmx相同,
以避免每次垃圾回收完成后JVM重新分配内存
应设置为多少?
Xmx 默认是物理内存的1/4,
最大建议不超过物理内存的3/4
所以如果没有其他应用同时运行的话,
可以设置为物理内存的1/2再观察调整
五,用jmx监控集群:
1,在zookeeper的conf目录下新建java.env
[root@zk1 conf]# vi java.env
内容:
JMXHOSTNAME="172.18.1.1"
JMXPORT=8899
说明:JMXHOSTNAME的值是当前服务器的ip
2,修改zkServer.sh
在
echo "ZooKeeper remote JMX log4j set to $JMXLOG4J" >&2
下面的
ZOOMAIN="-Dcom.sun.management.jmxremote
jmxrmote后面添加:
-Djava.rmi.server.hostname=$JMXHOSTNAME
3,添加完成后,重启服务:
[root@zk1 conf]# systemctl stop zookeeper
[root@zk1 conf]# systemctl start zookeeper
4,启动jconsole,
在远程进程处输入:
172.18.1.1:8899
(说明:这里输入的是远程进程的ip地址和端口)
然后点连接
进入后:
mbean->org.apache.ZooKeeperService
可以看到下面的服务:
例子如图:
六,查看zookeeper版本
[root@zk1 ~]# echo stat|nc 127.0.0.1 2181
Zookeeper version: 3.6.0--b4c89dc7f6083829e18fae6e446907ae0b1f22d7, built on 02/25/2020 14:38 GMT