我所了解到的, 目前分布式锁主要有三种实现方式:1是数据库,2是redis,3 是zookeeper 本文主要介绍下zookeeper 是如何实现分布式锁,已经做一点相关的源码解析。
下面描述使用zookeeper实现分布式锁的算法流程,假设存在一个/lock 的根节点。
- 客户端连接zookeeper,并在/lock下创建临时的且有序的子节点,第一个客户端对应的子节点为/lock/lock-000000000,第二个为/lock/lock-000000001,以此类推。
- 客户端获取/lock下的子节点列表,判断自己创建的子节点是否为当前子节点列表中序号最小的子节点,如果是则认为获得锁,否则监听/lock的子节点变更消息,获得子节点变更通知后重复此步骤直至获得锁;
- 执行相应的业务相关程序;
- 完成行相业务流程后,删除对应的子节点则相当于释放锁。
在步骤1中我们创建的是临时节点为什么呢,因为创建的临时节点能够保证在故障的情况下锁也能被释放。是为了考虑这种情况:假设客户端A获得了锁也就是创建的子节点为序号最小的节点,但是在获得锁之后客户端所在机器宕机了,客户端无法主动删除子节点;基于这种情况此时如果创建的是永久的节点,那么这个锁永远不会释放,那么整个程序会卡在那里;如果创建的是临时节点,客户端宕机后,过了一定时间zookeeper服务端没有收到客户端的心跳包,会判断这次会话失效,从而能将临时节点删除以至于能够及时的释放锁。
在步骤2中获取子节点列表与设置监听这两步操作的是一个原子性的操作,因为会存在一个这样的情况:假设客户端A对应子节点为/lock/lock-0000000000,客户端B对应子节点为/lock/lock-0000000001,此时客户端B获取子节点列表时发现自己不是序号最小的,但是在设置监听器前客户端A完成业务流程删除了子节点/lock/lock-0000000000,客户端B设置的监听器岂不是丢失了这个事件从而导致永远等待了?这个问题不存在的。因为zookeeper提供的API中设置监听器的操作与读操作是原子执行的,也就是说在读子节点列表时同时设置监听器,保证不会丢失事件。
在这个算法其实也有个方式比较影响效率, 这里我们假设 有100个客户端去争抢这个锁,有一个争抢成功了,另外99个会等待其他节点去释放锁。此时如果那个锁机制释放了zookeeper 需要通知其他的99个客户端,这个时候会阻塞其他的操作。按照获得锁的机制序号最小的获得锁,在这里我们设置监听的时候只需要1监听0 的事件 2监听1的事件 这样的效率会大大提高 但是也会出现一个问题 需要考虑到如果是中间节点宕机 或者其他的方式导致服务不可用了 这里需要处理的情况。
上面介绍了一下流程下面我们看一下 源码在这个包中
org.apache.zookeeper.recipes.lock
首先看下 这个类中的参数
/**
* 这个锁的根目录
*/
private final String dir;
/**
* findPrefixInChildren 中寻找到 或者是创建的第一个文件 的名字
*/
private String id;
private ZNodeName idName;
/*
* 申请锁是第一个子文件名称 如果和id 相等那么可以获得锁
* 单独 id 作为变量无法判断出是否能够 获得锁 通过判断
*/
private String ownerId;
/**
* 最后一个 子文件名称
*/
private String lastChildId;
private byte[] data = {0x12, 0x34};
/***
* 回调函数
*/
private LockListener callback;
/**
* 内部类 实现锁的具体方法 在构造函数中赋值
*/
private LockZooKeeperOperation zop;
下面主要介绍一下 这个类中的两个核心方法 一个加锁,一个释放锁机制。
我们先看下加锁机制
描述一下大概修改首先判断id 是否存在如果不存在获取一个或者创建一个 然后获取当前的文件名字最小的那个文件名如果等于id 则获取成功 如果不等于则获取失败。如果成功获得锁则调用回调方法
public boolean execute() throws KeeperException, InterruptedException {
do {
if (id == null) {
long sessionId = zookeeper.getSessionId();
String prefix = "x-" + sessionId + "-";
// lets try look up the current ID if we failed
// in the middle of creating the znode
findPrefixInChildren(prefix, zookeeper, dir);
idName = new ZNodeName(id);
}
List<String> names = zookeeper.getChildren(dir, false);
if (names.isEmpty()) {
LOG.warn("No children in: {} when we've just created one! Lets recreate it...", dir);
// lets force the recreation of the id
id = null;
} else {
// lets sort them explicitly (though they do seem to come back in order ususally :)
SortedSet<ZNodeName> sortedNames = new TreeSet<>();
for (String name : names) {
sortedNames.add(new ZNodeName(dir + "/" + name));
}
// 第一个子文件名称
ownerId = sortedNames.first().getName();
// 已排除的方式返回 名称小于 idName 的所有文件名称
SortedSet<ZNodeName> lessThanMe = sortedNames.headSet(idName);
if (!lessThanMe.isEmpty()) {
ZNodeName lastChildName = lessThanMe.last();
lastChildId = lastChildName.getName();
LOG.debug("Watching less than me node: {}", lastChildId);
Stat stat = zookeeper.exists(lastChildId, new LockWatcher());
// 如果发现发现比它小的节点则上锁失败
if (stat != null) {
return Boolean.FALSE;
} else {
LOG.warn("Could not find the stats for less than me: {}", lastChildName.getName());
}
} else {
if (isOwner()) {
LockListener lockListener = getLockListener();
if (lockListener != null) {
lockListener.lockAcquired();
}
return Boolean.TRUE;
}
}
}
}
while (id == null);
return Boolean.FALSE;
}
释放锁机制就简单些了 删除那个临时路径同时调用回调方法
public synchronized void unlock() throws RuntimeException {
// 非关闭的情况才会 和id 非空的情况下才会解锁
if (!isClosed() && id != null) {
// we don't need to retry this operation in the case of failure
// as ZK will remove ephemeral files and we don't wanna hang
// this process when closing if we cannot reconnect to ZK
try {
ZooKeeperOperation zopdel = () -> {
zookeeper.delete(id, -1);
return Boolean.TRUE;
};
zopdel.execute();
} catch (InterruptedException e) {
LOG.warn("Unexpected exception", e);
// set that we have been interrupted.
Thread.currentThread().interrupt();
} catch (KeeperException.NoNodeException e) {
// do nothing
} catch (KeeperException e) {
LOG.warn("Unexpected exception", e);
throw new RuntimeException(e.getMessage(), e);
} finally {
LockListener lockListener = getLockListener();
if (lockListener != null) {
lockListener.lockReleased();
}
id = null;
}
}
}
本文主要介绍了 两个方法 更多的可以到githup上面
https://github.com/haha174/zookeeper