java使用zookeeper分布式锁 zookeeper实现分布式锁的原理

转载

mob64ca13ff5b03 2024-06-03 11:32:42

文章标签 java使用zookeeper分布式锁客户端分布式锁 java 文章分类 Java 后端开发

一、分布式锁介绍

二、原理

Zookeeper节点的概念：

Znode分为四种类型：

Zookeeper分布式锁的原理

获取锁

释放锁

三、zookeeper分布式锁实现

1．定义分布式锁接口

2．定义一个简单的互斥锁

3. 分布式锁的实现细节

4. 获取锁调用demo

一、分布式锁介绍

分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问，以达到保证数据的一致性。

二、原理

Zookeeper节点的概念：

Zookeeper的数据存储结构就像一棵树，这棵树由节点组成，这种节点叫做Znode。

Znode分为四种类型：

1.持久节点（PERSISTENT）

默认的节点类型。创建节点的客户端与zookeeper断开连接后，该节点依旧存在。

2.持久节点顺序节点（PERSISTENT_SEQUENTIAL）

所谓顺序节点，就是在创建节点时，Zookeeper根据创建的时间顺序给该节点名称进行编号：

3.临时节点（EPHEMERAL）

和持久节点相反，当创建节点的客户端与zookeeper断开连接后，临时节点会被删除：

4.临时顺序节点（EPHEMERAL_SEQUENTIAL）

顾名思义，临时顺序节点结合和临时节点和顺序节点的特点：在创建节点时，Zookeeper根据创建的时间顺序给该节点名称进行编号；当创建节点的客户端与zookeeper断开连接后，临时节点会被删除。

Zookeeper分布式锁的原理

Zookeeper分布式锁恰恰应用了临时顺序节点。具体如何实现呢？让我们来看一看详细步骤：

获取锁

首先，在Zookeeper当中创建一个持久节点ParentLock。当第一个客户端想要获得锁时，需要在ParentLock这个节点下面创建一个临时顺序节点 Lock1。

之后，Client1查找ParentLock下面所有的临时顺序节点并排序，判断自己所创建的节点Lock1是不是顺序最靠前的一个。如果是第一个节点，则成功获得锁。

这时候，如果再有一个客户端 Client2 前来获取锁，则在ParentLock下载再创建一个临时顺序节点Lock2。

Client2查找ParentLock下面所有的临时顺序节点并排序，判断自己所创建的节点Lock2是不是顺序最靠前的一个，结果发现节点Lock2并不是最小的。

于是，Client2向排序仅比它靠前的节点Lock1注册Watcher，用于监听Lock1节点是否存在。这意味着Client2抢锁失败，进入了等待状态。

这时候，如果又有一个客户端Client3前来获取锁，则在ParentLock下载再创建一个临时顺序节点Lock3。

Client3查找ParentLock下面所有的临时顺序节点并排序，判断自己所创建的节点Lock3是不是顺序最靠前的一个，结果同样发现节点Lock3并不是最小的。

于是，Client3向排序仅比它靠前的节点Lock2注册Watcher，用于监听Lock2节点是否存在。这意味着Client3同样抢锁失败，进入了等待状态。

这样一来，Client1得到了锁，Client2监听了Lock1，Client3监听了Lock2。这恰恰形成了一个等待队列，很像是Java当中ReentrantLock所依赖的

释放锁

释放锁分为两种情况：

1.任务完成，客户端显示释放

当任务完成时，Client1会显示调用删除节点Lock1的指令。

2.任务执行过程中，客户端崩溃

获得锁的Client1在任务执行过程中，如果Duang的一声崩溃，则会断开与Zookeeper服务端的链接。根据临时节点的特性，相关联的节点Lock1会随之自动删除。

由于Client2一直监听着Lock1的存在状态，当Lock1节点被删除，Client2会立刻收到通知。这时候Client2会再次查询ParentLock下面的所有节点，确认自己创建的节点Lock2是不是目前最小的节点。如果是最小，则Client2顺理成章获得了锁。

同理，如果Client2也因为任务完成或者节点崩溃而删除了节点Lock2，那么Client3就会接到通知。

最终，Client3成功得到了锁。

三、zookeeper分布式锁实现

在介绍使用Zookeeper实现分布式锁之前，首先看当前的系统架构图

java使用zookeeper分布式锁 zookeeper实现分布式锁的原理_java使用zookeeper分布式锁

Service表示需要互斥访问的共享资源。

1．定义分布式锁接口

package com.ljq.lock;

import java.util.concurrent.TimeUnit;

public interface DistributedLock {
    /**
     * 获取锁，如果没有得到锁就一直等待
     * 
     * @throws Exception
     */
    public void acquire() throws Exception;

    /**
     * 获取锁，如果没有得到锁就一直等待直到超时
     * 
     * @param time 超时时间
     * @param unit time参数时间单位
     * 
     * @return 是否获取到锁
     * @throws Exception
     */
    public boolean acquire(long time, TimeUnit unit) throws Exception;

    /**
     * 释放锁
     * 
     * @throws Exception
     */
    public void release() throws Exception;
}

2．定义一个简单的互斥锁

定义一个互斥锁类，实现以上定义的锁接口，同时继承一个基类BaseDistributedLock，该基类主要用于与Zookeeper交互，包含一个尝试获取锁的方法和一个释放锁。

package com.ljq.lock;

import java.io.IOException;
import java.util.concurrent.TimeUnit;

import org.I0Itec.zkclient.ZkClient;

public class SimpleDistributedLock extends BaseDistributedLock implements DistributedLock {

    /*
     * 用于保存Zookeeper中实现分布式锁的节点，如名称为locker：/locker，
     * 该节点应该是持久节点，在该节点下面创建临时顺序节点来实现分布式锁
     */
    private final String basePath;

    /*
     * 锁名称前缀，locker下创建的顺序节点例如都以lock-开头，这样便于过滤无关节点
     * 这样创建后的节点类似：lock-00000001，lock-000000002
     */
    private static final String LOCK_NAME = "lock-";

    /* 用于保存某个客户端在locker下面创建成功的顺序节点，用于后续相关操作使用（如判断） */
    private String ourLockPath;

    /**
     * 传入Zookeeper客户端连接对象，和basePath
     * 
     * @param client
     *            Zookeeper客户端连接对象
     * @param basePath
     *            basePath是一个持久节点
     */
    public SimpleDistributedLock(ZkClient client, String basePath) {
        /*
         * 调用父类的构造方法在Zookeeper中创建basePath节点，并且为basePath节点子节点设置前缀
         * 同时保存basePath的引用给当前类属性
         */
        super(client, basePath, LOCK_NAME);
        this.basePath = basePath;
    }
    
    /**
     * 用于获取锁资源，通过父类的获取锁方法来获取锁
     * 
     * @param time 获取锁的超时时间
     * @param unit 超时时间单位
     * 
     * @return 是否获取到锁
     * @throws Exception
     */
    private boolean internalLock(long time, TimeUnit unit) throws Exception {
        // 如果ourLockPath不为空则认为获取到了锁，具体实现细节见attemptLock的实现
        ourLockPath = attemptLock(time, unit);
        return ourLockPath != null;
    }


    /**
     * 获取锁，如果没有得到锁就一直等待
     * 
     * @throws Exception
     */
    public void acquire() throws Exception {
        // -1表示不设置超时时间，超时由Zookeeper决定
        if (!internalLock(-1, null)) {
            throw new IOException("连接丢失!在路径:'" + basePath + "'下不能获取锁!");
        }
    }

    /**
     * 获取锁，如果没有得到锁就一直等待直到超时
     * 
     * @param time 超时时间
     * @param unit time参数时间单位
     * 
     * @return 是否获取到锁
     * @throws Exception
     */
    public boolean acquire(long time, TimeUnit unit) throws Exception {
        return internalLock(time, unit);
    }

    
    /**
     * 释放锁
     */
    public void release() throws Exception {
        releaseLock(ourLockPath);
        System.out.println(ourLockPath + "锁已释放...");
    }
}

3. 分布式锁的实现细节

获取分布式锁的重点逻辑在于BaseDistributedLock，实现了基于Zookeeper实现分布式锁的细节。

package com.ljq.lock;

import java.util.Collections;
import java.util.Comparator;
import java.util.List;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.TimeUnit;

import org.I0Itec.zkclient.IZkDataListener;
import org.I0Itec.zkclient.ZkClient;
import org.I0Itec.zkclient.exception.ZkNoNodeException;

public class BaseDistributedLock {
    private final ZkClient client; //Zookeeper客户端
    private final String basePath; //用于保存Zookeeper中实现分布式锁的节点，例如/locker节点，该节点是个持久节点，在该节点下面创建临时顺序节点来实现分布式锁
    private final String path; //同basePath变量一样
    private final String lockName; //锁名称前缀，/locker下创建的顺序节点，例如以lock-开头，这样便于过滤无关节点
    private static final Integer MAX_RETRY_COUNT = 10; //最大重试次数

    public BaseDistributedLock(ZkClient client, String path, String lockName) {
        this.client = client;
        this.basePath = path;
        this.path = path.concat("/").concat(lockName);
        this.lockName = lockName;
    }

    /**
     * 删除节点
     * 
     * @param path 
     * @throws Exception
     */
    private void deletePath(String path) throws Exception {
        client.delete(path);
    }

    /**
     * 创建临时顺序节点
     * 
     * @param client Zookeeper客户端
     * @param path 节点路径
     * @return
     * @throws Exception
     */
    private String createEphemeralSequential(ZkClient client, String path) throws Exception {
        return client.createEphemeralSequential(path, null);
    }

    /**
     * 获取锁的核心方法
     * 
     * @param startMillis 当前系统时间
     * @param millisToWait 超时时间
     * @param path 
     * @return
     * @throws Exception
     */
    private boolean waitToLock(long startMillis, Long millisToWait, String path) throws Exception {
        boolean haveTheLock = false; //获取锁标志
        boolean doDelete = false; //删除锁标志

        try {
            while (!haveTheLock) {
                // 获取/locker节点下的所有顺序节点，并且从小到大排序
                List<String> children = getSortedChildren();
                // 获取子节点，如：/locker/node_0000000003返回node_0000000003
                String sequenceNodeName = path.substring(basePath.length() + 1);

                // 计算刚才客户端创建的顺序节点在locker的所有子节点中排序位置，如果是排序为0，则表示获取到了锁
                int ourIndex = children.indexOf(sequenceNodeName);

                /*
                 * 如果在getSortedChildren中没有找到之前创建的[临时]顺序节点，这表示可能由于网络闪断而导致
                 * Zookeeper认为连接断开而删除了我们创建的节点，此时需要抛出异常，让上一级去处理
                 * 上一级的做法是捕获该异常，并且执行重试指定的次数，见后面的 attemptLock方法
                 */
                if (ourIndex < 0) {
                    throw new ZkNoNodeException("节点没有找到: " + sequenceNodeName);
                }

                // 如果当前客户端创建的节点在locker子节点列表中位置大于0，表示其它客户端已经获取了锁
                // 此时当前客户端需要等待其它客户端释放锁
                boolean isGetTheLock = ourIndex == 0; //是否得到锁

                // 如何判断其它客户端是否已经释放了锁？从子节点列表中获取到比自己次小的那个节点，并对其建立监听
                String pathToWatch = isGetTheLock ? null : children.get(ourIndex - 1); //获取比自己次小的那个节点，如：node_0000000002

                if (isGetTheLock) {
                    haveTheLock = true;
                } else {
                    // 如果次小的节点被删除了，则表示当前客户端的节点应该是最小的了，所以使用CountDownLatch来实现等待
                    String previousSequencePath = basePath.concat("/").concat(pathToWatch);
                    final CountDownLatch latch = new CountDownLatch(1);
                    final IZkDataListener previousListener = new IZkDataListener() {
                        /**
                         * 监听指定节点删除时触发该方法
                         */
                        public void handleDataDeleted(String dataPath)
                                throws Exception {
                            // 次小节点删除事件发生时，让countDownLatch结束等待
                            // 此时还需要重新让程序回到while，重新判断一次！
                            latch.countDown();
                        }

                        /**
                         * 监听指定节点的数据发生变化触发该方法
                         * 
                         */
                        public void handleDataChange(String dataPath,
                                Object data) throws Exception {

                        }

                    };

                    try {
                        // 如果节点不存在会出现异常
                        client.subscribeDataChanges(previousSequencePath, previousListener); //监听比自己次小的那个节点

                        //发生超时需要删除节点
                        if (millisToWait != null) {
                            millisToWait -= (System.currentTimeMillis() - startMillis);
                            startMillis = System.currentTimeMillis();
                            if (millisToWait <= 0) {
                                doDelete = true; // timed out - delete our node
                                break;
                            }

                            latch.await(millisToWait, TimeUnit.MICROSECONDS);
                        } else {
                            latch.await();
                        }

                    } catch (ZkNoNodeException e) {
                        // ignore
                    } finally {
                        client.unsubscribeDataChanges(previousSequencePath, previousListener);
                    }
                }
            }
        } catch (Exception e) {
            // 发生异常需要删除节点
            doDelete = true;
            throw e;

        } finally {
            // 如果需要删除节点
            if (doDelete) {
                deletePath(path);
            }
        }
        return haveTheLock;
    }

    private String getLockNodeNumber(String str, String lockName) {
        int index = str.lastIndexOf(lockName);
        if (index >= 0) {
            index += lockName.length();
            return index <= str.length() ? str.substring(index) : "";
        }
        return str;
    }

    /**
     * 获取parentPath节点下的所有顺序节点，并且从小到大排序
     * 
     * @return
     * @throws Exception
     */
    private List<String> getSortedChildren() throws Exception {
        try {
            List<String> children = client.getChildren(basePath);
            Collections.sort(children, new Comparator<String>() {
                public int compare(String lhs, String rhs) {
                    return getLockNodeNumber(lhs, lockName).compareTo(
                            getLockNodeNumber(rhs, lockName));
                }
            });
            return children;

        } catch (ZkNoNodeException e) {
            client.createPersistent(basePath, true); //创建锁持久节点
            return getSortedChildren();
        }
    }

    /**
     * 释放锁
     * 
     * @param lockPath
     * @throws Exception
     */
    protected void releaseLock(String lockPath) throws Exception {
        deletePath(lockPath);
    }

    /**
     * 尝试获取锁
     * 
     * @param time
     * @param unit
     * @return
     * @throws Exception
     */
    protected String attemptLock(long time, TimeUnit unit) throws Exception {
        final long startMillis = System.currentTimeMillis();
        final Long millisToWait = (unit != null) ? unit.toMillis(time) : null;

        String ourPath = null;
        boolean hasTheLock = false; //获取锁标志
        boolean isDone = false; //是否完成得到锁
        int retryCount = 0; //重试次数

        // 网络闪断需要重试一试
        while (!isDone) {
            isDone = true;

            try {
                // createLockNode用于在locker（basePath持久节点）下创建客户端要获取锁的[临时]顺序节点
                ourPath = createEphemeralSequential(client, path);
                /**
                 * 该方法用于判断自己是否获取到了锁，即自己创建的顺序节点在locker的所有子节点中是否最小
                 * 如果没有获取到锁，则等待其它客户端锁的释放，并且稍后重试直到获取到锁或者超时
                 */
                hasTheLock = waitToLock(startMillis, millisToWait, ourPath);
                
            } catch (ZkNoNodeException e) {
                if (retryCount++ < MAX_RETRY_COUNT) {
                    isDone = false;
                } else {
                    throw e;
                }
            }
        }

        System.out.println(ourPath + "锁获取" + (hasTheLock ? "成功" : "失败"));
        if (hasTheLock) {
            return ourPath;
        }

        return null;
    }
}

4. 获取锁调用demo

package com.ljq.lock;

import org.I0Itec.zkclient.ZkClient;

public class LockTest {
    public static void main(String[] args) throws Exception {
        ZkClient zkClient = new ZkClient("192.168.2.249:2181", 3000);
        SimpleDistributedLock simple = new SimpleDistributedLock(zkClient, "/locker");
        
        for (int i = 0; i < 10; i++) {
            try {
                simple.acquire();
                System.out.println("正在进行运算操作：" + System.currentTimeMillis());
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                simple.release();
                System.out.println("=================\r\n");
            }
        }
    }
}

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：java判断对象是否为空并给默认值的方法 java如何判断对象是否为空

下一篇：dataframe 按索引号赋值一列 dataframe索引行

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯