一、什么是Zookeeper ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的，开放源码的分布式应用程序
转载
2023-07-04 17:32:25
60阅读
官方文档这样介绍pikapika是什么 pika 是DBA和基础架构组联合开发的类Redis 存储系统，所以完全支持Redis协议，用户不需要修改任何代码，就可以将服务迁移至pika。Pika是一个可持久化的大容量redis存储服务，兼容string、hash、list、zset、set的绝大接口(兼容详情)，解决redis由于存储数据量巨大而导致内存不够用的容量瓶颈，并且可以像red
转载
2024-01-27 20:09:29
31阅读
很对不起大家，又是一篇乱序的文章，但是满满的干货，来源于实践，相信大家会有所收获。里面穿插一些感悟和生活故事，可以忽略不看。不过听大家普遍的反馈说这是其中最喜欢看的部分，好吧，就当学习之后轻松一下。Redis各种数据结构性能数据对比测试工具：perf4j性能指标：平均值，最小值，最大值，方差对比将814条数据按单条插入到哈希MAP和哈希SET： 对比从814条数据的哈希MAP和哈希S
转载
2023-07-23 20:27:58
55阅读
zookeeper 使用的是zab协议，类似 raft 的 Strong Leader 模式redis 的哨兵 在 崩溃选举的时候采用的是 raft的那一套term。因为redis 采用的是异步数据副本的节点同步方式，所以在做分布式锁的时候可能会存在 setNx之后，没有同步到从节点，主节点崩溃，而这时客户端又从从节点读取数据，导致同步锁设置失败（写入都是master节点）。当然作者提
转载
2023-07-06 23:36:41
177阅读
return true; //代表获取到锁 } return false;加锁就一行代码：jedis.set(String key, String value, String nxxx, String expx, int time)，这个set()方法一共有五个形参：第一个为key，使用key来当锁，因为key是唯一的。第二个为value，是由客户端生成的一个随机字符串，相当于是客户端持有锁的标
转载
2024-06-12 14:10:11
32阅读
背景最近在看到Pachyderm的介绍时，看到作者拿YARN和Kubernetes做类比，拿Zookeeper和etcd做对比。YARN和Kubernetes的类比还相对比较好理解，毕竟他们都有资源管理和调度的职能，只不过YARN上运行的对象是JVM，而Kubernetes上运行的是容器。但是拿Zookeeper和etcd来类比我就有些不懂了，在我之前的概念里zookeeper并不是一
转载
2024-03-09 17:45:29
217阅读
背景最近在看到Pachyderm的介绍时，看到作者拿YARN和Kubernetes做类比，拿Zookeeper和etcd做对比。YARN和Kubernetes的类比还相对比较好理解，毕竟他们都有资源管理和调度的职能，只不过YARN上运行的对象是JVM，而Kubernetes上运行的是容器。但是拿Zookeeper和etcd来类比我就有些不懂了，在我之前的概念里zookeeper并不是一个存储组件啊
转载
2024-04-16 12:09:59
44阅读
zookeeper：zookeeper是基于paxos的简化版zab，我觉得确实很难理解?，以前看了好多遍《从paxos到zookeper》才感觉似懂非懂了，然而过了几个月发现又一脸蒙蔽了，在这里在整理一下（仅表示我自己的理解）ZAB协议中存在着三种状态，每个节点都属于以下三种中的一种：1. Looking ：系统刚启动时或者Leader崩溃后正处于选举状态2. Following ：Follow
转载
2023-10-27 12:57:04
47阅读
使用 Docker 一步搞定 ZooKeeper 集群的搭建背景原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 Docker 的镜像了, 于是就尝试了一下, 发现真是爽爆了, 几个命令就可以搭建一个完整的 ZK 集群. 下面我简单记录一下使用 Docker 搭建 ZK 集群的一些步骤. 镜像下载hu
转载
2024-10-23 20:46:35
26阅读
线程进程同步机制解决多线程下线程竞争共享资源的方式临界区实现线程串行化访问资源synchronized修饰java方法，即线程同步互斥量互斥对象对象机制，只有拥有互斥对象的线程才能访问公共资源synchronized修饰代码块concurrent包下的lock锁分布式锁的主要实现机制信号量允许多个任务同一时刻访问统一资源，但是需设置最大线程数CountDownLatch计数器，CyclicBarr
转载
2023-08-17 11:42:11
59阅读
本文来说下Zookeeper和Redis实现分布式锁的异同 文章目录概述Redis单机实现分布式锁Redis加锁Redis解锁Redis加锁过期时间设置问题Zookeeper单机实现分布式锁Curator实现Zookeeper加解锁Zookeeper加锁实现原理GC停顿导致临时节点释放问题Redis集群下分布式锁存在问题集群Master宕机导致锁丢失Redlock算法Redlock未完全解决问题Z
转载
2023-06-13 10:52:11
308阅读
锁，就是在同一时刻，某个资源被某一个线程独占。单机系统中，由于是在同一个虚拟机中，为了使得线程能够独占资源，我们通常是对资源加锁，或者每一个线程维护一个资源的备份。在分布式环境中，由于对资源的操作是跨域的，因此需要组件来实现分分布式锁。一，使用redis实现分布式锁redis中的set nx 命令，当key不存在时，才能在redis中将key添加成功，利用该属性可以实现分布式锁，并且r
分布式锁之Redis与Zoopkeeper实现详解简介使用setIfAbsent实现redisson实现分布式锁redlock实现分布式锁RedLock的争论zookeeper实现分布式锁优缺点对比 简介首先来了解一下，为什么要使用分布式锁？一般在我们需要对一些资源访问做独占控制的时候，就是需要用到锁的，他能够保证在我们需要的时候某些线程不会去同时的更改这些资源。而在单机的情况下，我们已经有了大
转载
2024-01-10 13:11:44
25阅读
一、分布式锁最终是通过什么方式实现？（相同点）在集群环境下，保证只允许有一个jvm进行执行。 二、redis和zookeeper技术有何不同？（区别）Redis 是nosql数据，主要特点缓存。 Zookeeper是分布式协调工具，主要用于分布式解决方案。 三、Redis实现分布式锁与Zookeeper实现分布式锁的思路分别是什么？（区别）获取锁 Zookeeper： 多个客户
转载
2023-06-13 10:51:59
460阅读
引言之前就了解过kafka，看的似懂非懂，最近项目组中引入了kafka，刚好接着这个机会再次学习下。 Kafka在很多公司被用作分布式高性能消息队列，kafka之前我只用过redis的list来做简单的队列处理，也还算好用，可能数据量比较小，也是单机运行，未出现过问题，用作轻量级消息队列还是比较好用的。而redis的作者antirez，设计redis的初衷并不是用来做消息队列，但用它做消息队列的人
转载
2024-07-22 10:10:34
86阅读
目录前言为什么需要分布式锁？分布式锁的不同实现基于Zookeeper的分布式锁的实现基于Redis的分布式锁的实现主从结构下的分布式锁集群结构下的分布式锁应用场景总结参考文献 前言 将书籍与网上资料相结合加以摘抄并总结。为什么需要分布式锁？ 为了控制分布式系统中的不同主机之间对共享资源的访问，需要通过一些互斥手段来防止彼此之间的干扰，以保证数据一致性。 在平时的实际项目开发中
转载
2023-09-17 17:07:08
70阅读
一、什么是RPC？RPC（Remote Procedure Call），即远程过程调用。我们可以直接从字面意思去理解，就是进行对运行在远程的一些服务进行调用。下面我们举例说明：1.单一系统我们传统的系统，整个系统都是运行在单个服务器上，对于服务（如：下订单、支付、查询等）的调用，都是调用本地的（或者说服务是写在本地的）2.RPC远程过程调用，说白了就是不需要将服务写在本地上，转而直接调用在远程服务
转载
2024-02-29 14:47:24
83阅读
分布式锁关于为什么要有「分布式锁」这个东西，欢迎阅读我的zk分布式锁的实现，介绍了单机高并发、分布式高并发的解决方案：用ZooKeeper实现分布式锁这里再切入本例将使用的场景模拟：商品秒杀，或者说高并发下，对于商品库存扣减操作。我用一个SpringBoot小项目模拟一下该操作。本例用到的技术栈：SpringBootRedisetcd在正式肝代码之前，先来对etcd分布式锁实现的机制和原理做一个了
转载
2024-02-27 11:29:03
63阅读
redis分布式锁优缺点缺点：获取锁的方式简单粗暴，获取不到锁直接不断尝试获取锁，比较消耗性能；redis的设计定位决定了它的数据并不是强一致性的，在某些极端情况下，可能会出现问题。锁的模型不够健壮；使用redlock算法来实现，在某些复杂场景下，也无法保证其实现100%没有问题，关于redlock的讨论可以看 How to do distributed locking；redis分布式锁，其实需
转载
2023-06-14 17:39:58
84阅读
现在面试，一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架(Spring Cloud、Dubbo)聊起，一路聊到分布式事务、分布式锁、ZooKeeper 等知识。所以咱们就来聊聊分布式锁这块的知识，先具体的来看看 Redis 分布式锁的实现原理。说实话，如果在公司里落地生产环境用分布式锁的时候，一定是会用开源类库的，比如 Redis 分布式锁，一般就是用 Redisson 框架就好了，非
转载
2023-12-09 14:22:45
63阅读
