公司中的所有镜像都是要上传到harbor仓库上，一层一层的打镜像，在打的同时将镜像上传到harbor上第一层原始系统层（ubantu/debain/centos）：这个目录结构一定要提前设计好，我先将官方的原始系统镜像pull下来，在这层的基础之上我们会加一些常用命令第二层常用命令层：否则后期还要在镜像中安装命令太过于麻烦，我们将这个安装常用命令的镜像称为公司的基础镜像叫做baseimgae，后期
转载
2023-07-14 23:33:10
32阅读
单体应用锁在单体的应用开发场景中，涉及并发同步的时候，大家往往采用synchronized或者Lock的方式来解决多线程间的同步问题。但在分布式集群工作的开发场景中，那么就需要一种更加高级的锁机制，来处理种跨JVM进程之间的数据同步问题，这就是分布式锁。公平锁和可重入锁的原理最经典的分布式锁是可重入的公平锁。什么是可重入的公平锁呢？直接讲解的概念和原理，会比较抽象难懂，还是从具体的实例入手吧！这里
为什么用分布式锁？在讨论这个问题之前，我们先来看一个业务场景：系统A是一个电商系统，目前是一台机器部署，系统中有一个用户下订单的接口，但是用户下订单之前一定要去检查一下库存，确保库存足够了才会给用户下单。由于系统有一定的并发，所以会预先将商品的库存保存在redis中，用户下单的时候会更新redis的库存。此时系统架构如下：但是这样一来会产生一个问题：假如某个时刻，redis里面的某个商品库存为1，
转载
2023-08-11 22:14:47
79阅读
1. 准备好系统环境及使用的软件（务必看下）VMware Workstation Pro 15Ubuntu 20.04Hadoop 3.1.4Docker 19.03.13Storm 2.2.0Zookeeper 3.7.0JDK 1.8.0_261远程开发工具：VS-code + Remote-ssh（不建议新手配这个，太累了），这个纯粹的就是个工具，用xshell，putty等都可以，这两个使
1、Zookeeper：基于zookeeper瞬时有序节点实现的分布式锁，其主要逻辑如下（该图来⾃于IBM⽹站）。⼤致思想即为：每个客户端对某个功能加锁时，在zookeeper上的与该功能对应的指定节点的⽬录下，⽣成⼀个唯⼀的瞬时有序节点。判断是否获取锁的⽅式很简单，只需要判断有序节点中序号最⼩的⼀个。当释放锁的时候，只需将这个瞬时节点删除即可。同时，其可以避免服务宕机导致的锁⽆法释放，⽽产⽣的死
zookeeper 分布式锁的原理及实现本文的分布式锁原理介绍部分参考了 七张图彻底讲清楚ZooKeeper分布式锁的实现原理 ，原文已经介绍的非常详细有趣。我在原文的基础上，补充实现了实验部分，算作我的学习笔记，以备后用。向原作者表示感谢。zookeeper 分布式锁原理为了防止分布式系统中的多个进程之间相互干扰，我们需要一种分布式协调技术来对这些进程进行调度。而这个分布式协调技术的核心就是分布
# Docker分布式部署Flink的完整指南
Apache Flink是一个强大的分布式流处理框架。随着微服务架构的普及，越来越多的开发者选择使用Docker来部署Flink集群，使安装和运维过程变得更加高效、灵活。本文将介绍如何利用Docker部署Flink，并提供相应的代码示例，帮助你快速上手。
## 1. 环境准备
在开始之前，我们需要准备好以下环境：
- Docker：确保你的系
目录1. 基本概念Why-分布式计算发展史MapReduceSparkFlink总结What-什么是FlinkWhere-Flink应用场景2. 原理什么是流？Dataflow模型State状态时间概念系统容错运行架构集群架构任务执行流控3. 使用1. 基本概念Why-分布式计算发展史为什么需要流式计算，为什么需要Flink，是需要从分布式计算的历史开始说。随着大数据时代到来，单机的计算已经不能满
一、分布式锁的通用实现思路分布式锁的概念以及常规解决方案可以参考之前的博客：聊聊分布式锁的解决方案；今天我们先分析下分布式锁的实现思路；首先，需要保证唯一性，即某一时点只能有一个线程访问某一资源；比方说待办短信通知功能，每天早上九点短信提醒所有工单的处理人处理工单，假设服务部署了20个容器，那么早上九点的时候会有20个线程启动准备发送短信，此时我们只能让一个线程执行短信发送，否则用户会收到20条相
分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。 和其他两种锁比起来，Redis实现的分布式锁性能更高，对于高并发场景更加支持，ZK实现的分布式锁是强一致性的，也就是说是非常安全的，但是性能有所下降 Redis是AP模型，ZK是CP模型可靠性首先，为了确保分布式锁可用，我们至少要确保锁的实现同时满足以下四个条件：互斥性。在任意
转载
2023-08-29 11:13:06
97阅读
常用的分布式锁一、基于数据库实现分布式锁1. 悲观锁利用select … where … for update 排他锁注意: 其他附加功能与实现一基本一致，这里需要注意的是“where name=lock ”，name字段必须要走索引，否则会锁表。有些情况下，比如表不大，mysql优化器会不走这个索引，导致锁表问题。2. 乐观锁所谓乐观锁与前边最大区别在于基于CAS思想，是不具有互斥性，不会产生锁
一.原理.zk实现分布式锁主要是使用zk得监听机制来完成得. 这里简单介绍一下zk得Watcher监听机制. 1.首先它是ZooKeeper的一个核心功能. 2.watcher是客户端创建的,监听目录节点的数据变化和子目录的变化的 3.而一旦数据或者子目录状态发生变化,服务
1．获取分布式锁的总体思路 在获取分布式锁的时候在locker节点下创建临时顺序节点，释放锁的时候删除该临时节点。客户端调用createNode方法在locker下创建临时顺序节点， 然后调用getChildren(“locker”)来获取locker下面的所有子节点，注意此时不用设置任何Watch
转载
2018-03-15 17:58:00
108阅读
2评论
# 如何实现 Redis Zookeeper 分布式锁
## 概述
在分布式系统中，为了保证多个节点之间的数据一致性，我们经常会使用分布式锁来控制资源的访问。Redis 和 Zookeeper 都是常用的分布式系统组件，结合它们可以实现分布式锁的功能。在本文中，我将教你如何利用 Redis 和 Zookeeper 来实现分布式锁。
### 流程概述
首先让我们来看一下实现 Redis Zook
分布式锁相比较多线程锁，更加高级一些。它的作用范围，也由单机转换为分布式，是常用的资源协调手段。常用的有redis分布式做和zk分布式锁。但它们有什么区别呢？我们在平常使用中，又该如何选择。1. 解析这个问题对要求较高，它不仅要了解实现方法，还要对原理有所掌握。所以问题回答起来，分为很多层次。众所周知，Redis标榜的是轻量级，直观上分布式锁是比较好实现的，比如使用setnx，但一旦加入高可用这个
一、什么是分布式锁 顾名思义，分布式锁，就是分布式系统中的锁，是为了解决分布式场景下控制一些共享资源访问的问题，即某时刻同一个方法只有一个线程在运行。 分布式锁的设计原则：互斥性、原子性、安全性、容错性、可重用性、公平性、高可用性、高性能、持久性、支持阻塞和非阻塞二、分布式锁的实现方式1. 基于数据库实现分布式锁【不推荐】实现方式： 1. 基于数据库排他锁 2. 基于表的唯一索引 缺点：性能
Zookeeper实现分布式锁我在一个简单的例子聊分布式锁中留了一个小尾巴，就是用Zookeeper(以下简称zk)实现分布式锁，今天就扫清这个尾巴。实现原理关于zk的知识点可以参考这篇文章：Zookeeper的功能以及工作原理，这里不做过多的介绍。这里介绍一下zk的涉及分布式锁的相关概念。相关概念有序节点：顾名思义就是有顺序的节点。zk会在生成节点时根据现有的节点数量添加整数序号。比如已经存在节
# Redis分布式锁和Zookeeper分布式锁区别
## 1. 流程概述
在分布式系统中，为了保证某一资源在同一时间只能被一个进程访问和修改，我们可以使用分布式锁来实现。Redis和Zookeeper都是常见的分布式锁实现方式，它们的区别主要在于实现原理、性能和适用场景等方面。
| 步骤 | Redis分布式锁 | Zookeeper分布式锁 |
| ---- | -----------
在Java中使用多线程编程，需要考虑多线程环境下程序执行结果的正确性，是否达到预期效果，因此需要在操作共享资源时引入锁，共享资源同一时刻只能由一个线程进行操作。 Java提供了多种本地线程锁。例如synchronized锁，JUC包下提供的可重入锁ReentrantLock、读写锁ReentrantReadWriteLock等； Java本地锁适用于单机环境。在分布式环境下，存在多台服务器同时操作
Flink checkpoint 什么是Flink? Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common
