目录集群架构设计架构设计理念可用性设计一致性设计主从模式适用场景实现原理主从复制半同步复制并行复制MySQL 5.6并行复制原理MySQL 5.7并行复制原理MySQL8.0 并行复制并行复制配置与调优并行复制监控主从模式部署安装安装虚拟机和Centos安装mysql主从模式的搭建配置主库配置从库测试半同步模式搭建主库配置从库配置测试并行复制配置并行复制监控 集群架构设计架构设计理念在集群架构设
转载
2023-09-11 21:53:49
199阅读
1、MySQL数据库分布式事务InnoDB存储引擎提供了对XA事务的支持,并通过XA事务来支持分布式事务的实现。分布式事务指的是允许多个独立的事务资源(transactional resources)参与到一个全局的事务中。事务资源通常是关系型数据库系统,但也可以是其他类型的资源。全局事务要求在其中的所有参与的事务要么都提交,要么都回滚,这对于事务原有的ACID要求又有了提高。另外,在使用分布式事
转载
2024-04-10 12:33:13
22阅读
目录背景分布式锁的实现方式常用的有哪些呢？Mysql数据库加锁方式一、乐观锁二、悲观锁 背景在高并发的场景中我们经常会让线程同步，如在秒杀商品时，我们需要对资源上锁来确保不发生超卖等问题，在单体应用中java已经为我们提供了相应的同步锁。然而，在分布式应用中这些锁将无能为力。分布式锁的实现方式常用的有哪些呢？1.Mysql数据库加锁方式 2.redis分布式锁 3.zookeeper分布式锁My
转载
2023-09-29 21:40:30
50阅读
一.分布式锁要解决的问题可以保证在分布式部署的应用集群中，同一个方法在同一时间只能被一台机器上的一个线程执行。这把锁要是一把可重入锁（避免死锁）这把锁最好是一把阻塞锁（根据业务需求考虑要不要这条）这把锁最好是一把公平锁（根据业务需求考虑要不要这条）有高可用的获取锁和释放锁功能获取锁和释放锁的性能要好二.基于数据库实现原理1.新建锁表记录CREATE TABLE `methodLock` (
`i
转载
2023-09-09 15:23:56
27阅读
概述在只有一台机器的情况下，我们也会碰到类似的情况，比如在多个线程需要访问某个共享资源的时候，我们就可以采用加锁的形式。在Java中，一个简单的办法就是使用synchronized关键字来对方法或者变量加锁。 但是，这种加锁方式在进程之间的共享就显得力不从心了起来。为了解决这样的问题，我们必须引入分布式锁。分布式锁一般会用于互斥资源的访问。 在这里，我们将使用MySQL数据库来实现分布式锁。当然，
转载
2023-08-08 14:29:15
44阅读
分布式mysql数据库使用单master多slave的架构。通过master和slave的replication，让应用程序服务器通过负载均衡器去查询slave。这样就能将查询分散到多台服务器上。
此时，应用程序实现上应当只把select等读取类的查询发送给负载均衡器，而更新查询应当直接发给master。要是在slave上执行更新查询，slave和master的内容就无法
转载
2023-06-30 19:40:25
92阅读
前言无论是单机锁还是分布式锁，原理都是基于共享的数据，判断当前操作的行为。对于单机则是共享RAM内存，对于集群则可以借助Redis，ZK，DB等第三方组件来实现。Redis，ZK对分布式锁提供了很好的支持，基本上开箱即用，然而这些组件本身要高可用，系统也需要强依赖这些组件，额外增加了不少成本。DB对于系统来说本身就默认为高可用组件，针对一些低频的业务使用DB实现分布式锁也是一个不错的解决方案，比如
转载
2023-10-05 16:09:01
135阅读
一、前言 在单机时代，虽然不需要分布式锁，但也面临过类似的问题，只不过在单机的情况下，如果有多个线程要同时访问某个共享资源的时候，我们可以采用线程间加锁的机制，即当某个线程获取到这个资源后，就立即对这个资源进行加锁，当使用完资源之后，再解锁，其它线程就可以接着使用了。例如，在JAVA中，甚至专门提供了一些处理锁机制的一些API（synchronize/
转载
2023-09-03 15:15:47
103阅读
对于一个大型数据库应用来讲，设计一个分布式、高可用的架构非常重要。MySQL从5.0.3版本就开始支持分布式事务，通过数据切分、读写分离、数据缓冲、集群等方式可以更好地构建分布式应用。15.1 分布式应用的概念和优势分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存
转载
2023-09-20 20:49:35
58阅读
分布式锁应该具备哪些条件：1、在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行； 2、高可用的获取锁与释放锁； 3、高性能的获取锁与释放锁； 4、具备可重入特性； 5、具备锁失效机制，防止死锁； 6、具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败。 常见的分布式锁解决方案如下：基于数据库实现分布式锁 基于ZooKeeper实现分布锁 基于缓存（Redis等）实现分布式锁 1
转载
2024-06-02 22:33:48
95阅读
在工作当中相信大家一定遇到了各种各样的事务问题，本文拟从ACID开始谈起，最终到目前比较常用的分布式事务，让大家对事务有一个整体贯连性的理解事务的基本特性逻辑日志与物理日志隔离性及Mysq的隔离性分布式事务一、事务的基本特性提起事务就不能不提ACID，但是需要知道这个不是Mysql的规范而是所有数据的事务规范，这里不是要针对这四个特性的描述进行大篇幅的说明因为那个东西在网上随便一找就很多，这里主要
转载
2023-06-30 14:22:33
209阅读
分布式事务也是面试的一个高频知识点。1. 事务基本概念1.1 什么是事务？事务是恢复和并发控制的基本单位，事务有四个特性(ACID)，原子性(Atomicity)，一致性(Consistency)，隔离性(Isolation)，持久性(Durability)。1.2 事务经典场景假设这样一个场景：A 给 B 转账 100，流程步骤如下：1、A 减 1002、B 多 100。如果第一步骤执行后，系统
转载
2023-11-12 20:10:36
24阅读
MySQL5.0.3开始支持分布式事务，只支持InnoDB引擎。
1. 分布式事务原理
使用分布式事务的应用程序涉及一个或多个资源管理器和一个事务管理器。
资源管理器（RM）用于提供通向事务资源的途径，数据库服务器是一种资源管理器。该管理器必须可以提交或回滚由RM管理的事务。
转载
2023-08-15 16:22:44
75阅读
undo日志和redo日志在数据库系统中，既有存放数据的文件，也有存放日志的文件。日志在内存中也是有缓存Log buffer，也有磁盘文件log file。MySQL中的日志文件，有这么两种与事务有关：undo日志与redo日志。undo日志数据库事务具备原子性（Atomicity），如果事务执行失败，需要把数据回滚。原子性可以利用undo日志来实现。Undo Log的原理很简单，为了满足事务的原
转载
2024-01-12 06:52:22
38阅读
本文只是一个概念，具体配置太多，这里不做细节描述。 1、分布式应用的概念和优势 分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。近年来，随着数据量的增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库
转载
2023-06-29 18:18:48
89阅读
一、mysql单机事务是如何实现的关于网上谈及分布式数据库事务的文章并不少，不过大多都是讲市面上存在的解决方案，含有太多特定名词，看了难免一头雾水。今天我们来聊聊分布式事务。首先我们看一看这么个案例。A向B采购一批货物，这里涉及先发货还是先付钱，我们发现他们两个人必须有个先后，而这种先后避免不了会发生纠缠不清。实际解决这类问题的方案就是需要有个第三方来公证。这里我先下两个定义：1.事务是发生在“写
转载
2023-09-05 21:49:51
77阅读
一、前言 前一段时间，小小的写了一个爬虫，是关于电商网站的。今天，把它分享出来，供大家参考，如有不足之处，请见谅！（抱拳） 二、准备工作 我们实现的这个爬虫是Java编写的。所用到的框架或者技术如下： Redis：分布式的Key-Value数据库，用来作存储临时的页面URL的仓库。 HttpClient：Apache旗下的一款软件，用来下载页面。 HtmlCle
转载
2023-10-31 19:56:35
124阅读
1、MyCAT基础架构准备 MyCAT基础架构图1.1 MyCAT基础架构准备 1.1.1 环境准备： 两台虚拟机 db01（10.0.0.51） db02（10.0.0.52） 每台创建四个mysql实例：3307 3308 3309 3310 1.1.2 删除历史环境： pkill mysqld rm -rf /data/330* mv /etc/my.cnf /etc/my.cnf.bak1
转载
2024-06-11 20:34:22
33阅读
今天继续给大家介绍MySQL相关知识，本文主要内容是MySQL集群Cluster基本原理。一、MySQL集群Cluster原理MySQL Cluster是MySQL集群的一种常用技术，适合于分布式计算环境下高冗余高实用版本。在MySQL Cluster中，对数据库的结构和功能进行了拆分，分成了SQL节点、管理节点和存储节点三块。每个设备可以只发挥其中一部分的作用，并且多个设备之间可以组件集群，实现
转载
2023-08-29 16:35:06
195阅读
文章目录前言一、Redis分布式锁？二、使用步骤1.引入Redis库2.代码案例总结 前言随着时代的快速进步，技术不断的迭代更新，今天简单的分享一下分布式锁的案例。让大伙能够有一个简单的了解。一、Redis分布式锁？分布式锁是控制分布式系统之间同步访问共享资源的一种方式。 个人理解：由于并发下导致数据不一致，所以不同的服务器下需要保证数据的一致性。于是Redis提供了一种解决方案。二、使用步骤1
转载
2023-05-30 15:27:33
81阅读
