虽然本文并非笔者原创，但是我们在非强依赖的事务中原理上也是采用这种方式处理的，不过因为没有仔细去总结，最近在整理和总结时看到了，故转载并做部分根据我们实际情况的完善和补充。不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布
转载
2024-06-02 16:16:59
59阅读
其实这个也是用 MQ 的时候必问的话题，第一看看你了不了解顺序这个事儿？第二看看你有没有办法保证消息是有顺序的？这是生产系统中常见的问题。我举个例子，我们以前做过一个 mysql binlog 同步的系统，压力还是非常大的，日同步数据要达到上亿，就是说数据从一个 mysql 库原封不动地同步到另一个 mysql 库里面去（mysql -> mysql）。常见的一点在于说比
转载
2024-09-06 13:23:36
35阅读
这里写自定义目录标题 转载：前阵子从支付宝转账1万块钱到余额宝，这是日常生活的一件普通小事，但作为互联网研发人员的职业病，我就思考支付宝扣除1万之后，如果系统挂掉怎么办，这时余额宝账户并没有增加1万，数据就会出现不一致状况了。上述场景在各个类型的系统中都能找到相似影子，比如在电商系统中，当有用户下单后，除了在订单表插入一条记录外，对应商品表的这个商品数量必须减1吧，怎么保证？！在搜索广告系统
前言前段时间面试，面试官问我一个问题，听说你看过zookeeper源码，那你能告诉我zookeeper是不是强一致性的，如果是，又怎么保证数据强一致性的吗？ 针对这个问题， 我从下面几个角度进行了分析和解答。什么是一致性一致性就是指数据在多个副本节点之间是一致的，也就是说，你在一个副本节点上修改了数据，其他副本节点也会相应的修改数据。接下来再说一下什么是强一致性，强一致性指的是你在一个副
转载
2024-04-26 15:09:05
24阅读
前言：关于消息队列应该大家都不陌生,在实际的项目中消息队列也无处不在,今天我和大家分享一下关于消息队列的问题。1、消息队列定义消息队列大家又经常称为MQ(message queue),从字面的含义来看就是一个存放消息的容器。2、消息队列应用场景2.1、异步处理2.2、系统解耦2.3、流量削峰 3、消息队列顺序性 提到mq那么我们必然会讨论mq顺序性问题
转载
2024-06-26 10:39:59
109阅读
消息队列技术的应用1、解耦：消息队列要解决本质问题2、广播模式：消息队列的基本功能之一，有了消息队列，只需要关心消息是否送达了队列，至于谁需要订阅，是下游消费者的事情，极大地减少了开发和联调的工作量3、错峰和控流：秒杀业务用于流量削峰场景（流量削峰）4、最终一致性：最终一致性指的是两个系统的状态保持一致，要么都成功，要么都失败。这不是消息队列的必备特性，但可以借此实现最终一致性问题 消息
转载
2024-05-16 14:15:07
63阅读
写在前面分布式架构出现后，越来越多的分布式系统会面临数据一致性的问题。目前，ZooKeeper 是在解决分布式数据一致性上最成熟稳定且被大规模应用的工业级解决方案。ZooKeeper 保证 分布式系统数据一致性的核心算法就是 ZAB 协议（ZooKeeper Atomic Broadcast，原子消息广播协议）。ZAB 协议ZooKeeper 能够保证数据一致性主要依赖于 ZAB 协议的
转载
2024-02-20 19:12:00
63阅读
“今天给大家剖析一下工作中常见的 MySQL 和 Redis 数据一致性问题。图片来自 Pexels什么是数据的一致性一致性就是数据保持一致，在分布式系统中，可以理解为多个节点中数据的值是一致的。而一致性又可以分为强一致性与弱一致性。强一致性可以理解为在任意时刻，所有节点中的数据是一样的。同一时间点，你在节点 A 中获取到的值与在节点 B 中获取到的值应该都是一样的。弱一致性包含很多种不同的实现，
转载
2023-08-16 11:14:01
313阅读
如何可靠保存凭证（消息）有两种方法：业务与消息耦合的方式支付宝在完成扣款的同时，同时记录消息数据，这个消息数据与业务数据保存在同一数据库实例里（消息记录表表名为message）； Begin transaction
update A set amount=amo
转载
2024-03-26 11:39:10
29阅读
巩固基础，砥砺前行 。 只有不断重复，才能做到超越自己。 能坚持把简单的事情做到极致，也是不容易的。面试题项目上用过消息队列吗？用过哪些？当初选型基于什么考虑的呢？面试官心理分析 第一，你知不知道你们系统里为什么要用消息队列这个东西? 不少候选人，说自己项目里用了Redis、MQ，但是其实他并不知道自己为什么要用这个东西。其实说白了，就是为了用而用，或者是别人 设计的架构，他从头到尾都没思考过。
实现ZooKeeper服务有两种不同的运行模式。一种是“独立模式”(standalone mode)，即只有一个ZooKeeper服务器。这种模式比较简单，适合于测试环境，但是不能保证高可用性和可恢复性。在生产环境中的ZooKeeper通常以“复制模式”(replicated mode)运行于一个计算机集群上，这个计算及集群被称为一个“集合体”(ensemble)。ZooKeeper通过复制来实现
转载
2024-04-03 08:42:33
31阅读
如果我们要在服务化拆分中使用消息队列，那么我们需要解决哪些问题呢？首先去哪儿网提供了旅游产品在线预订服务，那么就涉及电商交易，在电商交易中我们认为数据的一致性是非常关键的要素。那么我们的 MQ 必须提供一致性保证。MQ 提供一致性保证又分为两个方面。发消息时我们如何确保业务操作和发消息是一致的，也就是不能出现业务操作成功消息未发出或者消息发出了但是业务并没有成功的情况。举例来说，支付服务使用消息通
转载
2024-03-19 10:32:20
30阅读
原创 王振军收录于合集#mysql18个#redis26个#docker29个#springboot89个一、简介canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010
转载
2024-06-25 08:47:19
21阅读
对mysql数据进行备份，常见的方式如以下三种，可能有很多人对备份时数据一致性并不清楚1、直接拷贝整个数据目录下的所有文件到新的机器。优点是简单、快速，只需要拷贝；缺点也很明显，在整个备份过程中新机器处于完全不可用的状态，且目的无法释放源数据文件中因为碎片导致的空间浪费和无法回收已发生扩展的innodb表空间。2、用xtrabackup进行热备。优点是备份过程中可继续提供服务；缺点和第一种方法差不
如果redis实例宕机了，在恢复期间，无法服务新来的数据存取请求。redis高可靠性：数据尽量少丢失（AOF、RDB）服务尽量少中断（增加副本冗余量）-将一份数据同时保存在多个实例上redis提供了主从模式，采用读写分离-保证数据副本的一致读操作-主库，从库都可以接收写操作：主库先执行，然后主库将写操作同步给从库。主从库如何进行第一次同步如图：第一阶段：psync 命令包含了主库的 runID 和
转载
2023-07-07 15:17:56
166阅读
对于消息队列来说，它最核心的功能就是收发消息。也就是消息生产和消费这两个流程。我们在之前的课程中提到了消息队列一些常见问题，比如，“如何保证消息不会丢失？”“为什么会收到重复消息？”“消费时为什么要先执行消费业务逻辑再确认消费？”，针对这些问题，我讲过它们的实现原理，这些最终落地到代码上，都包含在这一收一发两个流程中。在接下来的两节课中，我会带你一起通过分析源码的方式，详细学习一下这两个流程到底是
什么是消息一致性所谓消息收发一致性，一般指的是消息的时序一致性，也就是保证消息不会乱序对于点对点的聊天场景，时序一致性需要保证接收方的接收顺序和发送方的发送顺序一致对于群组聊天，时序一致性保证的是群里所有接收人看到的消息展现顺序都一样为什么保证消息的时序一致性很困难从理论上来说，保证消息的时序一致性貌似并不难。理论上，我们想象中的消息收发场景中，只有单一的发送方、单一的接收方。如果发送方和接收方的
转载
2024-07-09 16:55:05
57阅读
1、RabbitMQ 介绍1.1 、简介消息队列（Message Queue，简称MQ），从字面意思上看，本质是个队列，FIFO先入先出，只不过队列中存放的内容是message而已。而RabbitMQ是消息队列的一种，他遵循AMQP1.2、什么是AMQP协议Advanced Message Queuing Protocol （高级消息队列协议） AMQP是一个标准开放的应用层的消息中间件（Mess
转载
2024-10-03 15:21:53
93阅读
文章目录[简介]一、Zookeeper的特性二、Zookeeper的选举机制说明[Zookeeper的集群搭建]一、环境准备二、安装包准备三、免密登录配置四、在192.168.0.52机器上面安装配置操作五、创建myid文件六、分发zookeeper目录文件到其他机器七、修改myid文件的值八、配置Zookeeper环境变量 [简介]ZooKeeper是一个典型的分布式数据一致性的解决方案，分布
转载
2024-04-03 15:45:38
153阅读
今日上午，同事告知，MySQL主从数据库的数据不一致，猜测备库在同步过程中出现了问题，于是，登上备库，使用 mysql> show slave status\G查看，果然，备库在insert语句中因违反主键约束，导致备库停止了同步。现在的问题很明确，就是如何恢复主从库数据的一致性。可选方案如下：一、查看Master最新的Position，将其作为Slave复制的起点。这种思路体现的是过去的不
转载
2023-07-17 00:48:32
106阅读
