在本篇博文中，我们将深入探讨“android MQ丢失”这一问题，提供系统的解决思路，涵盖从业务背景到故障复盘的各个方面。
### 背景定位
在我们目前的项目中，Android 应用依赖于消息队列（MQ）来进行异步通信和数据处理。近年来，随着用户的不断增长，我们面临着消息丢失的问题，影响了用户的体验和系统的可靠性。
> 引用块
> 用户原始需求：我们希望在使用 App 时，所有数据的推送和消
Redis是一种开源的内存数据库，常用于缓存和消息队列等场景。而消息队列（Message Queue，简称MQ）则是一种用于异步通信的机制，常用于解耦和异步处理等场景。在使用Redis作为MQ时，有时会遇到数据丢失的问题。本文将介绍Redis如何从MQ拉取消息并丢失数据的原因，并提供相应的代码示例。
## Redis从MQ拉取消息
Redis可以通过发布/订阅机制实现消息队列的功能。在Redi
原创
2023-12-13 13:24:53
73阅读
同一个消费组内的消费者，如果订阅了相同的Topic，但是订阅的tag不相同，会出现消息丢失问题。原因：RocketMQ要求同一个消费组里的消费者必须订阅关系一致，若订阅关系不一致将会发生消息丢失。什么是订阅关系不一致？订阅关系一致是指同一个消费组下的所有消费者所订阅的Topic、Tag必须完全一致。如下图： 其中，消费组 1 中的消费组都订阅了 Topic1 中的 Tag1，消费组 2
转载
2024-01-10 22:30:04
56阅读
# MQ消费与Redis做幂等校验的实现
在现代微服务架构中，消息队列（MQ）作为系统各组件之间的沟通桥梁，扮演了非常重要的角色。然而，在消费消息时，如何确保消息的幂等性（即重复消费相同消息时，不会导致系统状态发生改变）显得尤为重要。为此，我们可以结合Redis来实现幂等校验，从而避免消息丢失或重复处理的问题。
## 问题的提出
在消息消费的过程中，可能会出现网络异常或处理逻辑错误，导致消息
周末测试了一下RabbitMQ的性能，RabbitMQ是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。个人认为，在互联网开发中，使用消息队列，更多的因为在高并发环境下，由于来不及同步处理，请求会发生堵塞，所以我们需要一个队列服务来进行异步的处理，在这种场景下，只要队列服务满足最基本
转载
2023-08-11 22:24:13
112阅读
一、常用Message Queue对比RabbitMQRabbitMQ是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正因如此，它非常重量级，更适合于企业级的开发。同时实现了Broker构架，这意味着消息在发送给客户端时先在中心队列排队。对路由，负 载均衡或者数据持久化都有很好的支持。RedisRedis是一个基于Key-Value对
转载
2023-11-15 13:49:13
142阅读
简介 为了保障基础服务的稳定，需要对MQ进行灾备，这个灾备主要是防患MQ突然不可能，基础服务依然可以调用其他队列来继续正常运行。第一想法是引入其他MQ中间件来做灾备，这样只需要实现一套生产者消费者就好。但因为公司这块中间件都使用的云产品。要过要使用其他类型的MQ中间件就需要购买资源，但程序运行中正常情况下不会用到这个备胎，因此剩下的选项就是将队
转载
2023-08-31 11:27:25
90阅读
今天我们开始分布式之消息队列之旅。什么是消息队列消息队列（Message Queue，简称MQ），指保存消息的一个容器，本质是个队列。消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到
转载
2023-07-21 00:28:53
139阅读
RabbitMQRabbitMQ是一个专门的AMQP协议队列，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗，他的优势就在于提供可靠的队列服务，使得不同的应用可以通过同一个协议去共享数据，并且可做到异步。RedisRedis众所周知是一个内存级别的数据库，通过键值对的方式才存储数据，但虽然Redis本身是一个数据库，但是Redis本身是支持MQ（Message Queue
转载
2023-09-19 00:50:57
126阅读
redis实现原理_redis集群三种方式_手把手教你用redis实现一个简单的mq消息队列(java)众所周知，消息队列是应用系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有 ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ.但是如果你不想为你的系统引入一个重量级(相对
转载
2023-08-30 14:26:26
286阅读
mq: rabbitmq, rocketmq, kafka
原创
2022-05-26 01:23:37
342阅读
1.mysql主从同步原理主从配置教程参考relay-log（中继日志） 1.在主库上开启记录二进制日志。在每次准备提交事务完成数据更新前，主库将数据更新的事件记录到二进制日志中。MySQL会按事务提交的顺序而非每条语句的执行顺序来记录二进制日志。在记录二进制日志后，主库会告诉存储引擎可以提交事务了。 2.备库将主库的二进制日志复制到其本地的中继日志中。首先，备库会启动一个工作线程，称为I/O线程
转载
2024-06-04 12:06:23
54阅读
1. Redis 有哪些常见的功能？数据缓存功能分布式锁的功能支持数据持久化支持事务支持消息队列2. Redis 适合的场景缓存：减轻 MySQL 的查询压力，提升系统性能；排行榜：利用 Redis 的 SortSet（有序集合）实现；计算器/限速器：利用 Redis 中原子性的自增操作，我们可以统计类似用户点赞数、用户访问数等。这类操作如果用 MySQL，频繁的读写会带来相当大的压力；限速器比较
转载
2023-08-15 18:25:47
91阅读
先吐个槽：经常看到有人对不同得消息队列做各种各样得评价以及所谓得性能测试，评估选型等等，岂不知脱离任何业务得技术评估都是瞎扯淡。（公司实际业务技术场景不提，满口胡说kafa怎么样，activemq怎么样，rabbitmq怎么样。rocketmq怎么样），试问目前有多少公司业务能够出现10w+并发吞吐量？所以我对架构得技术选型都会紧密结合相关业务具体分析。举个例子公司只有登入短信验证码发送得业务在那
转载
2024-02-21 21:39:26
16阅读
一、概念幂等性, 通俗的说就是一个接口, 多次发起同一个请求, 必须保证操作只能执行一次
比如:订单接口, 不能多次创建订单支付接口, 重复支付同一笔订单只能扣一次钱支付宝回调接口, 可能会多次回调, 必须处理重复回调普通表单提交接口, 因为网络超时等原因多次点击提交, 只能成功一次
等等二、常见解决方案唯一索引 -- 防止新增脏数据token机制 -- 防止页面重复提交悲观锁 -- 获取数据的时
转载
2024-09-15 21:25:22
18阅读
redis持久化熟悉redis 的集群开发，熟悉 Redis 的 RDB 和 AOF 两种持久化方式、事务控 制和客户端 jedis 的使用，熟悉 Redis 的主从复制、哨兵模式RabbitMQ最初起源于金融系统Redis宕机导致客户端一直占有锁，只能设置超时获取具体对比可靠消费Redis：没有相应的机制保证消息的消费，当消费者消费失败的时候，消息体丢失，需要手动处理 RabbitMQ：具有消息
转载
2023-08-02 16:21:32
133阅读
消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ 中而不用管谁来取，消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。 redis 在我的学习过程中，redis就是一个内存数据库，具有丰富的数据类型，当然也支持
转载
2023-08-20 19:30:04
81阅读
记一次开发环境redis出现key丢失排查
背景:开发环境大家共用redis集群, 出现设置的redis key随机丢失1. 检查key是否设置了过期时间执行ttl key发现值是-1，并没有设定过期时间2. 检查是否有人删除key,或者flushdb,flushall
执行info commandstatscmdstat_XXX: calls=XXX,usec=
转载
2023-06-28 16:25:15
475阅读
文章目录一、概述1、Redis概述2、功能介绍2.1 Redis限流2.2 分布式锁2.3 接口幂等二、Redis接口限流实战1、环境准备2、限流注解3、配置RedisTemplate4、开发 Lua 脚本5、全局类与工具类6、注解AOP解析7、接口测试三、Redis分布式锁1、简介2、AOP分布式锁原理2.1 实现流程2.2 核心步骤3、AOP分布式锁实战3.1 业务属性枚举设定3.2 任务队
转载
2023-11-02 16:20:00
173阅读
始因 有时候线上可能会遇到这样的问题： 明明我设置了对应的 key 以及超时时间，但是在使用的过程当中发现对应的 key 丢失了，尤其是在用户账号登录状态保持有效期的场景下，会越发的明显。即：一个用户正常登录会产生一个有效期为一天的 token，这样用户再次进入网站是不需要登录的。但是发生 key 丢失问题就会导致用户需要频繁的重新登录，用户体验相当不好。导致这种问题的原因一般有以下两种情况：
转载
2023-06-30 13:16:41
192阅读
