一、什么是MQ？MQ全称为Message Queue，也就是消息队列，是应用程序和应用程序之间的通信方法。二、MQ能用来干什么？能用来干什么，也就是MQ的适用场景。在微服务盛行的当下，MQ被使用的也是越来越多，一般常用来进行「业务异步解耦」、「解耦微服务」、「流量削峰填谷」、「消息分发」、「分布式事务的数据一致性」，我们分别来看一下。1、异步解耦在正常业务流程中，比较耗时而且不需要即时返回结果的操
转载
2024-09-02 12:40:29
22阅读
一、分布式的业务场景1 、如何高效完成各个分布式系统的协作通过消息队列来达到异步解耦的效果，减少了程序之间的阻塞等待时间，降低了因为服务之间调用的依赖风险。2、消息的弊端？如何解决？消息队列的问题在于不确定性，不能绝对保证消息的准确到达，所以要引入延迟、周期性的主动轮询，来发现未到达的消息，从而进行补偿。查看二、消息队列简介消息队列，也叫消息中间件。消息的传输过程中保存消息的容器。消息
转载
2024-02-09 11:50:19
82阅读
上一篇文章简要介绍了RabbitMQ的基本知识点，并且写了一个简单的发送和接收消息的demo.这一篇文章继续介绍关于Work Queue（工作队列）方面的知识点，用于实现多个工作进程的分发式任务。 一.Work Queues：我们可以把它翻译成工作队列，他有什么用呢？它的主要作用就是规避了实时的执行资源密集型任务（ resource-intensive task），因为这会造成响应
转载
2024-04-09 11:19:40
30阅读
文章部分图片来自参考资料，侵删概述我们从前面的发送流程知道某个主题的消息到了broker 的 messageque 里，假如让我们来设计一个消息队列的消费者过程，那么多个消费者应该如何消费数量较少的 messagequeue 呢？消费者有两种消费模式 ： 广播模式和集群模式 ，广播模式很好理解就是消费所有的消息；集群模式相当于多个消费者逻辑上认为是一个整体，最通俗的理解就是一个消息在集群里面只有一
转载
2024-03-23 15:11:06
95阅读
本文来说下kafka的基本概念与术语 文章目录消息队列kafka架构图Kafka相关概念及术语本文小结 消息队列把数据放到消息队列叫做生产者。从消息队列里边取数据叫做消费者。消息队列，我们一般简称为MQ(Message Queue) 队列是我们常说的一种先进先出的数据结构。消息队列可以简单理解为：把要传输的数据放在队列中。消息队列的两种模式：点对点：生产者生产消息发送到队列中，消费者从队列中取出并
转载
2024-04-24 22:10:41
65阅读
消息队列MQ面试题：介绍一下消息队列消息队列关于这个问题主要从三个方面回答。第一，消息队列是应用之间异步通信的方式，主要由三个部分组成。生产者，消息所承载业务信息的一个实例化，整个消息的发起方。中间的broker是消息的服务端，主要是处理消息单元，负责消息的存储、投递等功能，是核心部分。消费者，主要负责消息的消费，具体是根据消息承载的信息处理各种逻辑。第二，应用场景。主要分为三种1.异步处理，在实
转载
2024-03-26 12:48:12
27阅读
RabbitMQ延时消息队列延时队列即放置在该队列里面的消息是不需要立即消费的，而是等待一段时间之后取出消费。那么，为什么需要延迟消费呢？就拿购物商城来讲吧：网上商城下订单后一定时间后没有完成支付，取消订单。这里将下订单称为系统创建预约。系统创建了预约之后，需要在预约时间到达前一小时提醒被预约的双方参会系统中的业务失败之后，需要重试。这种场景是很常见的，我们可以思考，比如：?第二个需求，系统创建了
转载
2024-09-03 14:07:36
63阅读
概念从字面理解，本质就是队列，FIFO先入先出，只不过队列中存放的是Message而已，是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ是常见的上下游“逻辑解耦+物理解耦”的消息通信服务，在使用MQ之后，消息发送上只需要依赖MQ，不用依赖其他服务。功能1.流量削峰比如说，如果订单系统最多能处理一万次订单，这个处理能力应付正常时段的下单时是没有问题的，正常时段我们下单一秒后就能返回结
转载
2024-05-14 23:08:11
185阅读
1、如何保证消息不被重复消费？一、为什么会出现重复消费的问题？ RabbitMQ、RocketMQ、Kafka 都有可能出现重复消费的问题，导致重复消费的原因可能出现在生产者，也可能出现在 MQ 或 消费者。这里说的重复消费问题是指同一个数据被执行了两次，不单单指 MQ 中一条消息被消费了两次，也可能是 MQ 中存在两条一模一样的消费。生产者：生产者可能会重复推送一条数据到 MQ 中，为什么会出现
转载
2024-02-17 08:27:15
291阅读
怎么保证消息不被重复消费?（消息队列消费的幂等性）先大概说一说可能会有哪些重复消费的问题。首先就是比如rabbitmq、rocketmq、kafka，都有可能会出现消费重复消费的问题，正常。因为这问题通常不是mq自己保证的，是给你保证的。然后我们挑一个kafka来举个例子，说说怎么重复消费吧。kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后con
转载
2024-04-22 14:01:53
59阅读
正在上传…重新上传取消一、基础篇1、为什么需要消息队列？1.1、异步处理秒杀系统需要解决的核心问题是，如何利用有限的服务器资源，尽可能多地处理短时间内的海量请求。我们知道，处理一个秒杀请求包含了很多步骤，例如：风险控制；库存锁定；生成订单；短信通知；更新统计数据。如果没有任何优化，正常的处理流程是：App 将请求发送给网关，依次调用上述 5 个流程，然后将结果返回给 APP。对于这 5 个步骤来说
转载
2024-05-03 16:42:53
95阅读
重复消费重复消费如何产生的，图是正常消息执行过程。原因一1、生产者发送给消息队列以后，消息队列会应达给生产者，但是这个过程中，消息队列出问题了没有收到消息，那么生产者就会重复发生消息，这时就产生了重复消息。 2、生产者发生消息给消息队列，消息队列由于数量太大延迟了，生产者等待响应超时了，这时生产者又会从新发生消息给消息队列。 3、生产者和消息队列因网络问题引起，生产者会发起重试。这样也会产生重复消
转载
2024-03-26 13:08:48
31阅读
消息队列”是 Microsoft 的消息处理技术，它在任何安装了 Microsoft Windows 的计算机组合中，为任何应用程序提供消息处理和消息队列功能，无论这些计算机是否在同一个网络上或者是否同时联机。 “消息队列网络”是能够相互间来回发送消息的任何一组计算机。网络中的不同计算机在确保消息顺利处理的过程中扮演不同的角色。它们中有些提供路由信息以确定如何发送消息，有些保存整个网络的重要信息
转载
2024-04-16 09:28:05
57阅读
努力只能及格，拼命才能优秀 Success自述发布/订阅发布/订阅模型分解临时队列/绑定Ending 自述前段时间有点忙，所以断更了，接下来接着更新,RabbitMQ的第三个场景------订阅者(publish)/发布者(Subscribe)。发布/订阅 工作队列背后的假设是每个人物都会交付给一个工作者，在该场景(发布/订阅)----我们将向多个消费
转载
2024-06-22 08:44:25
61阅读
什么是Celerycelery是一个异步任务队列/基于分布式消息传递的作业队列，分布式队列服务。它侧重于实时操作，但对调度支持也很好。celery用于生产系统每天处理数以百万计的任务。celery是用Python编写的，但该协议可以在任何语言实现。它也可以与其他语言通过webhooks实现。建议的消息代理RabbitMQ的，但提供有限支持Redis, Beanstalk, MongoD
转载
2024-04-25 16:42:47
96阅读
Celery是异步消息队列, 可以在很多场景下进行灵活的应用.消息中包含了执行任务所需的的参数,用于启动任务执行, suoy所以消息队列也可以称作在web应用开发中, 用户触发的某些事件需要较长事件才能完成. 可以将任务交给celery去执行, 待任务完成后再将结果返回给用户. 用户同步请求触发的其它任务, 如发送邮件,请求云服务等也可以交由celery来完成.celery的另一个重要应用场景则是
转载
2024-04-14 20:53:18
68阅读
Redis异步消息处理机制写在前面，其实实现异步队列可以用到BlockingQueue同步队列，不过本次我们用Redis的list数据结构来作为异步机制的先进先出队列。点赞、回复评论的时候，表面上是赞数增加了，其实还有很多其他的工作要做。比如，对方要收到消息提醒，成就值增加。一些行为会引起一系列连锁反应。如果在点赞时立马处理，会影响程序运行效率,所以大型服务需要异步化。 redis异步处理的实现（
转载
2024-06-09 21:54:33
68阅读
# Python异步消费队列实现教程
## 流程图
```mermaid
sequenceDiagram
participant 小白
participant 开发者
小白->>开发者: 请求学习python异步消费队列
开发者->>小白: 解释整个流程
```
## 关系图
```mermaid
erDiagram
USER ||--o QUE
原创
2024-06-04 04:28:12
31阅读
一、如何确保消息不丢失？1、检测消息丢失的方法可以利用消息队列的有序性来验证是否有消息丢失。在Producer端给每个发出的消息附加一个连续递增的序号，然后在Consumer端来检查这个序号的连续性。如果没有消息丢失，Consumer收到消息的序号必然是连续递增的，如果检测到序号不连续，那就是丢消息了。还可以通过缺失的序号来确定丢失的是哪条消息，方便进一步排查原因大多数消息队列的 客户端都支持拦截
转载
2024-06-22 08:43:50
46阅读
RabbitMQ------死信队列（六）死信的概念死信：无法被消费的消息，一般情况下：生产者将消息投递到broker或者直接到queue中，消费者从queue取出消息进行消费，但是某些时候，由于特定原因导致queue中的某些消息无法被消费，这样的消息如果没有后续处理，就会成为死信消息，有了死信消息就产生了死信队列。 当消息消费发生异常时，将消息投入死信队列中。比如：用户在商城下单成功并点击去支付
转载
2024-06-19 09:16:28
116阅读
