消息对列的消息模型分类以及适应场景
消息队列 消息对列是一个存放消息的容器，当我们需要消息的时候就从消息队列中取出消息使用。消息队列是分布式系统中重要的组件，使用消息队列的目的是为了通过异步处理提高系统的性能和削峰值，降低系统的耦合性。目前使用较多的消息队列有ActiveMQ，RabbitMQ，Kafka，RocketMQ。1.消息模型点对点 消息生
转载
2024-03-26 11:36:03
20阅读
kafka的解决方式1.消费者弄丢了数据 唯一可能导致消费者弄丢消息的情况是消费者自动提交了 offset消息，kafka认为你已经消费了这个消息，但是你刚刚处理的过程中，自己就挂掉了，那么这个消息就丢失了 那么大家都知道，kafka能够自己自动提交offset,那么只要关闭自动提交offset,在处理完之后自己手动提交offset,就可以保证数据不会丢...
原创
2019-10-08 09:44:26
88阅读
没有一个中间件能够做到百分之百的完全可靠，可靠性更多的还是基于几个9的衡量指标，比如4个9、5 个9. 软件系统的可靠性只能够无限去接近100%，但不可能达到100%。所以kafka如何是实现最大可能的可靠性呢？分区副本:你可以创建更多的分区来提升可靠性，但是分区数过多也会带来性能上的开销，一般来说，3个副本就能满足对大部分场景的可靠性要求acks:生产者发送消息的可靠性，也就是我要保证我这个消息
转载
2024-02-12 20:18:05
48阅读
Rabbitmq 入门概念首先来介绍下Rabbitmq的一些概念： Producer：生产者，生产者负责发送信息（messages）Queue：队列，队列是RabbitMQ中的信箱，唯一区别是信箱里的是信件，而队列中的是数据Consuming：消费者，消费者负责接受消息。这三个概念就足以支撑MQ的一个简单模式了。请看如下代码：public class Recv {
private
作者：threedayman 恒生LIGHT云社区 接着上一讲 消息中间件之RabbitMQ初识，这笔我们来讲讲RabbitMQ中消息丢失的问题。已经怎样在核心业务中避免消息丢失。 血泪故事：商品购物流程中的发货环...
原创
2022-03-03 14:56:35
271阅读
Kafka-如何保证生产者的可靠性 即使我们尽可能把broker配置的很可靠，但如果没有对生产者进行可靠性方面的配置，整个系统仍然有可能出现突发性的数据丢失。 举例： 为broker配置了3个副本，并且禁用了不完全首领选举，这样应该可以保证万无一失。我们把生产者发送消息的acks设为1（只要首领接收
原创
2022-06-10 19:20:04
163阅读
生产者消息发送流程
消息发送的整体流程，生产端主要由两个线程协调运行。分别是main线程和sender线程（发送线程）。
在Kafka（2.6.0版本）源码中，可以看到。
源码地址：
kafka\clients\src\main\java\org.apache.kafka.clients.producer.KafkaProducer.java
测试入口：
KafkaProducerTest
转载
2021-02-24 10:07:00
135阅读
2评论
接上一讲，这篇我们来讲讲RabbitMQ中消息丢失的问题。已经怎样在核心业务中避免消息丢失。
原创
2021-06-10 16:23:21
448阅读
消息的可靠投递除了需要硬件，网络，消息中间件等的可靠保证外，还需要生产者，消费者来共同保证来完成。一条消息从生产者产生，到发送到交换机，并被投递到队列，并最终被消费者消费，这整个路径上，途径的每一个地方都要保证消息的可靠性。其实，官方文档Reliability Guide已经总结了消息系统安全的方方面面。网络方面可以使用心跳检测TCP连接：Detecting Dead TCP Connection
转载
2024-04-16 12:20:15
117阅读
# Redis消息队列的可靠性
在实时数据处理和系统架构中，消息队列是一个非常重要的组件，它可以帮助解耦系统各个模块之间的耦合性，提高系统的可靠性和性能。在消息队列中，Redis作为一个高性能的内存数据库，被广泛应用于实现消息队列。
## Redis消息队列的可靠性
Redis本身提供了一些数据结构，如List、Pub/Sub和Stream，可以用来实现消息队列。但是，这些原生的数据结构并不
原创
2024-05-21 07:22:28
110阅读
1.使用消息表的事务特性保证生产者消息可靠2.使用nack机制+消息表
原创
2022-11-01 18:49:45
162阅读
将redis发布订阅模式用做消息队列和rabbitmq的区别：可靠性 redis ：没有相应的机制保证消息的可靠消费，如果发布者发布一条消息，而没有对应的订阅者的话，这条消息将丢失，不会存在内存中；rabbitmq：具有消息消费确认机制，如果发布一条消息，还没有消费者消费该队列，那么这条消息将一直存放在队列中，直到有消费者消费了该条消息，以此可以保证消息的可靠消费
转载
2023-06-29 11:45:56
72阅读
一、消息队列消息队列的基本需求消息保序：消息的产生与消费有先后顺序，消息队列需保证消费的有序性。重复消息处理：生产者可能会发送重复消息，需保证消费的幂等性。消息可靠性保证：消息不能丢失，消费失败后，需保证有机制可以重新消费。消息队列可靠性的保证生产者丢数据消费者丢数据消息队列自身丢数据二、基于list的消息队列Redis 的sub/pub机制，可以实现部分的消息队列机制，但遇到网络连接中断，数据库
转载
2023-05-25 15:02:35
204阅读
将redis发布订阅模式用做消息队列和rabbitmq的区别：1·、可靠性redis ：没有相应的机制保证消息的可靠消费，如果发布者发布一条消息，而没有对应的订阅者的话，这条消息将丢失，不会存在内存中；rabbitmq：具有消息消费确认机制，如果发布一条消息，还没有消费者消费该队列，那么这条消息将一直存放在队列中，直到有消费者消费了该条消息，以此可以保证消息的可靠消费，那么rabbitmq的消息是
转载
2023-08-30 09:36:07
54阅读
1 消息推送的可靠性Redis 消息推送（基于分布式 Pub/Sub）多用于实时性较高的消息推送，并不保证可靠。 Redis- Pub/Sub 断电就会清空数据，而使用 Redis-List 作为消息推送虽然有持久化，也并非完全可靠不会丢失。 Kafka 保证可靠虽然一些延迟。 2 订阅功能的分组Redis 发布订阅除了表示不同的 topic 外，并不支持分组。Kafka 中发布一个内容，多个订阅
转载
2023-06-26 15:01:04
76阅读
消息队列，缓存，分库分表是高并发解决方案三剑客，而消息队列是我最喜欢，也是思考最多的技术。我想按照下面的四个阶段分享我与消息队列的故事，同时也是对我技术成长经历的回顾。初识：ActiveMQ进阶：Redis&RabbitMQ升华：MetaQ钟情：RocketMQ1 初识ActiveMQ1.1 异步&解耦2011年初，我在一家互联网彩票公司做研发。我负责的是用户中心系统，提供用户注册
ACK机制，ISR机制，选举机制
原创
精选
2020-07-27 22:36:40
10000+阅读
1 消息队列功能介绍消息队列是分布式系统中重要的组件，主要解决分布式环境下各个服务同步调用、负载不均、应用耦合等问题。 消息队列的作用就是可以让各个服务可以异步处理、流量削峰、应用解耦1.1 异步处理以电商用户下单为例，用户创建订单后发送订单创建成功的短信。传统方式可以做成串行处理，先调用订单服务创建订单，订单创建成功后调用短信服务发送短信。 假设创建订单100ms，发送短信100ms，那么整个过
转载
2024-03-21 16:12:05
35阅读
消息队列 消息队列是典型的生产者消费者模型，本质就是一块可供读写消息的缓冲区。 消息队列可以解耦，异步，削峰。是现代应用开发中不可或缺的技术。 RabbitMQ
转载
2024-06-29 18:22:23
607阅读
在实际的软件开发过程中，有些模块专门负责产生数据，另一个相对应的模块负责处理数据。在这种情况下，可以形象地称产生数据的模块为生产者，消费数据的模块为消费者。往往实际中的生产者和消费者不仅仅是这样的，在它们之间还存在着一个缓冲区作为中介。生产者把数据生产出来放入缓冲区，消费者从缓冲区取得数据消费。也就是说生产者和消费者有“321”原则。 3 — 三种关系 2 — 二种角色 1 — 一个交易场所先说三
