在说死信队列之前，我们先介绍下为什么需要用死信队列。如果想直接了解死信对接，直接跳入下文的"死信队列"部分即可。ack机制和requeue-rejected属性我们还是基于上篇《Spring Boot系列——7步集成RabbitMQ》的demo代码来说。在项目springboot-demo我们看到application.yaml文件部分配置内容如下...
listener:
type:
转载
2024-05-31 13:07:53
99阅读
一.代码+配置 1.首先建立一个队列，标示为死信队列Connection connection = connectionFactory.newConnection();
Channel channel = connection.createChannel();
channel.exchangeDeclare("some.exchange.name", "direct");
Map<Stri
转载
2024-07-15 15:05:38
39阅读
总览：储采用了分区(partition)，分段(LogSegment)和稀疏索引这几个手段来达到了高效性分区：话题分区分段：分区存储文件分段稀疏索引：以分段对应索引采用相对偏移量进行检索范围的缩小(如一个分区分为五段，每个分段都会对应一个索引文件.index,存储消息的相对偏移量和分区分段名称) 术语解析：Topic：主题Partition：分区Offset：偏移量Segme
转载
2024-11-01 16:49:10
36阅读
1. 死信1.1 死信的概念先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer 将消息投递到 broker 或者直接到 queue 里了，consumer 从 queue 取出消息进行消费，但某些时候由于特定的原因导致 queue 中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信，有死信自然就有了死信队列。应用场景：
1.springboot之Redis配置在学习springboot配置Redis之前先了解Redis。1.了解RedisRedis简介：redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)以及hash（适合存储java对象）。这些数据类型都支持push/pop、a
转载
2024-07-11 12:44:28
85阅读
在SpringCloud Config 中，假如有多个微服务客户端从服务配置中心获取配置信息，一旦远程库中的配置文件发生修改，服务配置中心可以同步更新，但配置信息的修改无法立即同步到每一个微服务上去，我们可以通过向微服务发送 post 请求刷新微服务来使得配置信息的更新，我们希望：1、每一个微服务不用一
转载
2024-09-20 11:39:52
38阅读
1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性：因为消息队列解耦了你的处理过程，所以增大消息入队
概念group组内只有1个实例消费。如果不设置group，则stream会自动为每个实例创建匿名且独立的group——于是每个实例都会消费。组内单次只有1个实例消费，并且会轮询负载均衡。通常，在将应用程序绑定到给定目标时，最好始终指定consumer group。destination binder与外部消息系统通信的组件，为构造 Binding提供了 2 个方法，分别是 bi
转载
2024-10-21 18:21:12
41阅读
升级Spring Cloud Stream动态发送消息问题解析Spring Cloud Stream从2.0.1升级到3.1.3后，事件服务动态刷新发送消息、消费消息都出现了异常。由于动态发送、消费消息功能，是在源码的基础上做了一些封装和修改，新版本Spring Cloud Stream源码发送了变更导致之前的方式失效或出现异常Unable to register MBean [bean ‘hal
redis技术分享大家知道redis的默认端口为什么是6379吗而是由手机键盘字母「MERZ」的位置决定的。
「MERZ」在 Antirez 的朋友圈语言中是「愚蠢」的代名词，它源于意大利广告女郎
「Alessia Merz」在电视节目上说了一堆愚蠢的话 Antirez 今年已经四十岁了，依旧在孜孜不倦地写代码，为 Redis 的开源事业持续贡献力量redis简介Redis采用的是基于内存的单进程
转载
2024-10-17 23:27:50
25阅读
适用于并发场景下，生产者生产的速度要大于消费者的速度，我觉得和分布式队列MQ、和kaffak这些不同的是，分布式队列处理是多个服务，多个系统的这种消费业务（多进程），而阻塞队列处理的是内部程序（线程），而且MQ使用的是计算机内存，阻塞队列使用的是JVM内存。（有一个场景就是在处理从库里面查大量数据，然后进行统计计算的时候）消费者阻塞: 在队列为空时，消费者端的线程都会被自动阻塞，知道数据放入队列，
转载
2024-10-05 11:32:04
44阅读
消息的消费确认实现原理:当消费者的消息消费异常时，消息进入延迟重试队列，待超时后重新发送到重试队列指定的死信队列，死信队列重新消费信息，如果又出现死信情况，继续进入延时重试队列，依次循环，当重试超过3次后，消息进入失败队列等待相应的消费者特殊处理或人工处理。死信队列死信队列中（dead letter）死信的消息来源：消息被拒绝（basic.reject或basic.nack）并且requeue=f
转载
2024-10-08 13:54:14
152阅读
SpringBoot整合SpringCloudStream3.1+版本的Kafka死信队列上一篇直通车SpringBoot整合SpringCloudStream3.1+版本Kafka实现死信队列步骤添加死信队列配置文件，添加对应channel通道绑定配置对应的channel位置添加重试配置结果配置文件Kafka基本配置（application-mq.yml）server:
port: 7105
转载
2024-06-28 15:48:46
131阅读
一、死信的概念先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer 将消息投递到 broker 或者直接到 queue 里了，consumer 从 queue 取出消息进行消费，但某些时候由于特定的原因导致 queue 中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信，有死信自然就有了死信队列。应用场景: 为了保证订单
转载
2024-10-08 14:04:23
810阅读
1、消息重试若Consumer消费某条消息失败，则RocketMQ会在重试间隔时间后，将消息重新投递给Consumer消费，若达到最大重试次数后消息还没有成功被消费，则消息将被投递至死信队列。
消息重试只针对集群消费模式生效；广播消费模式不提供失败重试特性，即消费失败后，失败消息不再重试，继续消费新的消息
最大重试次数：消息消费失败后，可被重复投递的最大次数。consumer.setMa
转载
2024-06-04 22:06:54
76阅读
一、概述（一）概念Spring Cloud Stream是一个用于构建消息驱动型微服务的框架。Spring Cloud Stream 为一些供应商的消息中间件产品提供了个性化的自动化配置实现, 引用了发布-订阅、消费组、分区的三个核心概念。通过配置进行 binding(绑定) ， Spring Cloud Stream 的 binder 对象负责与消息中间件交互。所以，我们只需要搞清楚如何与 Sp
转载
2024-09-07 17:46:15
148阅读
线上问题及优化1、消息丢失情况：消息发送端： （1）acks=0： 表示producer不需要等待任何broker确认收到消息的回复，就可以继续发送下一条消息。性能最高，但是最容易丢消息。大数据统计报表场景，对性能要求很高，对数据丢失不敏感的情况可以用这种。 （2）acks=1： 至少要等待leader已经成功将数据写入本地log，但是不需要等待所有follower是否成功写入。就可以继续发送下一
死信和死信队列什么是死信：死信（Dead-Letter）是指无法被正确处理的消息，这些消息会被发送到死信队列（Dead-Letter Queue），以便进一步处理。 什么时候会产生死信：消息被拒绝（basic.reject/ basic.nack），并且 requeue=false。消息过期。发送消息时设置的消息保存时间，如果消息的保存时间已到，但是没有被消费。指定某个队列中所有的
转载
2024-10-02 11:06:52
135阅读
文章目录参考前言一 简介二 架构1 zookeeper在kafka集群中的作用1.1 Broker注册1.2 Topic注册1.3 生产者负载均衡1.4 消费者负载均衡1.5 分区与消费者的关系1.6 消息消费进度Offset 记录1.7 消费者注册2 kafka如何保证数据的可靠性和一致性3 kafka的数据丢失问题4 kafka的ISR机制5 kafka的数据存储结构5 kafka的Prod
一. 工作流程 Kafka中消息是以topic进行分类的，Producer生产消息，Consumer消费消息，都是面向topic的。 Topic是逻辑上的改变，Partition是物理上的概念，每个Partition对应着一个log文件，该log文件中存储的就是producer生产的数据，topic=N*partition；partitinotallow=logProducer生产的数据会被不断
