为什么要有消息队列解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。扩展性： 因为消息队列解耦了你的处
转载
2024-05-31 08:45:05
90阅读
kafka原理1. 什么是kafka？2. kafka基础架构3. 文件存储结构4. 生产者4.1 分区策略4.2 ISR机制4.3 ACk机制与ExactlyOnce4.4 数据一致性问题5. 消费者5.1 消费者的消费方式5.1 消费者、消费者组、分区的关系 1. 什么是kafka？Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理
转载
2023-12-25 12:46:25
100阅读
Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。 JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(nlog(n))，并不能满足Kafka的高性能要求，而基于时间轮可以将插入和删除操作的时间
转载
2024-01-10 12:30:14
139阅读
延时队列 1、什么是延时队列 队列是存储消息的载体，延时队列存储的对象是延时消息。 所谓的延时消息，是指消息被发送以后，并不想让消费者立刻获取，而是等待特定的时间后，消费者才能获取这个消息进行消费。 和定时任务的区别： 1）定时任务有明确的触发时间，延时任务没有 2）定时任务有执行周期，而延时任务在某时间触发一段时间内执行，没有执行周期 3）定时任务一般执行的批
转载
2024-06-19 17:51:49
328阅读
业务背景在稍微复杂点业务系统中，不可避免会碰到做定时任务的需求，比如淘宝的交易超时自动关闭订单、超时自动确认收货等等。对于一些定时作业比较多的系统，通常都会搭建专门的调度平台来管理，通过创建定时器来周期性执行任务。如刚才所说的场景，我们可以给订单创建一个专门的任务来处理交易状态，每秒轮询一次订单表，找出那些符合超时条件的订单然后标记状态。这是最简单粗暴的做法，但明显也很low，自己都下
现功能时的选择很重要，如果你的系统所处理的数据量不是很大，我觉得队列和缓存很适合你，这样你可以对消息的传递更加了解，但你使用MQ，kafka的中间件时，你会发现使用起来更加轻松，但对于数据量大的系统来说，中间件是最好的选择，在这个大数据的时代，高并发，多线程，分布式会越来越重要数据量小推荐使用：DelayQueue+redis数据量大推荐使用：RabbitMQ以下介绍常见的几种1、JDK的延迟队列
转载
2024-03-18 16:47:35
199阅读
延时消息项目重一般都能用的到，mq用于解耦，有时可能会用到延时消息（比如定时支付），但是有部分mq暂不支持延时消息，比如kafka，rocketmq支持固定的18个Level延时。当然这些可用其他方案代替，至于用到mq延时的优点后面再说。kafka的优缺点，性能等等百度很多，暂不啰嗦。介绍下kafka延时消费方案。1.kafka消费消息，按照特定格式判断是否需要延时，若需要，则可以用偏移量和top
转载
2024-02-02 14:12:39
84阅读
时间轮 Kafka 中存在大量的延时操作，比如延时生产、延时拉取和延时删除等。Kafka 并没有使用 JDK 自带的 Timer 或 DelayQueue 来实现延时的功能，而是基于时间轮的概念自定义实现了一个用于延时功能的定时器（SystemTimer）。JDK 中 Timer 和 DelayQueue 的插入和删除操作的平均时间复杂度为 O(
转载
2024-03-21 10:08:06
67阅读
延时队列的实现1. 应用场景2. 什么是延时队列2.1 原理3. 延时队列的实现一 - DelayQueue 延时队列3.1 demo4. 延时队列的实现二 - Redis + 定时 1. 应用场景1、订单成功后，在30分钟内没有支付，自动取消订单 2、外卖平台发送订餐通知，下单成功后60s给用户推送短信。 3、如果订单一直处于某一个未完结状态时，及时处理关单，并退还库存2. 什么是延时队列当接
转载
2024-04-06 21:52:03
111阅读
京东Java研发岗一面（基础面，约1小时）自我介绍，主要讲讲做了什么和擅长什么springmvc和spring-boot区别@Autowired的实现原理Bean的默认作用范围是什么？其他的作用范围？索引是什么概念有什么作用？MySQL里主要有哪些索引结构？哈希索引和B+树索引比较？Java线程池的原理？线程池有哪些？线程池工厂有哪些线程池类型，及其线程池参数是什么？hashmap原理，处理哈希冲
转载
2024-08-26 10:21:04
71阅读
零、时间轮定义简单说说时间轮吧，它是一个高效的延时队列，或者说定时器。实际上现在网上对于时间轮算法的解释很多，定义也很全，这里引用一下朱小厮博客里出现的定义：参考下图，Kafka中的时间轮（TimingWheel）是一个存储定时任务的环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表（TimerTaskList）。TimerTaskList是一个环形的双向链表，链表中的每一项表示
转载
2024-04-22 21:09:35
257阅读
9 Kafka高级特性解析-延时队列和重试队列9.1 延时队列两个follower副本都已经拉取到了leader副本的最新位置，此时又向leader副本发送拉取请求，而 leader副本并没有新的消息写入，那么此时leader副本该如何处理呢?可以直接返回空的拉取结果给 follower副本，不过在leader副本一直没有新消息写入的情况下，follower副本会一直发送拉取请求， 并且总收到空的
转载
2024-03-18 16:26:01
353阅读
Kafka定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。传统消息队列的应用场景消息队列的两种模式点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，
转载
2024-04-03 09:38:33
55阅读
kafka使用的是层级时间时间轮处理实现延迟功能。例如我们的手表，手表由时针、分针和秒针组成，它们各自有独立的刻度，这就是典型的分层时间轮。和手表不一样的是，Kafka 自己有专门的术语。在 Kafka 中，手表中的“一格”叫“一个桶（Bucket）”，而“推进”对应于 Kafka 中的“滴答”，也就是 tick。Kafka 的分层时间轮算法在实现上主要涉及 TimingWheel、TimerTa
转载
2024-02-27 10:07:09
278阅读
# Java Kafka 延时队列的实现
## 引言
在现代信息系统中，消息系统是分布式架构中不可或缺的一部分。Kafka 作为一种高吞吐量、分布式的消息队列，常被用作实时数据传输。然而，Kafka 本身并不支持延时消息队列。这就需要我们通过一些设计模式或技术手段，实现 Kafka 的延时消息队列。在这篇文章中，我们将探讨如何在 Java 中实现 Kafka 的延时队列，并示例代码。
##
1.1 Kafka知识体系大纲由于我手绘这些知识体系大纲是用的xmind软件，无法上传，所以都以截图的形式展示，细节处不清楚（毕竟图片形式有限）1.2 RabbitMQ知识体系大纲1.3 RocketMQ知识体系大纲看完知识大纲，该刷面试了2.1 刷刷Kafka面试Kafka的用途有哪些？使用场景如何？Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么Kafka中的HW、LEO、LSO、L
大部分人的讲解都是按照书上原话或者别人的博客，总是能看清表面却看不到内部实现，本文会描述表面，更会针对底层实现进行讲解。时间轮kafka中存在大量的延时操作，比如延时生产，延时消费，延时删除等。kafka并没有使用JDK自带的Timer和DelayQuene来实现延时的功能，而是基于时间轮的概念自定义实现了一个用于延时操作的定时器（SystemTimer）。复杂度jdk的Timer和DelayQu
转载
2023-12-14 13:53:04
132阅读
零、时间轮定义简单说说时间轮吧，它是一个高效的延时队列，或者说定时器。实际上现在网上对于时间轮算法的解释很多，定义也很全参考下图，Kafka中的时间轮（TimingWheel）是一个存储定时任务的环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表（TimerTaskList）。TimerTaskList是一个环形的双向链表，链表中的每一项表示的都是定时任务项（TimerTaskE
转载
2024-02-02 10:02:18
104阅读
延时队列 队列是存储消息的载体，延时队列存储的对象是延时消息。所谓的“延时消息”是指消息被发送以后，并不想让消费者立刻获取，而是等待特定的时间后，消费者才能获取这个消息进行消费，延时队列一般也被称为“延迟队列”。注意延时与 TTL 的区别，延时的消息达到目标延时时间后才能被消费，而 TTL 的消息达到目标超时时间后会被丢弃。延时队列的使用场景有很多，比如：在
转载
2024-03-02 10:16:07
238阅读
1、认识kafka（1）kafka是一个分布式的基于发布/订阅模式的消息队列。 消息队列的两种模式：点对点模式（一对一）：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。发布/订阅模式（一对多）：消息生产
转载
2024-04-09 21:19:48
51阅读
