目录1.kafka中涉及的名词2.kafka功能3.kafka中的消息模型4.大概流程1.kafka中涉及的名词消息记录(record): 由一个key，一个value和一个时间戳构成，消息最终存储在主题下的分区中, 记录在生产者中称为生产者记录(ProducerRecord), 在消费者中称为消费者记录(ConsumerRecord)，Kafka集群保持所有的消息，直到它们过期， 无论消息是否被
转载
2024-03-19 20:35:55
209阅读
kafka会丢消息主要集中在两个环节消息落盘时机消息落盘有异步刷新和同步刷新两种，明显异步刷新的可靠性要高很多。但在某些场景下追求性能而忽略可靠性，可以启用。消息存储维护持久化存储，这句话不是说来玩的。Oracle／MySQL做了这么久的存储，其中的灾难恢复工具等都非常完备并形成体系（出问题你能找到人并能解决问题）kafka的存储谁特么知道～工具又特么的少！另外就是落盘的存储介质，如果不做raid
转载
2024-03-15 15:46:20
41阅读
1、消息有序,几乎不允许对消息进行“随机读写” 2、即使消息被消费,消息仍然不会被立即删除.日志文件将会根据broker中的配置要求,保留一定的时间之后删除 3、对于consumer而言,它需要存消费消息的offset,对于offset的保存和使用,由consumer来控制 4、如果所有的consumer都具有相同的group,这种情况和queue模式很像;消息将会在consumers之间负
转载
2024-03-30 21:35:33
64阅读
Kafka 到底在什么情况下才能保证消息不丢失呢？一句话概括，Kafka 只对“已提交”的消息（committed message）做有限度的持久化保证。这句话里面有两个核心要素。第一个核心要素是“已提交的消息”。当 Kafka 的若干个 Broker 成功地接收到一条消息并写入到日志文件后，它们会告诉生产者程序这条消息已成功提交。此时，这条消息在 Kafka 看来就正式变为“已提交”消息了。第二
转载
2024-03-22 09:58:21
47阅读
文章目录功能需求1. 开发会话列表显示1. dao层添加查询数据库接口方法定义sql定义2.service层封装业务3.controller层处理请求4.处理模板页面1）链接选择-总的未读消息展示`active`朋友私信系统通知2）通知列表显示评论列表点赞列表关注列表测试结果：2. 开发通知列表详情页面1. dao层处理数据接口方法定义sql定义2. service层封装业务3. control
kafka消费者消费者的消费方式为主动从broker拉取消息，由于消费者的消费速度不同，由broker决定消息发送速度难以适应所有消费者的能力拉取数据的问题在于，消费者可能会获得空数据消费者组工作流程Consumer Group（CG）：消费者组由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消
转载
2024-06-19 17:05:53
167阅读
Kafka能做什么？ 作为消息中间件，削峰Kafka的工作流程 topic 消息的分类 partition 分区 &
转载
2024-05-07 23:52:20
42阅读
应用场景Redis Stream 是 Redis 5.0 版本新增加的数据结构。Redis Stream 主要用于消息队列（MQ，Message Queue），Redis 本身是有一个 Redis 发布订阅 (pub/sub) 来实现消息队列的功能，但它有个缺点就是消息无法持久化，如果出现网络断开、Redis 宕机等，消息就会被丢弃。简单来说发布订阅 (pub/sub) 可以分发消息，但无法记录历
转载
2024-03-05 06:47:01
94阅读
1.为什么性能比较高：（1）磁盘的顺序读写，磁盘成本低，随机读写性能较低，但是顺序读写 Kafka是顺序写，每一个partition都是一个单独的文件，新来的消息直接往文件末尾递增，已消费的数据不会立刻删除，基于时间或者分区文件大小批量删除（2）利用了操作系统的页缓存 消息不再被组织成对象，而是成为字节流进行紧密存储 （3）零拷贝零拷贝不是指没有拷贝，而是指内核态和用
转载
2024-03-20 10:12:08
20阅读
Kafka 数据重复消费，数据丢失，数据乱序
Kafka经典三大问：数据有序丢失重复在kafka中有三个经典的问题：如何保证数据有序性如何解决数据丢失问题如何处理数据重复消费这些不光是面试常客，更是日常使用过程中会遇到的几个问题，下面分别记录一下产生的原因以及如何解决。1. 消息有序kafka 的数据，在同一个partition下是默认有序的，但在多个p
转载
2023-11-16 20:12:30
46阅读
RocketMQ 是出自 A 公司的开源产品，用 Java 语言实现，在设计时参考了 Kafka，并做出了自己的一些改进，消息可靠性上比 Kafka 更好，目前，RocketMQ 的文档仍然不够丰富 1 2，社区仍然无法与 Kafka 比肩，但 A 公司已经推出了基于 RocketMQ 的云产品 3，相信未来 RocketMQ 也会有不错的发展。本文采用 Rocket
转载
2024-05-04 10:16:43
38阅读
名词解释相信做过数据处理的小伙伴们对于kafka肯定是熟悉的。基础的kafka知识这里就不过多陈述了。今天主要来讲一下kafka的几个特性，下面先简单解释下这几个特性的含义：安全性：数据从producer中写入到kafka以及consumer从topic中消费数据，数据都不会丢失。幂等性：数据在kafka的流程中既不会被重新生产，也不会被重复消费。这也是实现exactly-once语义的基础。有序
转载
2024-03-18 08:19:34
97阅读
过期的数据才会被自动清除以释放磁盘空间。比如我们设置消息过期时间为2天，那么这2天内的所有消息都会被保存到集群中，数据只有超过了两天才会被清除。Kafka只维护在Partition中的offset值，因为这个offsite标识着这个partition的message消费到哪条了。Consumer每消费一个消息，offset就会加1。其实消息的状态完全是由Consumer控制的，Consumer可以
转载
2024-02-15 09:24:44
563阅读
1、Kafka是由Linkedin公司开发的，使用Scala语言编写的，分布式，多副本，多分区的，发布订阅模式的消息系统，他通常用于日志系统的搭建，2、Kafka和Zookeeper：Kafka通过Zookeeper管理集群配置，选举Controller，同时在老版本的Consumer-API中，当Consumer发生变化时，通过Zookeeper实现Consumer-Group的Reblance
转载
2024-03-22 10:57:13
119阅读
在说到消息中间件的时候，我们通常都会谈到一个特性：消息的顺序消费问题。这个问题看起来很简单：Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。但实际情况却是：无论RocketMQ，还是Kafka，缺省都不保证消息的严格有序消费！这个特性看起来很简单，但为什么缺省他们都不保证呢？ “严格的顺序消费”有多么困难下面就从3个方面来分析一下，对于一个消
转载
2024-07-30 14:32:17
98阅读
大家好，我是 华仔, 又跟大家见面了。上一篇作为专题系列的第二篇，从演进的角度带你深度剖析了关于 Kafka 请求处理全流程以及超高并发的网络架构设计的实现细节，今天开启第三篇，我们来聊聊 Kafka 生产环境大家都比较关心的问题。那么 Kafka 到底会不会丢数据呢？如果丢数据，究竟该怎么解决呢？只有掌握了这些， 我们才能处理好 Kafka 生产级的一些故障，从而更稳定地服务业务。认真读完这篇文
转载
2024-08-07 10:51:10
42阅读
# 使用 Java 连接 Kafka 查询 Topic 已消费消息
在现代分布式系统中，Apache Kafka 以其高吞吐量、可扩展性以及可靠性，成为流数据处理的首选消息中间件。Kafka 以 Topic 为单位进行消息的管理，而消费者则可以从这些 Topic 中读取消息。本文将介绍如何使用 Java 连接 Kafka 查询 Topic 中已消费过的消息，并提供一个详细的代码示例。
## K
原创
2024-10-12 06:25:06
180阅读
面试官：今天我想问下，你觉得Kafka会丢数据吗？候选者：嗯，使用Kafka时，有可能会有以下场景会丢消息候选者：比如说，我们用Producer发消息至Broker的时候，就有可能会丢消息候选者：如果你不想丢消息，那在发送消息的时候，需要选择带有 callBack的api进行发送候选者：其实就意味着，如果你发送成功了，会回调告诉你已经发送成功了。如果失败了，那收到回调之后自己在业务上做重试就好了。
转载
2024-08-07 10:08:24
51阅读
先处理消费端的丢失数据和重复消费这俩种情况都是 消息偏移offset的问题导致的，只是场景不同。offset位移提交一般有俩种方式，自动位移提交和手动位移提交。用enable.auto.commit这个配置属性去控制丢失消息一般是自动提交的问题，所以切换成手动位移提交就可以。手动位移提交分成同步提交和异步提交俩种。具体看下图。 重复消费的处理 对于消费端消息的重复消费问题，如果
转载
2024-06-01 00:03:45
57阅读
消息消费 Kafka 中的消费是基于拉模式的。消息的消费一般有两种模式：推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。 从代码清单8-1中可以看出，Kafka 中的消息消费是一个不断轮询的过程，消费者所要做的就是重复地调用 poll() 方法，而 poll() 方法返
转载
2024-03-17 19:38:37
65阅读
