首先，比如 RabbitMQ、RocketMQ、Kafka，都有可能会出现消息重复消费的问题，正常。因为这问题通常不是 MQ 自己保证的，是由我们开发来保证的。挑一个 Kafka 来举个例子，说说怎么重复消费吧。Kafka 实际上有个 offset 的概念，就是每个消息写进去，都有一个 offset，代表消息的序号，然后 consumer 消费了数据之后，每隔一段时间（定时定期），会把自己消费过的
转载
2024-03-24 15:36:06
21阅读
文章目录引言一）发送消息的流程解释：二）发送消息的代码阅读：1.1 examples.Producer 入口阅读：1.2 Producer.doSend()1.2.1 第一步的获取元数据waitOnMetadata()方法解释1.2.2 第三步分区器的解释1.2.3 第四步消息大小的计算1.2.4 第七步消息放入缓冲区（重要的内容）1.2.4.1 缓冲区双端队列介绍1.2.4.2 缓冲区Byte
转载
2024-07-04 15:31:45
45阅读
必选属性有3个：
bootstrap.servers：该属性指定broker的地址清单，地址的格式为host：port。清单里不需要包含所有的broker地址，生产者会从给定的broker里查询其他broker的信息。不过最少提供2个broker的信息，一旦其中一个宕机，生产者仍能连接到集群上。
key.serializer:生产者接口允许使用参数化类型，可以把Java对象作为键和值传broke
转载
2024-03-27 16:51:46
27阅读
消息丢失/重复消费的场景：提交消息失败使用producer.send(msg)提交消息。因为没有回调结果，这时可能消息broker因为网络波动并没有收到，此时消息就丢失了。所以建议使用有回调函数的producer.send(msg,callback)。自动提交offset。可能你使用了多线程处理消息并且是自动提交。如果某个线程处理失败，并且没有显示地通知那么自动提交后就会丢失消息。Broker端丢
转载
2024-03-23 14:08:51
46阅读
Producer：Producer 即生产者，消息的产生者，是消息的入口。Kafka Cluster： Broker：Broker 是 Kafka 实例，每个服务器上有一个或多个 Kafka 的实例，我们姑且认为每个 Broker 对应一台服务器。 每个 Kafka 集群内的 Broker 都有一个不重复的编号，如图中的 Broker-0、Broker-1 等…… Topic：消息的主题，可以理解
转载
2024-03-07 17:25:36
43阅读
Kafka架构组成：由producer（消息生产者）、consumer（消息消费者）、borker(kafka集群的server，负责处理消息读、写请求，存储消息，在kafka cluster这一层这里，其实里面是有很多个broker)、topic（消息队列/分类相当于队列，里面有生产者和消费者模型）、zookeeper(元数据信息存在zookeeper中，包括：存储消费偏移量，topic话题信息
转载
2024-03-01 11:27:00
39阅读
1.第一个kafka程序1.1.创建我们的主题kafka-topics.bat --zookeeper localhost:2181/kafka --create --topic hello-kafka --replication-factor 1 --partitions 4(主题不创建，可能会造成程序报错，也可在程序中配置如：spring.kafka.listener.missing-topi
转载
2024-04-11 12:40:30
49阅读
发送一些消息Kafka自带一个命令行客户端，它从文件或标准输入中获取输入，并将其作为message（消息）发送到Kafka集群。默认情况下，每行将作为
原创
2022-10-12 15:01:09
592阅读
# Java Kafka 生产消息的基础介绍
随着大数据技术的不断发展，消息队列系统在数据传输和处理中的应用日益广泛。Apache Kafka 是一个分布式流处理平台，广泛应用于高吞吐量和高可用性的场景。本文将重点介绍如何使用 Java 语言生产 Kafka 消息，并提供详细的代码示例和相关的图示说明。
## 什么是 Kafka？
Kafka 是一个开源的流处理平台，最初由 LinkedIn
Apache Kafka® 是 一个分布式流处理平台 ，这到底意味着什么呢?我们知道流处理平台有以下三种特性:可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。 Kafka适合什么样的场景?它可以用于两大类别的应用:构造实时流数据管道，它可以在系统或应用之间可靠地获取数据。 (相当于message qu
消息发送发消息主要有三种模式：发后即忘，同步，异步。发后即忘这种方式只管往Kafka中发送消息，并不关心消息是否正确到达，实例入戏：try {
producer.send(record);
} catch (Exception e) {
e.printStackTrace();
}同步实现同步形式，可以利用返回的Future对象实现：try {
F
转载
2024-03-18 13:59:37
42阅读
目录一、准备工作二、终端命令生产者命令消费者命令三、Java实践搭建项目异步发送-无回调异步发送-有回调同步发送 一、准备工作进入实战之前先熟悉一下topic的相关命令，使用终端命令查询创建一个新topic，用于后期实战；特别注意：以下命令全部依据kafka文件目录中操作； 如果尚未安装kafka，请移步《centos7系统安装kafka》查看操作主题命令参数 命令：./bin/kafka-to
转载
2024-03-24 13:32:17
226阅读
消息的发送过程 1. 创建 ProducerRecord 对象（可以指定键或分区）。2. 键和值对象序列化成字节数组。3. 确定分区。如果指定了分区，以指定的优先。如果没有，分区器会根据键选择一个分区。4. 数据记录添加到记录批次。同一个批次里的所有消息会被发送到相同的主题和分区上。由独立的线程负责把这些记录批次发送到相应的 broker上。服务器会返回一个响应。如
转载
2024-01-17 10:23:18
41阅读
我们都知道Kafka的吞吐量很大，但是Kafka究竟会不会丢失消息呢？又会不会重复消费消息呢？ 有很多公司因为业务要求必须保证消息不丢失、不重复的到达，比如无人机实时监控系统，当无人机闯入机场区域，我们必须立刻报警，不允许消息丢失。而无人机离开禁飞区域后我们需要将及时报警解除。如果消息重复了呢，我们是否需要复杂的逻辑来自己处理消息重复的情况呢，这种情况恐怕相当复杂而难以处理。但是如果我们能保证消息
转载
2024-08-07 08:08:50
50阅读
主要内容：1. kafka 整体结构2. 消息的生产方式3. 消息的读取方式整体结构在 kafka 中创建 topic（主题），producer（生产者）向 topic 写入消息，consumer（消费者）从 topic 读取消息kafka 是集群结构，每个主题会分成多个 partition（部分），每个 partition 会被均匀的复制到不同服务器上，具体复制几份可以在配置中设定每个 part
原创
2021-04-21 15:14:41
834阅读
如图kafka在三个阶段可能出现消息丢失，分别是生产消息、消费消息、页缓存操作后异步刷盘。生产消息生产消息丢失原因有两个：kafka生产端异步发送消息，不管broker是否响应，立即返回，例如producer.send(msg)。由于网络抖动，导致消息没有发送到broker。kafka生产端发送消息超过大小限制，broker端接收到后无法存储。解决方案：不要使用 producer.send(ms
转载
2024-02-28 12:13:57
53阅读
Kafka到底会不会丢数据(data loss)? 网上各种说法都有，在回答这个问题之前， 我们要明确“责任边界”。所谓责任边界就是要确定消息在生产和消费的完整流程中是由谁来负责，确保它不会丢失。这样即使真的出现了消息丢失，也能明确是责任主体，有针对性地进行改进和调整。关于责任的划定，官方其实已经给出了很明确的答案：Once a published message is committed it
转载
2024-04-14 15:30:37
38阅读
上一讲说 --describe 可以省略 --topic ，没有报错，这里看看两者区别不加 --topic 实际列出了所有 topic 的信息，虽然指定了 forthTopic 但实际没有起到作用，和省略 forthTopic 是一样的。因此，要查看特定的 topic 信息，建议加上 --topic 使用 kafka-console-producer 生产消息 kafka-co
转载
2023-10-19 08:58:48
120阅读
概念对kafka概念有所了解的可以直接跳过去看环境搭建。kafka基本结构消息生产者Producer、消费者Consumer、Kafka集群。kafka基本概念1.主题 主题就是对消息的一个分类。生产者将消息发送到特定主题，消费者订阅这个主题或主题的某些分区进行消费。2.消息(Message/Record) 消息是kafka通信基本单位，由一个固定长度的消息头和一个可变长度的消息体构成。3.分区和
转载
2024-04-05 09:07:23
88阅读
一、基本概念 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。 这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行，可以由一
转载
2023-12-23 17:42:46
149阅读
