目录1、Java编程操作Kafka1.1、同步生产消息到Kafka中1.1.1、需求1.1.2、准备工作1.1.3、生产者程序开发1.2、从Kafka的topic中消费消息1.2.1、需求1.2.2、准备工作1.2.3、消费者程序开发1.3、异步使用带有回调函数方法生产消息2、Kafka架构2.1、Kafka重要概念2.1.1、broker2.1.2、zookeeper2.1.3、producer
转载
2023-07-18 10:52:43
60阅读
What is Kafka? 基于“发布/订阅”模型的消息队列 Why Kafka?多生产者
方便数据聚合多消费者
多个消费者同时消费同一个消息流，消息可以被多次重复消费。多个消费者可以组成一个Group，保证特定消息只消费一次。消息持久化
消费者不需要战战兢兢地消费消息，就算忙不过来，Kafka也能缓一下可扩展高性能 Basic Concepts
sparkStreaming同时访问kafka和hivepackage com.gcy.scala.spark.OnKafKa
import org.apache.kafka.clients.consumer.ConsumerRecord
import org.apache.kafka.common.serialization.StringDeserializer
import org.apac
# 如何实现Java读取Kafka Topic的数据
## 整体流程
首先，我们来看一下实现Java读取Kafka Topic数据的整体流程，可以通过以下步骤来完成：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建 Kafka 消费者 |
| 2 | 订阅 Kafka Topic |
| 3 | 接收并处理消息 |
## 具体步骤
### 步骤一：创建 Kafka
原创
2024-05-01 04:33:57
35阅读
## 如何实现Java多线程读取Kafka多个Topic
作为一名经验丰富的开发者，你经常需要处理多线程读取Kafka多个Topic的情况。现在有一位刚入行的小白不知道如何实现这个功能，你需要教会他。下面是整个实现流程和每一步需要做的事情。
### 实现流程
```mermaid
journey
title Java多线程读取Kafka多个Topic流程
section 开始
原创
2024-06-07 03:47:12
82阅读
kafka简介：Kafka 属于分布式的消息引擎系统，它的主要功能是提供一套完备的消息发布与订阅解决方案。kafka相关术语：topic：发布订阅的对象就是topic,可以为每个业务、每个应用甚至是每类数据都创建专属的主题Partitioning：分区（Kafka 中的分区机制指的是将每个主题划分成多个分区（Partition），每个分区是一组有序的消息日志。生产者生产的每条消息只会被发送到一个分
转载
2024-01-30 19:06:09
35阅读
### 从Kafka的共享topic读取MySQL数据
在实时数据处理领域，Apache Flink是一个非常流行的流处理引擎。结合Kafka作为消息队列和MySQL作为关系型数据库，我们可以构建一个完整的数据处理流程。本文将介绍如何使用Flink CDC（Change Data Capture）从Kafka的共享topic读取MySQL数据。
#### Flink CDC简介
Flink
原创
2024-02-21 06:32:41
124阅读
Kafka的介绍Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 Kafka 有如下特性：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。支持Kafka Server间的消息分区，及分布式消费，同时保证
转载
2023-08-23 16:48:46
270阅读
上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据。为实现端到端一致性应在顺序保证的基础上，实现一致性语义exactly once的保证。纵观各底层组件：Debezium、Kafka、Flink构成了端到端一致性中至关重要的每一环，应充分考虑、分析各组件的一致性语义特性的支持
转载
2024-03-20 11:37:29
153阅读
在现代软件架构中，Apache Kafka 已成为一个关键的消息流处理平台，而处理 Kafka 的主题（topic）则是需要开发者特别关注的内容。在这篇博文中，我将详细描述如何解决与 Java Kafka topic 相关的问题，涵盖协议背景、报文结构、交互过程、异常检测和扩展阅读等内容。
## 协议背景
首先，我找到了Kafka协议的发展历程，并通过一幅关系图来表现不同版本之间的关系。Kaf
apache kafka中topic级别配置1.topic级别配置用法配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate:1) 创建topi
转载
2023-12-09 18:17:22
221阅读
ConcurrentModificationException：KafkaConsumer is not safe for multi-threaded access 和KafkaProducer不同的是，KafkaConsumer不是线程安全的，所以我们不能直接在没有同步保护的机制下直接启用另一个线程调用consumer的任何方法(除了wakeup)。因此，实现这个需求有两种途径：使用重量级的
转载
2023-12-13 23:03:06
250阅读
Topic 的配置与组成 之前我们仅主要介绍了Kafka Producer与Kafka Consumer 的相关配置，而未详细介绍过有关topic的配置。Topic的配置在Kafka 使用中也至关重要，因为它的参数足以影响集群性能以及topic 的行为。在一个topic被创建后，会有它默认的参数，不过有些topic的参数可能仍需要根据实际情况进行一些调整，例如：Replication F
转载
2023-09-13 16:37:35
330阅读
一、Kafka中Topic的操作kafka集群安装好了以后我们就想向kafka中添加一些数据 想要添加数据首先需要创建topic 那接下来看一下针对topic的一些操作新增Topic：指定2个分区，2个副本，注意：副本数不能大于集群中Broker的数量因为每个partition的副本必须保存在不同的broker，否则没有意义，如果partition的副本都保存在同一个broker，那么这个brok
转载
2023-08-18 09:52:52
1967阅读
1.全局配置与topic级别的关系是什么？ 2.你认为topic级别配置哪些比较有用？ 1.topic级别配置用法
配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。
创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max me
转载
2023-11-28 20:31:00
148阅读
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。1. 发布/订阅模式一对多，生产者将消息发布到 topic 中，有多个消费者订阅该主题，发布到 topic 的消息会被所有订阅者消费，被消费的数据不会立即从 topic 清除。2. 架构Kafka 存储的消息来自任意多被称为 Producer 生产者的进程。数据从而可以被发
转载
2024-05-16 07:14:35
109阅读
前面我们了解完broker的配置，现在我们来看下topic的配置：1.cleanup.policy 字符串要么是“delete”，要么是“compact”，或者两者都是。此配置指定在旧日志段上使用的保留策略。默认策略(“delete”)将在达到保留时间或大小限制时丢弃旧段。“compact”设置将启用topic上的日志压缩。服务器提供的默认配置是log.cleanup.policy。2.compr
转载
2024-02-28 09:30:34
117阅读
我们在开发的时候经常会用到kafka作为消息订阅模式，里面会涉及到很多参数的配置，通过参数配置取优化业务处理的过程。其中，我们最常用的参数如下:kafka:
consumer:
enable-auto-commit: true
group-id: groupid
auto-commit-interval: 1000
auto-offset-reset: late
转载
2024-03-21 11:25:50
152阅读
kafka-其他参数详解主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache kafka实战》书中的一些讲解和官网相互参看topic 级别参数topic级别的参数是指覆盖 broker 端全局参数；每个不同的 topic 都可以设置自己的参数值。举例来说，上面提到的日志
转载
2024-03-19 10:23:24
62阅读
Kafka架构Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。而topic是逻辑上的概念，并没有真实存在，真实存在的式topic下的partition，是一个物理概念，每一个partition对应于一个log文件，用于存储producer生产的数据，producer生产的数据会不断追加到该log文件的末端，每条数据均有
转载
2024-03-28 12:50:50
46阅读
