Kafka是一种高吞吐量的分布式发布订阅的消息队列系统，原本开发自LinkedIn，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。1.1 基本术语
Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker
转载
2024-09-03 20:04:37
29阅读
Topic&Partition集群：在每个Kafka的节点配置中配置 zookeeper.connect=IP:2181,IP:2181,IP:2181/kafkaTopic：相当于数据库中的表，每个Topic 可以有多个Partition 以及副本ReplicationFactorPartition：相当于每个大表的分表，一个Partition只能由同一Group 的单个Con
转载
2024-03-25 22:41:39
89阅读
Topic管理
原创
2018-03-26 10:22:28
2967阅读
点赞
kafka简介：Kafka 属于分布式的消息引擎系统，它的主要功能是提供一套完备的消息发布与订阅解决方案。kafka相关术语：topic：发布订阅的对象就是topic,可以为每个业务、每个应用甚至是每类数据都创建专属的主题Partitioning：分区（Kafka 中的分区机制指的是将每个主题划分成多个分区（Partition），每个分区是一组有序的消息日志。生产者生产的每条消息只会被发送到一个分
转载
2024-01-30 19:06:09
35阅读
1.全局配置与topic级别的关系是什么？ 2.你认为topic级别配置哪些比较有用？ 1.topic级别配置用法
配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。
创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max me
转载
2023-11-28 20:31:00
148阅读
在现代软件架构中，Apache Kafka 已成为一个关键的消息流处理平台，而处理 Kafka 的主题（topic）则是需要开发者特别关注的内容。在这篇博文中，我将详细描述如何解决与 Java Kafka topic 相关的问题，涵盖协议背景、报文结构、交互过程、异常检测和扩展阅读等内容。
## 协议背景
首先，我找到了Kafka协议的发展历程，并通过一幅关系图来表现不同版本之间的关系。Kaf
apache kafka中topic级别配置1.topic级别配置用法配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate:1) 创建topi
转载
2023-12-09 18:17:22
221阅读
Topic 的配置与组成 之前我们仅主要介绍了Kafka Producer与Kafka Consumer 的相关配置，而未详细介绍过有关topic的配置。Topic的配置在Kafka 使用中也至关重要，因为它的参数足以影响集群性能以及topic 的行为。在一个topic被创建后，会有它默认的参数，不过有些topic的参数可能仍需要根据实际情况进行一些调整，例如：Replication F
转载
2023-09-13 16:37:35
330阅读
ConcurrentModificationException：KafkaConsumer is not safe for multi-threaded access 和KafkaProducer不同的是，KafkaConsumer不是线程安全的，所以我们不能直接在没有同步保护的机制下直接启用另一个线程调用consumer的任何方法(除了wakeup)。因此，实现这个需求有两种途径：使用重量级的
转载
2023-12-13 23:03:06
250阅读
一、Kafka中Topic的操作kafka集群安装好了以后我们就想向kafka中添加一些数据 想要添加数据首先需要创建topic 那接下来看一下针对topic的一些操作新增Topic：指定2个分区，2个副本，注意：副本数不能大于集群中Broker的数量因为每个partition的副本必须保存在不同的broker，否则没有意义，如果partition的副本都保存在同一个broker，那么这个brok
转载
2023-08-18 09:52:52
1967阅读
Kafka本文全部内容为个人理解、做记录用，如果有误请不吝指正 一个分布式的，基于pub-sub的消息队列。Kafka是消费者主动拉取消息的。 在大数据领域作为消息传递中间件应用广泛，业界如果使用spark计算框架，有9成以上消息队列都是使用kafka。架构Topic：相同类型的消息按照主题来存放，不然那不就乱了么。例如你的购物车数据应该放购物车Topic，单个订单数据应该放在订单TopicPar
转载
2024-04-03 20:07:35
64阅读
kafka-其他参数详解主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache kafka实战》书中的一些讲解和官网相互参看topic 级别参数topic级别的参数是指覆盖 broker 端全局参数；每个不同的 topic 都可以设置自己的参数值。举例来说，上面提到的日志
转载
2024-03-19 10:23:24
62阅读
文章目录一、什么是Kafka？二、Kafka介绍1.特征2.Kafka名词解释3.Kafka常用命令1.Kafka服务2.Topic3.Produce4.Consumer5.Consumer Group6.Kafka 自带压测脚本4.Kafka API1.Topic2.Produce 一、什么是Kafka？kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于
转载
2024-02-18 20:25:02
71阅读
Kafka架构Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。而topic是逻辑上的概念，并没有真实存在，真实存在的式topic下的partition，是一个物理概念，每一个partition对应于一个log文件，用于存储producer生产的数据，producer生产的数据会不断追加到该log文件的末端，每条数据均有
转载
2024-03-28 12:50:50
46阅读
我们在开发的时候经常会用到kafka作为消息订阅模式，里面会涉及到很多参数的配置，通过参数配置取优化业务处理的过程。其中，我们最常用的参数如下:kafka:
consumer:
enable-auto-commit: true
group-id: groupid
auto-commit-interval: 1000
auto-offset-reset: late
转载
2024-03-21 11:25:50
152阅读
原因有研发同事反馈，kafka集群无法消费了，经查看日志，发现数据磁盘占用100%，修改kafka参数（后续详细说明），删除kafka日志，仍无法启动，经与研发同事商量可以删除topic。过程1.与业务同事确定kafka数据保存时间，确定每个分片保存大小，涉及参数：参数名参数含义默认值此处配置log.retention.hours日志保存的时间，可以选择hours,minutes和ms168(7d
转载
2023-11-27 05:52:18
145阅读
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。1. 发布/订阅模式一对多，生产者将消息发布到 topic 中，有多个消费者订阅该主题，发布到 topic 的消息会被所有订阅者消费，被消费的数据不会立即从 topic 清除。2. 架构Kafka 存储的消息来自任意多被称为 Producer 生产者的进程。数据从而可以被发
转载
2024-05-16 07:14:35
109阅读
3.2 Topic配置与topic相关的配置，服务器的默认值，也可可选择的覆盖指定的topic。如果没有给出指定topic的配置，则将使用服务器默认值。 可以通过-config选项在topic创建时设置。此示例使用自定义最大消息的大小和刷新率，创建一个名为my-topic的topic：> bin/kafka-topics.sh --zookeeper localhost:2181 --cre
转载
2023-10-28 15:36:52
104阅读
pom<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->
<dependency>
<groupId>org.apache.kafka</groupId>
转载
2024-07-18 12:48:40
39阅读
kafka删除topic数据一、概述生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。要求：默认保持24小时，某些topic 需要保留2小时或者6小时二、清除方式主要有3个：1. 基于时间2. 基于日志大小3. 基于日志起始偏移量接下来，主要介绍基于时间的清除！kafka版本为: 2.11-1.1.0zk版本为: 3.4.13三、kafka配置
转载
2023-10-24 07:40:05
718阅读
