为什么要了解这些名词的解释呢？因为在学一个新的知识或者领域的时候，我们需要知道它所定义的概念和名词意思，因为只有这样我们才能理解和掌握这个新的知识点，才能更加系统的掌握这个技术。一.名词解释 1.broker Kafka单个节点称为broker，一个Kafka服务就是一个broker，多个broker可以组成一个Kafka集群. 2.topic (主题) top
转载
2024-07-23 10:49:57
426阅读
目录1.什么是Topic2.什么是Partition3.Consumer Group 消费者组4.Topic 和 Partition 的存储5.producer消息分发策略6.消费者如何消费指定分区消息 topic 是逻辑上的概念，而
partition
是物理上的概
转载
2024-04-23 13:19:32
3398阅读
点赞
一、简介 Apache Kafka 是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【Message Queue】）。流处理平台有以下3个特性：可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。可以储存流式的记录，并且有较好的容错性。可以在流式记录产生时就进行处理。1.1 消息队列的两种模式1.1.1 点对点模式生产者将消息发送到queue中，然后消费者
一.关于Topic和PartitionTopic在kafka中，topic是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到kafka集群的 消息都有一个类别。物理上来说，不同的topic的消息是分开存储的， 每个topic可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息。Partition每个topic可以划分多个分区（每个Topic至少有一个分区），同一topic
转载
2024-02-29 09:40:56
198阅读
为什么要了解这些名词的解释呢？因为在学一个新的知识或者领域的时候，我们需要知道它所定义的概念和名词意思，因为只有这样我们才能理解和掌握这个新的知识点，才能更加系统的掌握这个技术。一.名词解释1.broker Kafka单个节点称为broker，一个Kafka服务就是一个broker，多个broker可以组成一个Kafka集群. 2.topic (主题) topic相当于传统消息系统MQ中的一
转载
2024-04-26 14:19:11
62阅读
记录：458场景：在Spring Boot微服务集成Kafka客户端spring-kafka-2.8.2操作Kafka的Topic的创建和删除。版本：JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。Kafka安装：1.微服务中配置Kafka信息1.1在pom.xml添加依赖pom.xml文件：<depend
转载
2024-07-10 15:03:06
153阅读
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用与大数据实时处理领域。1. 发布/订阅模式一对多，生产者将消息发布到 topic 中，有多个消费者订阅该主题，发布到 topic 的消息会被所有订阅者消费，被消费的数据不会立即从 topic 清除。2. 架构Kafka 存储的消息来自任意多被称为 Producer 生产者的进程。数据从而可以被发
转载
2024-05-16 07:14:35
109阅读
kafka-其他参数详解主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache kafka实战》书中的一些讲解和官网相互参看topic 级别参数topic级别的参数是指覆盖 broker 端全局参数；每个不同的 topic 都可以设置自己的参数值。举例来说，上面提到的日志
转载
2024-03-19 10:23:24
62阅读
Kafka架构Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。而topic是逻辑上的概念，并没有真实存在，真实存在的式topic下的partition，是一个物理概念，每一个partition对应于一个log文件，用于存储producer生产的数据，producer生产的数据会不断追加到该log文件的末端，每条数据均有
转载
2024-03-28 12:50:50
46阅读
文章目录一、什么是Kafka？二、Kafka介绍1.特征2.Kafka名词解释3.Kafka常用命令1.Kafka服务2.Topic3.Produce4.Consumer5.Consumer Group6.Kafka 自带压测脚本4.Kafka API1.Topic2.Produce 一、什么是Kafka？kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于
转载
2024-02-18 20:25:02
71阅读
Kafka本文全部内容为个人理解、做记录用，如果有误请不吝指正 一个分布式的，基于pub-sub的消息队列。Kafka是消费者主动拉取消息的。 在大数据领域作为消息传递中间件应用广泛，业界如果使用spark计算框架，有9成以上消息队列都是使用kafka。架构Topic：相同类型的消息按照主题来存放，不然那不就乱了么。例如你的购物车数据应该放购物车Topic，单个订单数据应该放在订单TopicPar
转载
2024-04-03 20:07:35
64阅读
我们在开发的时候经常会用到kafka作为消息订阅模式，里面会涉及到很多参数的配置，通过参数配置取优化业务处理的过程。其中，我们最常用的参数如下:kafka:
consumer:
enable-auto-commit: true
group-id: groupid
auto-commit-interval: 1000
auto-offset-reset: late
转载
2024-03-21 11:25:50
152阅读
前面我们了解完broker的配置，现在我们来看下topic的配置：1.cleanup.policy 字符串要么是“delete”，要么是“compact”，或者两者都是。此配置指定在旧日志段上使用的保留策略。默认策略(“delete”)将在达到保留时间或大小限制时丢弃旧段。“compact”设置将启用topic上的日志压缩。服务器提供的默认配置是log.cleanup.policy。2.compr
转载
2024-02-28 09:30:34
117阅读
1.kafka中topic的概念
在kafka中，topic只是存储消息的一个逻辑的概念，他并没有实际的文件存在磁盘上，可以认为是某一类型的消息的集合。所有发送到kafka上的消息都一个类型，这个类型就是他的topic。在物理上来说，不同的topic的消息是分开存储的。同时，一个topic可以有多个producer和多个consumer。
2.
转载
2024-03-18 00:02:18
96阅读
zookeeper: 负责集群元数据管理、控制器的选举等操作producer: 将消息发送到 brokerbroker: 将收到的消息存储到磁盘中consumer: 负责从 broker 订阅并消费消息topic: 消息主题（逻辑概念），生产者和消费者都以 topic 为单位进行生产和消费partition: 分区（也称作 topic-partition 主题分区，topic 的物理概念），同一个
转载
2024-03-18 16:55:43
74阅读
前言一个系统随着用户数增加，那么推送到kafka服务器的数据流量会增加。很有可能原有的服务器数量无法支撑更多的流量，接着就需要增加更多的服务来分摊流量。本篇接下来就会介绍，如何操作kafka数据在服务器之间迁移。方法一：通过增加partition数量通过增加partition数量的方式来迁移数据的方式是非常简单的，因为新建的partition肯定会均匀的分配到多节点上。首先准备三个kafka br
转载
2024-03-27 10:32:37
202阅读
本文作者：明成Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统。它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li
转载
2024-08-04 14:29:24
18阅读
Kafka 位移主题位移格式创建位移提交位移删除位移 Kafka 的内部主题 (Internal Topic) : __consumer_offsets (位移主题，Offsets Topic)老 Consumer 会将位移消息提交到 ZK 中保存当 Consumer 重启后，能自动从 ZK 中读取位移数据，继续消费上次位置Broker 不用保存位移数据，减少 Broker 开销但 ZK 不适合
转载
2024-03-31 17:05:24
129阅读
Kafka中topic可以设置多个分区，而分区是最小的并行度单位。通常而言，分区数越多吞吐量也越高。但是依然有很多因素制约了一个Kafka集群所能支持的最大分区数。我现在高兴地宣布Kafka 1.1.0版本在这方面取得了重大的改进。目前生产环境中单Kafka集群支持的分区上限得到了极大的提升。 为了便于理解这个改进是如何实现的，我们重温一下分区leader和controller的
转载
2024-02-13 20:16:59
317阅读
1.大体流程kafka 新建topic，zk和raft是两套代码有点大的区别。单节点和集群有一些细微的区别。 2.代码流程zk集群创建topic大体流程，这里创建一个名为 flinkin-30 的主题，分区设置为2，使用zk部署的集群：(1)客户端创建主题请求处理入口，如果当前节点是Controller则处理zk写入，否则转到到Controller进行处理。最终会执行zk写入。KafkaApis
转载
2023-11-04 17:04:09
183阅读
