一、基本概念1.Broker：
消息中间件所在的服务器
2.Topic：（主题）
kafka发送消息必须指定的主题
3.Partition（分区）
Partition是物理上的概念，体现在磁盘上面，每个Topic包含一个或多个Partition
4.Producer（生产者）
负责发布消息到Kafka broker
5.Consumer（消费者）
消息消费者，向Kafka broker
转载
2024-02-12 20:17:47
987阅读
Producer：生产者，发送消息的一方。生产者负责创建消息，然后将其投递到Kafka中。Consumer：消费者，也就是接收消息的一方。消费者连接到Kafka上并接收消息，进而进行相应的业务逻辑处理。Broker：服务代理节点。主题(topic): Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到Kafka集群中的每一条消息都要指定一个主题），而消费者负责订阅主题
转载
2024-03-16 13:45:38
66阅读
kafka1. kafkaKafka是一款开源的、轻量级的、分布式、可分区和具有复制备份的、基于ZooKeeper协调管理的分布式流平台的功能强大的消息系统。流平台特征：能够允许发布和订阅数据-消息队列提供相应的容错机制流数据能够及时被处理概念：topic（主题）、partition（分区）、replica（副本）、message（消息）、producer（生产者）、consumer（消费者）、c
转载
2024-04-26 08:31:02
159阅读
我们在开发的时候经常会用到kafka作为消息订阅模式，里面会涉及到很多参数的配置，通过参数配置取优化业务处理的过程。其中，我们最常用的参数如下:kafka:
consumer:
enable-auto-commit: true
group-id: groupid
auto-commit-interval: 1000
auto-offset-reset: late
转载
2024-03-21 11:25:50
152阅读
前面我们了解完broker的配置，现在我们来看下topic的配置：1.cleanup.policy 字符串要么是“delete”，要么是“compact”，或者两者都是。此配置指定在旧日志段上使用的保留策略。默认策略(“delete”)将在达到保留时间或大小限制时丢弃旧段。“compact”设置将启用topic上的日志压缩。服务器提供的默认配置是log.cleanup.policy。2.compr
转载
2024-02-28 09:30:34
117阅读
学习消息中间件Kafka从配置到基本应用一、服务器安装配置Kafka1、配置介绍与修改2、启动3、配置开机自启4、如果不使用自带的zookeeper二、Kafka的使用场景1、异步处理2、应用解耦3、流量削锋4、日志处理5、消息通讯三、点对点消息传递模式1、介绍四、发布-订阅消息传递模式1、介绍2、依赖3、生产者4、消费者5、测试6、消费者的 auto-offset-reset 含义详解五、保证
转载
2024-03-26 21:22:21
154阅读
一、Kafka中topic级别配置配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate. (A)创建topic时配置参数bin/kafka-
转载
2023-12-15 19:59:14
493阅读
3.2 Topic配置与topic相关的配置，服务器的默认值，也可可选择的覆盖指定的topic。如果没有给出指定topic的配置，则将使用服务器默认值。 可以通过-config选项在topic创建时设置。此示例使用自定义最大消息的大小和刷新率，创建一个名为my-topic的topic：> bin/kafka-topics.sh --zookeeper localhost:2181 --cre
转载
2023-10-28 15:36:52
104阅读
1.Kafka的工作流程以及文件存储机制 Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。 topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件，该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的
转载
2024-03-19 00:36:33
64阅读
Important: https://github.com/xaecbd/KafkaCenter前言经过一年的不断打磨，在团队成员的共同努力下，终于能以真实的面貌呈现在大家的面前，很开心，很激动。开源软件，只是为了和大家交个朋友,喜欢的话，star，star，star,重要的事情说三遍！http://weixin.qq.com/r/QjgUDAvEw1a8rU9v921
转载
2024-08-06 20:50:55
66阅读
文章目录1.Kafka 核心概念2. 生产消费模型讲解2.1 点对点2.2 发布、订阅模型3. 生产者实战讲解3.1 生产者投递数据到broker分区的策略3.2 生产者常见配置3.2 ProduceRecord 介绍4. 消费者实战讲解4.1 Consumer消费者机制和分区策略4.2 消费者常用配置5. Kafka数据文件存储-ISR核心讲解5.1 Kafka数据存储流程和log日志6. S
转载
2024-03-04 16:20:38
473阅读
kafka集群参数配置Broker 端参数参数类型参数名参数解释配置值存储信息参数log.dirs这是非常重要的参数，指定了 Broker 需要使用的若干个文件目录路径。要知道这个参数是没有默认值的，这说明什么？这说明它必须由你亲自指定。在线上生产环境中一定要为log.dirs配置多个路径，用逗号分隔的多个路径，比如/home/kafka1,/home/kafka2,/home/kafka3存储信
转载
2024-02-18 21:49:33
249阅读
修改 max.message.bytes： bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name asset-scan-machine-result --add-confi ...
转载
2021-08-05 15:27:00
2230阅读
2评论
@TOC欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验
前言：Springboot的starter封装了很多东西，包含了MessageConverter、ViewResolver等web的配置，若需要自定义。在之前1.5版本中自定义javaBean继承WebMvcConfigurerAdapter类，但是在2.0版本中此类标记过时，需要实现WebMvcConfigurer接口实现自定义配置。一、1.5.X版本回顾：配置类继承WebMvcConfigur
转载
2024-09-11 09:40:59
163阅读
原始出处不可考。。。一、Kafka中topic级别配置1、Topic级别配置 配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate.(A
转载
2021-05-07 10:23:38
2441阅读
# Java Kafka 多个 Topic 配置的实用指南
在现代的分布式系统中，Apache Kafka 已成为一个关键的消息中间件。对于初学者来说，配置多个 Kafka topics 可能显得比较复杂。本文将带领您了解如何在 Java 中配置多个 Kafka topics，并给出相应的代码示例和详细解释。
## 操作流程
下面是配置多个 Kafka topics 的基本流程概览：
|
kafka实战 1. kafka介绍 1.1. 主要功能根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe t
转载
2024-10-15 20:02:28
46阅读
Kafka提供很多的参数：broker参数、topic参数、producer参数、consumer参数等，方便我们对kafka的性能做调整，本博文就来归纳总结下常见的参数参数的说明是基于Kafka 2.12-2.3.0版本详细可以参考官网broker参数broker端的参数在Kafka目录下的config/server.properties文件中参数名称备注说明broker.idkafka的唯一标
转载
2024-03-19 01:45:00
39阅读
Kafka 是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下 Kafka 的核心概念，以便在我们的头脑中有一个清晰的认识。基础Kafka 是一套流处理系统，可以让后端服务轻松的相互沟通，是微服务架构中常用的组件。生产者消费者生产者服务 Producer 向 Kafka 发送消息，消费者服务 Consumer 监听 Kafka 接收消息。一个服务可以同时为生产者和消费者。To
转载
2024-03-03 13:27:06
136阅读
