Topic Topic是Kafka数据写入操作的基本单元，可以指定副本 一个Topic包含一个或多个Partition，建Topic的时候可以手动指定Partition个数，个数与服务器个数相当 每条消息属于且仅属于一个Topic Producer发布数据时，必须指定将该消息发布到哪个Topic Consumer订阅消息时，也必须指定订阅哪个Topic的信息 Kafka中的Message是以top
转载
2024-03-09 20:58:06
710阅读
从Kafka的底层实现来说，主题和分区都是逻辑上的概念，分区可以有一至多个副本，每个副本对应一个日志文件，每个日志文件对应一至多个日志分段（LogSegment），每个日志分段还可以细分为索引文件、日志存储文件和快照文件等。kafka会默认创建主题如果broker端配置参数auto.create.topics.enable设置为true（默认值就是true），那么当生产者向一个尚未创建的主题发送消
转载
2024-03-15 19:57:51
526阅读
之前学完ssm的时候，当时做了一个简单的小网站，非常开心，但是对于那些配置文件刚开始还是有些头疼。后来学习到springboot，就感觉太清爽了！！！去nmd配置文件，我们只需要在application.properties配置一些mybatis、数据源、端口、视图解析器等就可以了。开发一个小网站很快就完成了。不知道大家第一次接触springboot是什么感觉，我第一感觉就是不用配置那么多配置文件
转载
2024-03-18 10:26:02
92阅读
集群环境：CenterOS 1台Kafka：0.10.2.1版本。今天在测试环境下,我们的Kafka集群工作不正常，具体现象为，使用confulentkafka向kafka集群生产消息失败，且并没有任何异常。检查server配置、broker日志、程序异常日志等等都没有发现，网上搜索资料，并没有类似的现象出现，这就很令人绝望。没办法，自己写测试程序，注册confluentkafka的p
转载
2024-03-27 16:36:19
287阅读
一、
消费者消费消息的offset记录机制 每个consumer会定期将自己消费分区的offset提交给kafka内部topic：
__consumer_offsets
，提交过去的时候，
key是consumerGroupId+topic+分区号，value就是当前offset的值
，kafka会定期清理topic里的消息，最后就保留最新的那条
转载
2024-05-20 22:35:34
346阅读
架构图Producer：Producer即生产者，消息的产生者，是消息的入口。kafka cluster：Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等……Topic：消息的主题，可以理解为消息的分类，kafka的数
转载
2024-03-24 16:36:24
202阅读
一、基本概念1.Broker：
消息中间件所在的服务器
2.Topic：（主题）
kafka发送消息必须指定的主题
3.Partition（分区）
Partition是物理上的概念，体现在磁盘上面，每个Topic包含一个或多个Partition
4.Producer（生产者）
负责发布消息到Kafka broker
5.Consumer（消费者）
消息消费者，向Kafka broker
转载
2024-02-12 20:17:47
987阅读
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区前言本项目代码可直接集成到你现有的springboot项目中。功能包括： 1.kafka生产者配置。 2.kafka消费者配置。(指定分区消费） 3.kafka topic配置。工具：1.windows环境下kafka_2.12-2.8.0。 2.offsetexplorer.exe kafkaToo
转载
2023-09-02 22:12:41
1439阅读
kafka一下基本原理
Producer：Producer即生产者，消息的产生者，是消息的入口。 kafka cluster： Broker：Broker是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的b
转载
2023-10-27 14:59:03
234阅读
kafka只让Producer自动创建Topic背景操作后记 背景 最近我们要做从mysql 到大数据平台的数据流转，定下的方案是maxwell同步binlog到kafka中，再由flink消费kafka的数据写往kudu里，最后利用kudu和hive利用impala提供的视图作统一查询，其中kudu保留近七天的数据，七天前数据滚动下沉到hive表。
转载
2024-01-19 22:44:52
88阅读
今日推荐减少 try-catch ，这样做才叫优雅！
让人上瘾的新一代开发神器，彻底告别Controller、Service、Dao等方法
SpringBoot实现人脸识别功能
相信我，使用 Stream 真的可以让代码更优雅！
全网最详细的线程池 ThreadPoolExecutor 解读！
利用多线程批量拆分 List 导入数据库，效率杠杠的！目录前言准备工作总结前言最近一直在做微服
转载
2024-06-21 18:18:20
72阅读
晚上刚刚被媳妇骂，难过之余，还是要坚持继续写一篇kafka源码走读的博客，心情难过，原谅我开头发下牢骚。。。 源码版本依然是0.10.2.1，我们都知道，kafka在0.8版本前没有提供Partition的Replication机制，一旦Broker宕机，其上的所有Partition就都无法提供服务，而Partition又没有备份数据，数据的可
简单来说 这就是今天的全部内容了。 生产者 生产消息到 集群，集群存储消息，消费者消费具体要谈里边的原理 需要先了解几个概念topicTopic可以理解为一个队列，生产者和消费者面向的都是一个 topicPartition分区。这是一个物理概念。一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列； 为了实现扩展性，一个非常大的 topic 可以分布到多个
转载
2024-03-27 15:41:09
92阅读
（1）打开zookeeper：bin/zookeeper-server-start.sh config/zookeeper.properties （2）打开kafka：bin/kafka-server-start.sh config/server.properties （3）创建topic：bin/kafka-create-topic.sh --replica 2 --partition 8 --
转载
2024-03-26 10:37:11
51阅读
kafka1. kafkaKafka是一款开源的、轻量级的、分布式、可分区和具有复制备份的、基于ZooKeeper协调管理的分布式流平台的功能强大的消息系统。流平台特征：能够允许发布和订阅数据-消息队列提供相应的容错机制流数据能够及时被处理概念：topic（主题）、partition（分区）、replica（副本）、message（消息）、producer（生产者）、consumer（消费者）、c
转载
2024-04-26 08:31:02
159阅读
Kafka Topic创建topicbin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 3 --replication-factor 3 --config max.message.bytes=64000 --config flush.messages=1查看topicbin/
转载
2024-08-07 08:57:40
176阅读
kafka是分布式流处理平台，并且具有高容错性和消费及时性的特点。那么它是如何做到的呢？
一 kafka简介
1 主题和日志
topic和log设置是kafka一大特色，一个kafka集群可以创建多个topic，每个topic都相当于一个消息队列，这就意味着可以将不同格式的数据发布到不同的topic中，减少消费这些数据时的逻辑难度，那么每个topic中处理的数
转载
2024-03-27 11:04:53
184阅读
在创建kafka topic的时候可以添加很多配置，如下表格参考：Kafka Topic配置 参数名含义值cleanup.policy日志清除的策略，默认为 delete。如果要使用日志压缩，就需要让策略包含 compact。需要注意的是，如果开启了 compact 策略，则客户端提交的消息的 key 不允许为 null，否则提交报错compactcompression.type指定给定
转载
2024-06-25 20:53:09
192阅读
一. Kafka简介1. Kafka Topic&Partition 消息发送时都被发送到一个topic，其本质就是一个目录，而topic由是由一些Partition Logs(分区日志)组成,其组织结构如下图所示：  
转载
2024-03-18 14:03:07
143阅读
关于SpringBoot和PageHelper，前篇已经介绍过Spring boot入门（二）：Spring boot集成MySql,Mybatis和PageHelper插件，前篇大致讲述了SpringBoot如何集成Mybatis和Pagehelper,但是没有做出实际的范例，本篇是连接上一篇写的。通过AdminLTE前端框架，利用DataTable和PageHelper进行分页
