初识kafka一前一节介绍了消息队列的基本知识，最后我们提出了消息队列的优缺点。 当公司需要维护多个消息队列，例日志、跟踪、指标信息。这些消息队列有很多重复的地方，每个系统又有缺陷和不足。而且接下来会有更多的地方使用到消息队列，所以我们需要一个单一的集中式系统来管理这些消息队列，kafka就登场了。 在这一次主要介绍kafka中的基础知识：消息和批次 kafka中的数据单元被称为消息，就比如数据库
转载
2024-09-12 09:49:09
44阅读
GenericMessageListener data ： 对于data值的类型其实并没有限定，根据KafkaTemplate所定义的类型来决定。data为List集合的则是用作批量消费。ConsumerRecord：具体消费数据类，包含Headers信息、分区信息、时间戳等Acknowledgment：用作Ack机制的接口Consumer：消费者类，使用该类我们可以手动提交偏移量、控制消费速率等
转载
2024-03-27 10:23:38
858阅读
1. Kafka启动： 1. 先启动所有节点的zookeeper : 进入ZOOKEEPER_HOME/bin 执行./zkServer.sh start 2. 启动所有节点的kafka：进入 KAFKA_HOME/bin 执行 ./kafka-server-start.sh config/server.properties & 2. 参数说明2.0 boker
Zookeeper的基本操作四种节点类型 PERSIST【永久节点，会被永久化到磁盘当中，ZooKeeper重启之后这些节点还会继续存在】PERSIST_SEQUENTIAL【顺序节点，例如：如果有一个节点，我们将它设置成该类型，那么多个客户端可以同时重建相同的节点，但是他会根据先后顺序会在后边加一个序列号，比如第一个创建的是/a/b-00001，第二个就是/a/b-00002】EPHE
转载
2024-08-06 21:20:46
36阅读
官方的API只是简单介绍了 MyBatis有些什么功能和一些基本的使用方法，没有告诉我们如何用好，其中原理是什么，需要注意哪些问题，这显然是不够的。有些文章虽然讲解得比较深入，但是内容支离破碎，没有形成一个完整的知识体系，不易于初学者对MyBatis进行系统学习。随着移动互联网应用的兴起,系统掌握MyBatis编程技巧已经成了用Java构建移动互联网网站的必要条件。mybatis简介搭建MyBat
转载
2024-08-08 22:35:35
27阅读
10、消费者分区分配策略：什么是消费者组？Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内有多个消费者或者消费实例，它们共享一个ID，称为group ID。Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程，也可以是同一进程下的线程。在实际场景中，使用进程更为常见一些。Group ID 是一个字符串，在一
转载
2024-02-26 21:30:49
1776阅读
消费者组 Consumer GroupKafka 提供的可扩展且具有容错性的消费者机制共享一个公共的 ID，这个 ID 被称为 Group ID。组内的所有消费者协调在一起来消费订阅主题（Subscribed Topics）的所有分区（Partition）每个分区只能由同一个消费者组内的一个 Consumer 实例来消费。理想情况下，Consumer 实例的数量应该等于该 Group 订阅主题的分
转载
2024-03-04 14:38:34
161阅读
文章目录一 Kafka 的简介什么是Kafkakafka 产生的背景Kafka 的应用场景Kafka本身的架构二 kafka 的安装部署三 Kafka 的基本操作创建topic查看topic查看topic属性消费消息发送消息四 安装集群环境五 配置信息分析发送端的可选配置信息分析acksbatch.sizelinger.msmax.request.size消费端的可选配置分析group.iden
转载
2024-07-04 16:27:48
67阅读
设置消费者properties的两个参数 consumer.group.id properties.setProperty("auto.offset.reset", "earliest”) // latest 注意： 只要不更改group.id，每次重新消费kafka，都是从上次消费结束的地方继续开 ...
转载
2021-08-12 22:07:00
539阅读
2评论
Spring Boot - 获取Spring.Kafka客户端Id的application.properties中的主机名(Spring Boot - Getting the hostname in application.properties for Spring-Kafka client Id)我正在使用Spring-Kafka和Boot开发一个项目，并希望在application.prope
集群Kafka 在搭建集群的时候需要借助 Zookeeper 来进行集群成员（Brokers）的管理。每一个 Broker 都有一个唯一标识 broker.id，用于自己在集群中的身份标识。可以在配置文件 server.properties 进行配置，或者由 Kafka 自己生成。当有多个 Broker 时，需要选举出一个 Broker 作为整个集群的 Controller。Controller是
转载
2024-09-06 18:30:50
208阅读
我们在使用 Apache Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用 Kafka 收集应用服务器的日志数据，这种数据都是很多的，特别是对于那种大批量机器组成的集群环境，每分钟产生的日志量都能以 GB 数，因此如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题。今天我就来和你说说 Kafka 生产
文章目录在生产者角度的分区(1)直接上图消费者角度的分区第一种情况，集群中所有的消费者都是单独的组第二种情况，集群中所有的消费者不全是单独的组 组这个也就是group.id是从消费者的角度看的 分区是对主题(topic)而言的，对生产者和消费者都有很大的关系，当然最麻烦的是消费者 我感觉特别有必要整理整理这方面的思路，要不又要把我绕进去， 当然推荐大家看Kafka核心API——Consumer消
转载
2024-02-21 11:09:57
1014阅读
https://www.jianshu.com/p/5361d6a3f59e
原创
2022-06-09 08:48:12
306阅读
Kafka在配置文件中使用key-value方式进行属性配置。这些values可以通过文件或者编程方式提供。3.1 Broker Configs基本配置如下：-broker.id -log.dirs -zookeeper.connectTopic-level配置以及其默认值将在下面讨论。 Property Default Description
转载
2024-05-21 16:49:57
181阅读
在使用Linux操作系统进行Kafka相关操作时，我们常常需要查看Kafka的进程命令，以便进行监控和管理。下面我们将探讨如何通过Linux命令来查看Kafka进程。
1. 使用ps命令查看Kafka进程
在Linux系统中，通过ps命令可以查看当前运行的进程。要查看Kafka进程，可以通过以下命令：
```
ps -ef | grep kafka
```
这条命令会列出所有包含"kafka"关
原创
2024-05-28 10:47:45
392阅读
一、kafka集群 1.1：准备和部署 书接前文 kafka官网下载地址 还是老套路，下载kafka，上传，解压， 我的部署路径为/usr/local/kafk
转载
2024-05-10 01:11:53
1734阅读
kafka集群修改kafka中server.properties文件# 集群中配置跟如下相同# broker 编号，集群内必须唯一broker.id=1# host 地址host.name=127.0.0.1# 端口port=9092# 消息日志存放地址log.dirs=/opt/kafka/log# ZooKeeper 地址，多个用,分隔zookeeper.connect=localhost1:
转载
2024-03-27 15:16:13
171阅读
server.properties中所有配置参数说明(解释)broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况log.dirs=/data/kafka-logskafka数据的存放地址，多个地址的话用逗号分割 /data/kafka-logs-1，/data/kafka-log
转载
2024-03-21 10:51:42
427阅读
Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程，也可以是同一进程下的线程。在实际场景中，使用进程更为常见一些。Group ID 是一个字符串，在一个 Kafka 集群中，它标识唯一的一个 Consumer Group。Consumer Group 下所有实例
转载
2024-10-08 18:33:34
64阅读
