一、事前准备 1.kafka官网：http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:（linux） 192.168.145.129 主机名：kafk
转载
2024-05-09 22:22:56
533阅读
Consumer APIConsumer 消费数据时的可靠性是很容易保证的，因为数据在 Kafka 中是持久化的，故不用担心数据丢失问题。由于 consumer 在消费过程中可能会出现断电宕机等故障，consumer 恢复后，需要从故障前的位置的继续消费，所以 consumer 需要实时记录自己消费到了哪个 offset，以便故障恢复后继续消费。所以 offset 的维护是 Consumer 消费
转载
2024-06-18 07:16:36
71阅读
1.PXE安装一台服务器 域名(example.cn) 主机名: 个人姓名全拼 (比如:个人姓名全拼.example.cn) zhangjianxin.example.cn IP地址: MAC地址: IP地址和mac地址见: 高可用0308.xlsx (每位同学的vip与mac地址唯一) 1) /et
转载
2024-06-25 08:49:34
240阅读
kafka-broker配置
常规配置常规配置指的是一些在使用单机安装时可以直接使用的默认值，这可以满足大部分的开发需求。但是在部署到其他环境时，需要格外小心，这些参数是单个服务器最基本的配置，他们中的大部分需要经过修改之后才可以用在生产环境里broker.id
每个broker都需要有一个标识符，使用broker.id来表示。默认值为0，在部署到生产环
转载
2024-01-04 20:40:40
236阅读
一、环境配置操作系统：Cent OSKafka版本：0.9.0.0Kafka官网下载：请点击JDK版本：1.7.0_51SSH Secure Shell版本：XShell 5
回到顶部二、操作过程1、下载Kafka并解压下载:curl -L -O http://mirrors.cnnic.cn/apache/kafka/0.9.0.0/kafka_2.10-0.9.0.0.tgz解压：t
在前一篇：kafka学习1：kafka安装 中，我们安装了单机版的Kafka，而在实际应用中，不可能是单机版的应用，必定是以集群的方式出现。本篇介绍Kafka集群的安装过程： 一、准备工作 1、开通Zookeeper和Kafka需要的端口 在 zookeeper-端口说明 中，我们可以看到Zo
转载
2024-04-16 12:11:38
235阅读
kafka服务端有很多参数配置，涉及使用，调优的各个方面，虽然这些参数大多数情况下不需要更改，但了解这些参数，在做kafka调优的时候很重要。zookeeper.connect该参数指明broker要连接zookeeper集群的服务地址和端口号，没有默认值，且为必填参数。kafka默认连接到zookeeper的根路径下，可以通过chroot改变默认路径，使用chroot参数，可以使得一套zk部署多
转载
2024-02-27 20:05:18
155阅读
一、kafka的安装部署一台zookeeper服务器安装jdk下载kafka的安装包：上传到kafka的服务器上:/usr/local/kafka 解压缩压缩包 进入到config目录内，修改server.properties #broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PL
转载
2024-02-22 11:29:04
2070阅读
不多说，直接上干货！ 至于为什么，要写这篇博客以及安装Kafka-manager？ 问题详情 无奈于，在kafka里没有一个较好自带的web ui。启动后无法观看，并且不友好。所以，需安装一个第三方的kafka管理工具 功能 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个
转载
2024-07-18 10:24:13
55阅读
KAFKA采用zookeeper保存集群的元数据和消费者信息，所以安装kafka之前必须现有zookeeperzookeeper采用一致性协议，所以部署的集群最好是奇数个，少数服从多数，假设3个节点中有一个失效并不影响zookeeper处理外部请求，否则失效。以上主要是kafka基于zookeeper的一些注意事项。接着，主要是kafka的的配置参数（一）公共配置1，broker id： kafk
转载
2024-02-23 11:41:02
220阅读
1.安装java2.安装zookeeper3.安装kafka Broker测试：发布消息测试：读取消息4，broker配置 常规配置： broker.id: 默认0 每个broker都需要一个标识符，使用broker.id标识，在kafka集群里必须唯一 port 默认监听9092端口，使用1024以下的端口，需要root权限启动Kafka，不建议 zookeepe
转载
2024-03-21 08:48:16
165阅读
1.安装java2.安装zookeeper3.安装kafka Broker测试：发布消息测试：读取消息4，broker配置 常规配置： broker.id: 默认0 每个broker都需要一个标识符，使用broker.id标识，在kafka集群里必须唯一 port 默认监听9092端口，使用1024以下的端口，需要root权限启动Kafka，不建议 zookeepe
转载
2024-03-26 16:11:47
160阅读
Apache Kafka是大量使用磁盘和页缓存(page cache)的，特别是对page cache的应用被视为是Kafka实现高吞吐量的重要因素之一。实际场景中用户调整page cache的手段并不太多，更多的还是通过管理好broker端的IO来间接影响page cache从而实现高吞吐量。我们今天就来讨论一下broker端的各种IO操作。 开始之前，还是简单介绍一下page cache
转载
2024-06-19 09:03:58
44阅读
kafka使用也很久了，如何细粒度的监控kafka，目前还找不到一款比较合适的开源监控工具，但是不妨碍总结一下如何监控kafka，最官方的方法就是使用metrics的值来监控kafka，目前我们就是使用jmxtrans来获取metrics值监控kafka的。kafak监控主要分为三个方面：broker监控、consumer监控、producer监控。三者的监控项可以通
转载
2024-03-04 23:45:59
80阅读
一、问题描述 今天配合现场联调一个数据工具，工具使用到了kafka，程序启动之后包如下错误： [WARN ] [2020-08-17 19:17:27] [org.apache.kafka.clients.NetworkClient$DefaultMetadataUpdater.maybeHandl
原创
2021-10-25 10:32:34
4876阅读
一、问题当kafka使用的时候默认开启俩端口，并且默认是全网监听二、方案1、默认端口9092加ip限制vi server.properties添加：listeners=PLAINTEXT://192.168.10.133:9092如果kafka开了ssl或者sasl，也建议添加具体ip重启服务生效2、关闭JMX随机端口33620JMX会随机开放端口，这里直接关闭JMXvi kafka-run-cl
原创
2022-07-23 18:36:42
1731阅读
前言最近在部署kafka单节点时遇到的问题，想着自己弄个单节点演示以下， 好家伙，单启动的时候就报了很多错误；为防止在坑，故将错误信息记录下来；以防万一！kafka版本2.4.1部署环境阿里云服务器，系统为centos 7.9解决kafka启动报错 ：Socket server failed to bind to 123.57.207.179:9092: 无法指定被请求的地址.
控制台整体错误信息
转载
2024-06-25 15:15:35
521阅读
Kafka入门篇学习笔记整理Kafka是什么Kafka的特性应用场景Kafka的安装单机版部署集群部署环境准备Kafka 2.x集群部署Kafka 3.x集群部署监听器和内外网络KRaft模型Docker安装Topic管理与集群容错测试topic的创建与状态查询容错测试动态修改分区数Kafka中的基本概念Kafka如何持久化数据消费者分区副本数据同步机制OSR集合中的未同步副本是否可以作为Lea
转载
2024-08-07 08:19:25
162阅读
常规配置
常规配置指的是一些在使用单机安装时可以直接使用的默认值，这可以满足大部分的开发需求。但是在部署到其他环境时，需要格外小心，这些参数是单个服务器最基本的配置，他们中的大部分需要经过修改之后才可以用在生产环境里
broker.id 每个broker都需要有一个标识符，使用broker.id来表示。默认值为0，在部署到生产环境时，
转载
2024-03-17 00:02:40
154阅读
一 Kafka 概述1.1 Kafka 是什么在流式计算中，Kafka 一般用来缓存数据，Storm 通过消费 Kafka 的数据进行计算。1）Apache Kafka 是一个开源消息系统（微信公众号、QQ、微信等群），由 Scala 写成。是由 Apache 软件基金会开发的一个开源消息系统项目。2）Kafka 最初是由 LinkedIn 公司开发，并于 2011 年初开源。2012 年 10
转载
2023-08-26 23:46:27
265阅读
