一 BROKER 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。------------------------------------------- 系统 相关 ------------------------------------------- ##每一个broker在集群中的唯一标示，要求是正数。在改变IP地址，不改变broker.
转载
2024-09-14 11:25:30
147阅读
kafka在大公司是经常用到的，之前在途牛有使用过，但都是听别人说从kafka取数据流分析用户使用量啦，或者统计app推送消息的成功率与用户点击率啦，这些都是别人在做，自己没有真正去接触了解kafka究竟是什么。后来在现在这家公司，也是有用到kafka的，但是都是用在数据治理，数据导入那边，我们做java服务端业务方向的好像不太会使用到。总之自己听说了kafka很久，但对它却不是很了解，我对k
一、集群配置方式类型master-slave<networkConnectors><networkConnectoruri="masterslave:(tcp://host1:61616,tcp://host2:61616,tcp://..)"/></networkConnectors>uri列表中对应的顺序就是MASTER,SLAVE1,SLAVE2...SL
原创
2018-06-15 15:35:36
2268阅读
1、安装JDK运行环境 #cd /opt
#wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-
原创
2017-05-12 10:34:59
1494阅读
简介：本篇博客主要是使用Zookeeper的API对Zookeeper的增删查改，但是在递归实现节点的数据变化监控时，这里始终没有写好，希望有大神帮我指点迷津，感谢！package com.lqs.api.zookeeper;
import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;
import org.jun
转载
2024-10-14 10:49:19
40阅读
KafKa 创建topic 异常Replication factor: 1 larger than available brokers: 0看看服务器直接时间是不是一致,然后stop kafka ,zookeeper,date -s " xxxx/xx/xx xx:xx:xx"
Brokers and Triggers 实例说明 event source: gitlabsource 基于MT通道的broker: default trigger trigger-push - > sink event-display-push 过滤条件： dev.knative.sources
原创
2023-11-30 10:44:19
89阅读
生产环境出现了kafka接收到消息后，出现落盘与消费的延时，所以研究下kafka的网络模型，看了一些源码:源码版本：0.8与1.1.0图片来源于《kafka源码剖析》网络层Socketserver部分0.8版本：首先看一下他的startup方法：在startup的方法中会创建多个processor用于接受请求发送响应的，processor的数量由配置num.network.threads决定，再创
转载
2024-07-03 20:52:20
44阅读
上一篇介绍了基于ZK的ActiveMQ HA方案，虽然理解起来比较容易，但是有二个不足：
1) 占用的节点数过多，1个zk集群至少3个节点，1个activemq集群也至少得3个节点，但其实正常运行时，只有一个master节点在对外响应，换句话说，花6个节点的成本只为了保证1个activemq master节点的高可用，太浪费资源了。
2) 性能下降太明显，比起单节点的active
转载
2016-03-26 15:19:00
73阅读
2评论
在确保kafka、zookeeper 版本正确，并且启动正常的情况下， 可以自己看看配置的zookeeper路径下有没有kafka的元数据。 我遇到的原因是 kafka的server.properties 配置文件写的 127.0.0.1:2181/kafka 然后使用命令的时候写了 –zookee ...
转载
2021-07-19 01:05:00
1329阅读
2评论
目录操作系统磁盘磁盘容量带宽总结上篇总结了kafka各个版本的差异，了解了改怎样正确选择kafka版本。下面从操作系统，磁盘，带宽各方面来做一下总结。作为一个集群，当然首先是集群各个节点的机器。平时学习中，我们都是用单台机器做的伪集群。伪集群做测试学习还可以，生产上，绝对是要用真实机器的。操作系统我们知道Kafka是由Scala和Java开发的，都是JVM系的语言。而且昨晚Javaer都知道，只要
转载
2024-04-23 19:49:55
33阅读
1. 产品介绍快递接口是微信官方为小程序提供的免费物流接口。接入后，你可使用本接口在多家快递公司获取电子面单单号等信息，再通过热敏打印机完成电子面单打印，即可将快件交给快递公司上门揽收。2. 接入快递接口有什么好处可批量生成电子面单本接口已对接多家快递公司下单接口，使用本接口可在各快递公司批量生成电子面单；可回传物流轨迹给你经由快递接口下的单，微信会将物流轨迹返回给你，便于你实时掌握快件运输路径；
fluent-plugin-kafka (0.6.6) ruby-kafka (0.4.4)在使用fluentd中使用 kafka source 会出现问题 默认会安装 fluent-plugin-kafka (0.6.6) ruby-kafka (0.5.2)但是测试发现会出现若干问题 ruby-kafka 说明中指出支持kafka0.9 不过下了相关tag版本的ruby-kafka
原创
2022-01-04 11:10:20
508阅读
Kafka 集群搭建步骤
1. 机器准备
本文中，我们将准备三台机器搭建 Kafka 集群，IP 地址分别是 192.168.1.1，192.168.1.2，192.168.1.3，并且三台机器网络互通。
2. 下载并安装 kafka_2.10-0.8.2.1
下载地址: https://kafka.apache.org/downloads.html
下载完成后，上传到目标机器中的一个，如
转载
2024-03-21 11:03:58
61阅读
本文介绍了 broker、topic、partition、replica、offset、leader、follower 和 ISR 几个术语的概念和他们之间的关系
本文介绍了 broker、topic、partition、replica、offset、leader、follower、ISR和consumer group几个概念和他们之间的关系1、brok
转载
2023-11-25 15:06:18
73阅读
一、异常信息如下：java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for user-v
原创
2016-10-31 16:40:30
9755阅读
java.lang.RuntimeException: A broker is already registered on the path /brokers/ids/0. This probably indicates that you either have configured a brokerid that is alread
原创
2022-07-04 11:49:57
338阅读
今天在使用Kafka创建topic时，出现了以下一个错误【Error】Error while executing topic command : Replication factor: 1 larger than available brokers: 0提示我broker少于副本数，可是明明有三个broker并且只设置了2个replication我们可以使用下列命令去zookeeper中查看启动了
原创
2022-01-19 13:48:58
1677阅读
别看其他文章了，你就是防火墙没关！不信试试看你的防火墙状态是不是running？ firewall-cmd --state 再送上关闭防火墙的命令： systemctl stop firewalld 防火墙开机自启动： systemctl enable firewalld.service
原创
2021-07-20 09:06:42
4011阅读
问题背景与现象 在使用Kafka客户端命令创建Topic时，发现Topic无法被创建。 kafka-topics.sh --create --replication-factor 2 --partitions 2 --topic test --zookeeper 192.168.234.231:21
转载
2021-04-04 21:35:00
1236阅读
2评论
