环境：CentOS Linux release 8.1.1911 (Core) + zookeeper-3.6.2+kafka_2.13-2.7.0(2.13是scala版本，2.7.0是kafka版本，kafa使用scala开发的)+ jdk8zk下载地址： kafka下载地址： 一、环境准备将下载的3个软件(jdk，zk，kafka)放在/root/sf目录(这里目录根
转载
2024-04-16 09:15:32
35阅读
导语 在上一篇博客中简单的介绍了关于消息系统消息中间件技术以及Kafka的一些基础。这篇文章主要是来介绍关于Kafka的架构以及如何安装Kafka。 首先先来安装Kafka，对于Kafka的安装来说可以使用自己的Zookeeper也可以使用Kafka自带的Zookeeper。下面就来演示如何使用kafka自带的ZK来进行启动测试。第一步、首先获取Kafka的压缩包 http://kafka.a
转载
2024-03-28 11:50:48
328阅读
首先来看一下Kafka和KafkaConfig相关类图，类图是在idea里面使用PlantUml(依赖Graphviz)插件画的。 Kafka和KafkaConfig相关类图 Logging 日志类，提供所有级别的日志输出方法，kafka里面有打印日志的类都继承该类Kafka Kafka主函数main所在的类，静态函数getPropsFromArgs检查命令行参数，读取指定的server
转载
2024-07-08 18:05:10
34阅读
启动Zookeeperzkserver启动服务.\bin\windows\kafka-server-start.bat .\config\server.properties启动生产者kafka-console-producer.bat --broker-list localhost:9092 --topic user启动消防者监听消息kafka-console-consumer.bat --boo
原创
2023-06-06 18:01:50
387阅读
1评论
一、场景分析
上一篇讲到了Kafka网络通信采用了Java NIO的主从Reactor多线程模型，而Acceptor就是Kafka网络通信中很重要的一个线程对象。它通过selector接收客户端的连接请求，并交给某个Processor线程处理。那么这个Acceptor线程对象是如何创建并启动的呢？它又是如何工作的？这篇我们进行详细分析。
转载
2024-03-19 02:16:55
63阅读
【代码入口】 kafka 新增了 raft 协议之后将 BrokerServer、ControlServer 使用了单独的文件来启动最终调用网络层和请求处理层，如果还是使用 zk 的方式启动则是 KafkaServer 启动网络层和请求处理层。 主要区别：private def buildServer(props: Properties): Server = {
val config
转载
2024-03-05 07:05:21
141阅读
目录4.1 Kafka源码剖析之源码阅读环境搭建4.1.1 安装配置Gradle4.1.2 Scala的安装和配置4.1.3 Idea配置4.1.4 源码操作4.2 Kafka源码剖析之Broker启动流程4.2.1 启动kafka4.2.2 查看Kafka.Kafka源码4.3 Kafka源码剖析之Topic创建流程4.3.1 Topic创建4.3.2 手动创建4.3.3 查看Topic入口4.
转载
2024-06-21 12:13:01
83阅读
目录 一、入口二、实例化Controller三、Controller启动3.1 registerSessionExpirationListener3.1.1 onControllerResignation3.1.2 controllerElector.elect3.2 controllerElector.startup3.2.1 leaderChangeListener3.2.2 elect
转载
2024-03-15 10:55:20
21阅读
参考： (kafka安装部署)常识：kafak依赖zookeeper，zookerper基于javalinux一般默认安装了java，如果没有安装java就先安装java -version #查看java版本安装zookeeper（kafka已自带zookeeper）参考：https://www.runoob.com/w3cnote/zookeeper-setup.html安装kafka
转载
2024-06-25 17:36:33
173阅读
Kafka集群是由若干个broker组成的，启动kafka集群就是将集群中的broker启动并正常运行。broker与broker之间、broker与生成者之间、broker与消费者之间都存在各种交互。下面简单介绍一下broker的启动流程。启动broker的脚本：nohup ./bin/kafka-server-start.sh config/server.properties &其中，
转载
2024-03-15 19:24:48
102阅读
一、Kafka安装下载安装Kafka极其简单，只需要将下载的Kafka安装包解压到相应的目录即可。进入官方网站 http://kafka .apache.org/downloads 下载当前最新版本Kafka, Kafka安装包并没有区分Windows安装包还是 Linux 安装包，仅在bin录下将Windows环境执行Kafka的相关脚本放在/bin/windows 目录下。在Windows平台
转载
2024-04-16 08:32:33
536阅读
kafka 2.7 单机启动步骤、kafka-connect配置有点忘记了，所以要重新记录kafka单机启动步骤，首先是下载kafka.tar.gz包，然后解压，不需要进行任何配置，就可以进行下面的操作了。1、kafka 2.7 单机启动步骤整体的流程是，先启动zookeeper，然后启动kafka-server，最后就可以启动生产者消费者什么的了。1.1 启动zookeeper进入bin$ bi
转载
2024-03-18 12:10:02
2244阅读
工作流程常用命令：先启动zookeeper和kfka# 创建topic
[atguigu@hadoop112 kafka_2.11-0.11.0.0]$ bin/kafka-topics.sh --create --zookeeper hadoop112:2181 --replication-factor 3 --partitions 2 --topic first
# 开启生产者
[atgu
转载
2024-03-23 12:15:42
90阅读
1, 每个broker启动的时候都会去注册一个临时节点 /controller， 那个broker先注册这个节点，那个就是所有broker的leader，并将自己的信息写入到这个临时节点里面。如下：[zk: 10.3.63.204:2181,10.3.63.205:2181(CONNECTED) 3] get /controller{"version":1,"brokerid":0,"timest
转载
2024-03-04 15:39:39
22阅读
1.消息队列相关概念：消息队列中间件是分布式系统中非常重要的中间件，主要解决 应用耦合，异步消息，流量削峰 等问题。实现 高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。使用场景如：异步处理： 如用户注册后，发送注册邮件，再发送注册短信。应用解耦： 如用户下单后，订单系统需要通知库存系统。流量削峰：如秒杀活动，一般会因为流量过大，导致流量暴增。日志处理：解决大量
转载
2024-06-26 15:46:43
57阅读
kafka目录结构 # kafka安装目录 /usr/local/Cellar/kafka/2.6.0 # 配置文件目录 /usr/local/etc/kafka/ # 如果超时，在server.properties中增加 zookeeper.connection.timeout.ms=600000 ...
转载
2021-05-15 22:26:28
619阅读
2评论
首先安装 Confluent Platform Quick Start for Confluent Platform (Local install) Use this quick start to get up and running with Confluent Platform and its ...
转载
2021-08-12 10:17:00
304阅读
2评论
./bin/kafka-server-start.sh config/server.properties &
原创
2023-09-17 10:42:49
258阅读
# 如何使用Docker启动Kafka
## 概述
在本文中，我将向您展示如何使用Docker来启动Kafka，以便您可以开始使用这个流行的分布式消息系统。我将逐步指导您完成整个过程，包括安装Docker、获取Kafka镜像、启动Kafka容器等步骤。
## 准备工作
在开始之前，请确保您已经安装了Docker，并且具备基本的Docker使用知识。如果您还没有安装Docker，可以参考[Doc
原创
2024-05-19 03:31:15
113阅读
参考：http://shiyanjun.cn/archives/934.html1 zookeeper安装 zookeeper的安装很简单，只需要解压后，修改下zoo.cfg，配置dataDir和 server.1=节点1:2888:3888 server.2=节点2:2888:3888 server.3=节点3:2888:3888 然后在每个节点指定的datadir下建立myid文件并写入编号
