#ZK
# 8. 启动Zookeeper【注意：每台均要执行上面的配置，然后每台都执行启动】
[root@node01 zookeeper-3.6.3]$ zkServer.sh start
# 9. 查看 Zookeeper 启动状态
[root@node01 zookeeper-3.6.3]$ zkServer.sh status
# 10.停止 Zookeeper 服务
[root@node
转载
2024-03-26 18:16:45
144阅读
kafka集群搭建下面简单的介绍一下kafka的集群搭建，单个kafka的安装更简单，下面以集群搭建为例子。我们设置并部署有三个节点的 kafka 集合体，必须在每个节点上遵循下面的步骤来启动 kafka 服务器，kafka集群需要依赖zookeeper集群，上一篇已经说道了zookeeper的搭建，方法请参考：1.环境准备测试服务器（2n+1）奇数台 192.168.181.128 cen
转载
2024-04-02 16:07:06
206阅读
场景一：全新的集群，3个broker节点，id分别是0,1,2初始化状态,zk中没有kafka的节点，没有任何topic和partitionbroker节点全部没有启动broker初始集群启动的过程Kafka初始集群启动的主要流程如下图一、启动id为0的第一个broker（即broker0），直到它启动成功1、启动KafkaController，成功选举为controller主节点后，向所有的br
转载
2024-03-05 12:42:05
103阅读
kafka特性和集群一： kafka特性介绍Topic让我们首先深入了解下Kafka的核心概念:提供一串流式的记录Topic 就是数据主题，是数据记录发布的地方,可以用来区分业务系统。Kafka中的Topics是多订阅者模式，一个topic可以拥有一个或者多个消费者来订阅它的数据。对于每一个topic， Kafka集群都会维持一个分区日志，如下所示：每个分区都是有序且顺序不可变的记录集，并且不断地
转载
2024-03-16 09:48:25
32阅读
目录 kafka集群原理介绍（一）基础理论二、配置文件三、错误处理 kafka集群原理介绍@(博客文章)[kafka|大数据]本系统文章共三篇，分别为1、kafka集群原理介绍了以下几个方面的内容：（1）kafka基础理论（2）参数配置（3）错误处理（4）kafka集群在zookeeper集群中的内容2、kafka集群操作介绍了kafka集群的安装与操作（1）单机版安装（2）集群安装（3）集
转载
2024-05-21 16:00:55
34阅读
如果只是为了开发 Kafka 应用程序，或者只是在生产环境使用 Kafka，那么了解 Kafka 的内部工作原理不是必须的。不过，了解 Kafka 的内部工作原理有助于理解 Kafka 的行为，也利用快速诊断问题。下面我们来探讨一下这三个问题Kafka 是如何进行复制的Kafka 是如何处理来自生产者和消费者的请求的Kafka 的存储细节是怎样的如果感兴趣的话，就请花费你一些时间，耐心看完这篇文章
转载
2024-02-26 11:26:51
38阅读
#### 部署zookeeper集群1、先部署zookeeper集群一般是3个节点,安装zookeeper 依赖java 环境先安装 jdk yum install java-1.8.0-openjdk-devel -y java -version #查看jdk版本2、创建工作目录（3个节点都需要执行）mkd
转载
2024-05-22 10:41:29
113阅读
1.Zookeeper集群部署1.1 下载安装包并解压从官网下载所需版本，将下载好后的安装包上传到服务器任一节点上，并解压[root@kafka-01 ~]# tar -zxf zookeeper-3.5.5.tar.gz -C /opt/software/
[root@kafka-01 ~]# cd /opt/software/zookeeper-3.5.51.2 修改配置文件[root@kaf
转载
2024-06-01 14:58:00
44阅读
kafka进群搭建安装顺序1. 解压安装包tar -zxvf kafkaXXXX2. 修改配置文件broker.id=0 --在集群内唯一
num.partitions = --每个主题的分区数量，默认是1，可以增加分区的数量但不能减少分区的数量
default.replication.factor=2 --消息备份副本数，默认为1，即不进行备份
listeners --socket的监听地址
l
转载
2024-03-04 15:04:14
60阅读
因为之前公司业务都是使用mqtt接收数据，随着设备的增加，公司觉得用kafka集群来实现会更好 下面是我写一个demo 仅供参考一、安装jdk 没有安装的可以百度去看看怎么安装的 不行的话在私聊我！！！！二、搭建zookeeper集群因为我只有一台Linux服务器，所以在一台机器上创建三个zk实例，通过设置不同的端口号，搭建一个zookeeper伪集群。1、下载zookeeper安装包地址：htt
转载
2024-06-11 10:55:48
156阅读
./bin/kafka-server-start.sh config/server.properties &
原创
2023-09-17 10:42:49
258阅读
kafka集群配置启动及编程1. 说明本文描述在同一台机器上配置3个zookeeper节点，3个kafka节点的方法。本文描述的集群搭建方式，基于windows系统，其他操作系统类似。 2. 准备到apache官网上下载kafka的压缩包，我下载的是
转载
2024-06-19 09:04:56
40阅读
一，首先讲kafka的两种模式 1，点对点模式，也就是poll模式，消费者主动拉取数据，消息收到后清除消息 2，发布，订阅模式： 可以有多个topic消费者消费数据后，不删除数据每个消费者相互独立，都可以消费到数据（同一条消息可以被不同的消费者同时消费） kafka的基础架构（瓶颈：当存储的数据量过大时，一台broker很难承受太
转载
2024-03-22 10:21:35
217阅读
1、编写命令脚本，直接将集群的kafka全部启动，同理编写zookeerper的集群启动脚本 /usr/local/java/zookeeper/bin/zkServer.sh startcase $1 in
"start"){
for i in hadoop01 hadoop02 hadoop03
do
echo "************$i***********
转载
2024-03-26 10:01:38
31阅读
5.Kafka集群维护一、概述二、Kafka集群基本信息实时查看和修改集群信息实时查看(topic工具)：列出集群当前所有可用的topic：bin/kafka-topics.sh --list –zookeeper zookeeper_address查看集群特定topic 信息：bin/kafka-topics.sh --describe --zookeeper zookeeper_addre
转载
2024-03-25 22:53:31
1207阅读
Kafka集群是由若干个broker组成的，启动kafka集群就是将集群中的broker启动并正常运行。broker与broker之间、broker与生成者之间、broker与消费者之间都存在各种交互。下面简单介绍一下broker的启动流程。启动broker的脚本：nohup ./bin/kafka-server-start.sh config/server.properties &其中，
转载
2024-03-15 19:24:48
102阅读
kafka集群恢复启动报错
原创
2019-01-19 22:06:21
1332阅读
点赞
://kafka.apache.org/quickstart[https://kafka.apache.org/quickstart]...
原创
2022-03-25 09:34:44
151阅读
目录（第一种常规版，第二种bitnami版） 一、下载kafka安装包二、安装三、配置四、运行 一、下载kafka安装包 准备好kafka安装包，官网下载地址： http://kafka.apache.org/downloads.html 下载最新的安装包； 二、安装 注意：（1）Kafka的安装需要java环境
转载
2024-03-29 11:24:12
94阅读
Kafka版本：kafka_2.12-2.1.1.tgz jdk版本：JDK1.8以上版本号解释：Scala版本号：2.12 Kafka版本号：2.1.1Kafka集群安装步骤：1.下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/kaf
转载
2024-05-09 15:03:32
56阅读
