上一篇了解了Kafka的基本概念，主要是日志、主题、分区、生产者、消费者、消费者群组、偏移量、消息和批次以及Broker和集群。这些基本概念了解以后就是上手自己下载Kafka，安装起来。安装Kafka很简单，就是将下载的压缩包解压出来，首先启动zookeeper，然后再启动Kafka服务。启动zookeeper、Kafka的时候都需要指定配置文件，zookeeper不是本系列文章的主要内容，就不多
转载
2024-02-26 15:19:03
237阅读
安装ZookeeperKafka的运行依赖于Zookeeper，安装Kafka之前需要先安装并运行Zookeeper 。1、下载Zookeeper 地址：https://archive.apache.org/dist/zookeeper/2、解压文件(如解压到D:zookeeperzookeeper-3.4.9) 3、将D:zookeeperzookeeper-3.4.9conf下的zoo_sam
转载
2024-03-25 20:38:09
546阅读
kafka服务、模拟kafka服务自带zookeeper，windows系统、linux系统启动步骤下载服务其他步骤 windows系统和linux系统只是启动时的文件不一样，其他操作都一样 启动步骤打开文件夹进入到config目录下打开server.properties文件修改log.dirs 前面为安装目录--------------（\temp\kafka）可以一样同目录下打开zooke
转载
2024-07-28 22:34:48
48阅读
kafka和zookeeper的搭配使用说明kafka是一个发布订阅消息系统，由topic区分消息种类，每个topic中可以有多个partition，每个kafka集群有一个多个broker服务器组成，producer可以发布消息到kafka中，consumer可以消费kafka中的数据。kafka就是生产者和消费者中间的一个暂存区，可以保存一段时间的数据保证使用。 kafka+zoo
转载
2024-01-08 12:49:58
34阅读
zookeeper配置文件zoo.cfg详细讲解zookeeper 的配置文件是位于conf/zoo.cfg。不过这个文件安装包中，并没有直接给出，而是给出一个zoo_sample.cfg 的sample文件。所以在配置前先要copy一份并重命名。 # cp zoo_sample.cfg zoo.cfg下面就来说明一下zookeeper中的比较典型的几个配置：1、基本配置a) tickTime 心
转载
2024-02-29 14:09:04
115阅读
zookeeper配置启动及配置文件解析 （一）本文基于zookeeper 3.7.0单机部署1、由于zookeeper集群的运行需要Java运行环境，所以需要首先安装 JDK2、官问下载zookeeper安装包，并上传服务器https://zookeeper.apache.org/releases.html
3、解压zookeepertar -zxvf zookeeper-xxx.tar.gz
转载
2024-02-19 09:38:07
2109阅读
点赞
上篇博文介绍了hadoop的安装，这篇接着是zookeeper(3.4.6)的安装。4.1、修改zookeeper配置文件zoo.cfg在centos系统下解压zookeeper安装包zookeeper-3.4.6.tar.gz ，进入到conf目录，将zoo_sample.cfg拷贝一份命名为zoo.cfg（Zookeeper 在启动时会找这个文件作为默认配置文件）：[hadoop@Master
转载
2024-05-26 17:28:52
1012阅读
zoo.cfg配置文件分析tickTime=2000 zookeeper中最小的时间单位长度 （ms）
initLimit=10 follower节点启动后与leader节点完成数据同步的时间
syncLimit=5 leader节点和follower节点进行心跳检测的最大延时时间
dataDir=/tmp/zookeeper 表示zookeeper服务器存储快照文件的目录
转载
2024-03-23 12:04:55
34阅读
zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：zookeeper的三种端口号：2181：客户端连接Zookeeper集群使用的监听端口号3888：选举leader使用2888：集群内机器通讯使用（Leader和Follower之间数据同步使用的端口号，Leader监听此端口） 1.
原创
2022-08-31 23:03:38
753阅读
ZooKeeper 文章目录ZooKeeper一、简介1.是什么？2.组成2.1文件系统2.2通知机制3.应用场景3.1 配置管理3.2 集群管理3.3负载均衡二、ZooKeeper安装1.安装2.下载3.连接linux服务器3.1解压缩：3.2配置：3.3更改一下存储路径3.4启动**3.5 客户端连接zookeeper**4.配置文件解析三、客户端操作1.常用命令2.详解四、ZooKeeper
转载
2024-06-11 14:06:22
105阅读
今天心血来潮，想搞一下zookeeper集群。具体步骤记录下吧~嘻嘻?！第一步、环境需求 jdk安装部署好 第二步、zookeeper下载.tar.gz结尾的包， 使用“tar -zxvf 文件名”方式进行解压缩第三步、进入目录的conf目录下复制zoo_sample.cfg文件，为zoo.cfg文件（执行命令: cp zoo_sample.cfg zoo.cfg
转载
2024-05-27 20:16:17
167阅读
ZooKeeper 这样的设计其实是有它自身的原因的。通过前面对 ZooKeeper 的配置可以看出，对 ZooKeeper 集群进行配置的时候，它的配置文档是完全相同的（对于集群伪分布模式来说，只有很少的部分是不同的）。这样的配置方使得在部署 ZooKeeper 服务的时候非常地方便。另外，如果服务器使用不同的配置文件，必须要确保不同配置文件中的服务器列
转载
2024-03-24 11:10:17
93阅读
文章目录一.ZooKeeper下载安装二.ZooKeeper配置三.配置集群的时间同步四.启动和关闭ZooKeeper并验证 一.ZooKeeper下载安装1.下载:链接: https://pan.baidu.com/s/12v1T3iVxBdkKP2PclVAHpQ 提取码: u5ed2.拖入opt目录解压安装:tar -zxvf zookeeper-3.4.6.tar.gz
3.删除安装包:
转载
2024-03-20 20:44:36
64阅读
1、下载安装下载地址：https://pan.baidu.com/s/1jpqwurCjolkHaXHzn618vQ提取码：m9pj解压安装tar -zxvf zookeeper-3.4.6.tar.gz -C /opt解压后修改名字，方便后面使用，这里修改为zookeeper2、配置环境变量进入环境变量，添加ZK_HOME变量，以及PATH变量配置；即追加如下内容export ZK_HOME=/
转载
2024-04-23 16:42:33
122阅读
zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：Client-Server通信心跳时间Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。tickTime=2000 2.i
转载
2024-04-01 15:38:12
34阅读
zoo.cfg详解：zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：CS通信心跳时间 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。 tickTime=2000
转载
2024-02-25 10:08:41
1198阅读
1 生产者配置文件producer.properties#指定kafka节点列表，用于获取metadata，不必全部指定
#需要kafka的服务器地址，来获取每一个topic的分片数等元数据信息。
metadata.broker.list=kafka01:9092,kafka02:9092,kafka03:9092
#生产者生产的消息被发送到哪个block，需要一个分组策略。
#指定分区处理类。
转载
2024-06-20 08:25:51
175阅读
kafka/config目录下有以下几个文件：producer.properties:生产端的配置文件#指定kafka节点列表，用于获取metadata，不必全部指定
#需要kafka的服务器地址，来获取每一个topic的分片数等元数据信息。
metadata.broker.list=192.168.2.100:9092,192.168.2.101:9092,192.168.2.102:9092
转载
2024-03-23 13:07:16
125阅读
kafka的server.properties配置文件详细说明server.properties配置文件参数说明必配置属性每个kafka broker中配置文件server.properties默认必须配置的属性如下：broker.id=0
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.
转载
2024-03-15 06:36:01
125阅读
1.下载安装包 下载地址： http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.13/2.解压: tar -zxf zookeeper-3.4.5-cdh5.3.6.tar.gz -C 安装目标路径3.解压完成以后还需要配置配置文件才能使用 （1）在安装路径下创建文件夹(这个文件夹什么用后面会提到)：mkdir -p data/zkDat
转载
2024-05-09 15:12:33
86阅读
