博主在之前已经介绍过如何部署Kafka,Kafka的部署模式只有集群模式,Kafka的架构本就是天然的集群架构,因此单节点的部署和多节点的部署是类似的。集群节点:节点地址ZooKeeper192.168.1.5Kafka0192.168.1.4Kafka1192.168.1.6Kafka2192.168.1.199为了简单起见,这里不使用ZooKeeper集ll脚本搭建单机版Z
原创
2022-11-10 00:35:05
651阅读
安装vim安装ssh sudo apt-get install openssh-serverservice ssh start192.168.1.102192.168.1.103192.168.1.104sudo mkdir /data/zookeeper/datasudo mkdir /data/zookeeper/log创建myid192.168.1.102echo "1" 
原创
2017-05-20 11:28:04
1611阅读
解压缩tar -zxvf kafka_2.10-0.8.2.2.tgz重命名mv kafka_2.10-0.8.2.2 kafka修改配置文件修改服务器的config/server.properties。broker.id:标识当前的server在集群中的id,唯一,填数字(非负数)。host.name:当前server host name
原创
2022-01-26 10:09:00
163阅读
解压缩tar -zxvf kafka_2.10-0.8.2.2.tgz重命名mv kafka_2.10-0.8.2.2 kafka修改配置文件修改服务器的config/server.properties。broker.id:标识当前的server在集群中的id,唯一,填数字(非负数)。host.name:当前server host name,唯一,填服务器IP。zookeeper.connect:连
原创
2021-07-06 14:23:51
214阅读
第一步
先去官网下载 kafka_2.9.2-0.8.1.1.tgz 并解压再进入到安装文件夹(也能够自己配置路径,方法跟配置java、hadoop等路径是一样的).
> tar -xzf kafka_2.9.2-0.8.1.1.tgz
> cd kafka_2.9.2-0.8.1.1
第二步
zeekeeper集群搭建(用的是kafka自带的zeekeeper,一共准备
转载
2016-03-26 09:27:00
165阅读
2评论
Kafka - 集群搭建 9092为kafka启动服务后的默认通信端口 10.1 上传到Linux 将下载后的软件上传到虚拟机中,并将软件解压缩到无中文,无空格的路径中 tar -zxvf kafka_2.12-2.8.0.tgz -C /opt/module JDK必须安装1.8或以上版本 在解压 ...
转载
2021-09-27 19:21:00
87阅读
2评论
使用 Docker Compose 搭建 Kafka 集群。 创建 Docker Compose 配置文件 创建配置文件(目录随意)并编辑: vim /opt/kafka/docker-compose.yml 输入内容: version: '2' services: zookeeper: image ...
转载
2021-10-23 11:14:00
202阅读
2评论
一、安装包下载zookeeper安装包apache-zookeeper-3.5.9-bin.tar.gz下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zook
原创
2024-06-28 13:46:50
16阅读
1、初始化环境准备安装jdk,安装zookeeper并保证zk服务正常启动2、下载安装包并上传解压通过以下地址进行下载安装包node09执行以下命令,下载并解压cd /export/softwareswget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgztar –zxvf kafka...
原创
2021-12-28 18:13:38
77阅读
kafka集群环境搭建一、背景二、安装软件三、安装步骤1、搭建一个 3 个节点的 zk 伪集群
原创
2022-06-14 20:04:58
779阅读
1. 启动Zookeeper服务器 ./zookeeper-server-start.sh /opt/cx/kafka_2.11-0.9.0.1/config/zookeeper.properties2. 修改broker-1,broker-2配置broker.id=1
listeners=PLAINTEXT://:9093
# The port
原创
2016-04-12 16:30:46
1994阅读
zookeeper集群搭建kafka集群是把状态保存在zookeeper中的,首先要搭建zookeeper集群。1、安装jdkwgethttp://xxxxx.oss-cn-xxxx.aliyuncs.com/xxxx/jdk-8u171-linux-x64.rpmyumlocalinstalljdk-8u171-linux-x64.rpm-y2、下载kafka安装包wgethttp://xxx-
原创
2019-06-10 22:37:16
1450阅读
点赞
kafka集群搭建注:使用VMware 作为虚拟机 ,SecureCRT连接虚拟机。1、环境:3台centos虚拟机,且在同一网关1、ip地址设置2、创建3台虚拟机1、为了演示出效果。我重新创建了3台虚拟机。并配置其id分别为 192.168.25.121 192.168.25.122 192.168.25.1232、如何配置,下面介绍 ①,使用...
原创
2021-08-18 14:04:52
293阅读
上两篇对kafka进行介绍和说明Kafka基本介绍kafka安装与使用搭建kafka集群, 2 个br
原创
2022-12-14 18:32:06
80阅读
1 规划2 Zookeeper集群准备3 安装包准备4 安装4.1 解压4.2 配置环境变量4.3修改server.properties4.4 同步Kafka安装目录5 启动
原创
2023-05-24 10:21:24
93阅读
1、初始化环境准备安装jdk,安装zookeeper并保证zk服务正常启动2、下载安装包并上传解压通过以下地址进行下载安装包node09执行以下命令,下载并解压cd /export/softwareswget http://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgztar –zxvf kafka...
原创
2022-02-16 16:29:58
73阅读
kafka集群搭建1.安装scala环境shellroot@node148:/datatarzxvfscala2.11.4.tgzscala2.11.4/scala2.11.4/bin/scala2.11.4/bin/scala.batscala2.11.4/bin/scalap.batscala2.11.4/bin/scalascala2.11.4/bin/fsc.batscala2.11.4/
原创
2021-09-23 09:44:03
443阅读
1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装;2、 准备好kafka安装包,官网下载地址: http://kafka.apache.org/downloads.html3、 下载好kafka安装包后,将其解压到/usr/local目录下,删除压缩包4、 目前
转载
2024-04-03 13:23:22
56阅读
ZooKeeper 的作用 Kafka使用ZooKeeper管理集群,ZooKeeper用于协调服务器或集群拓扑,ZooKeeper是配置信息的一致性文件系统。你可以选择Kafka自带的Zookeeper,也可以选择单独部署,一台Linux主机开放三个端口即可构建一个简单的伪ZooKeeper集群。 ...
转载
2021-05-10 22:31:04
746阅读
2评论
一、简介 Kafka是Apache下的一个子项目,是一个高性能跨语言分布式发布/订阅消息队列系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka适合做什么? 官方文档介绍,它通常被使用在两大类应用中:搭建实时数据流管道,在系统或应用之间可靠
原创
2017-06-12 14:13:48
3807阅读
点赞