1、软件环境
1、linux一台或多台，大于等于2
2、已经搭建好的zookeeper集群
3、软件版本kafka_2.11-0.9.0.1.tgz
2、创建目录并下载安装软件
#创建目录
cd /opt/
mkdir kafka #创建项目目录
cd kafka
mkdir kafk
#ZK
# 8. 启动Zookeeper【注意：每台均要执行上面的配置，然后每台都执行启动】
[root@node01 zookeeper-3.6.3]$ zkServer.sh start
# 9. 查看 Zookeeper 启动状态
[root@node01 zookeeper-3.6.3]$ zkServer.sh status
# 10.停止 Zookeeper 服务
[root@node
转载
2024-03-26 18:16:45
144阅读
因为之前公司业务都是使用mqtt接收数据，随着设备的增加，公司觉得用kafka集群来实现会更好 下面是我写一个demo 仅供参考一、安装jdk 没有安装的可以百度去看看怎么安装的 不行的话在私聊我！！！！二、搭建zookeeper集群因为我只有一台Linux服务器，所以在一台机器上创建三个zk实例，通过设置不同的端口号，搭建一个zookeeper伪集群。1、下载zookeeper安装包地址：htt
转载
2024-06-11 10:55:48
152阅读
kafka参考:、http://www.yunweipai.com/36806.htmlhttps://www.bbsmax.com/A/QV5ZgGKVdy/https://copyfuture.com/blogs-details/20210706183258030Yhttp://www.yunweipai.com/36806.htmlhttps://www.j
原创
2022-06-01 06:43:09
561阅读
在进行zk kafka集群搭建之前，首先需要了解什么是ZooKeeper（zk）和Kafka。ZooKeeper是一个分布式的协调服务，用于管理和协调分布式应用程序的服务，而Kafka是一个分布式流处理平台，用于构建实时数据管道和发布订阅消息系统。
接下来，我们将详细介绍如何搭建ZooKeeper和Kafka的集群。
**步骤概览**
| 步骤 | 描述 |
|
原创
2024-05-08 09:47:50
79阅读
kafka+zk详解可参考：https://blog.51cto.com/johnzheng/2371286 一、环境准备：kafka和zk需要jdk1.8环境，安装前需安装jdk1.8，参考jdk1.8安装步骤三台服务器：172.20.224.37、172.20.224.38、172.20.224.39，centos7系统。kafka至少两台做主从，zk做集群最少三台二、安装zk1、获
转载
2024-03-15 09:57:22
110阅读
kafka集群部署1. 准备工作名称IP地址Hostname组织结构zk1192.168.247.101zookeeper1zk2192.168.247.102zookeeper2zk3192.168.247.103zookeeper3kafka1192.168.247.201kafka1kafka2192.168.247.202kafka2kafka3192.168.247.203kafka3k
kafka+zk详解可参考：https://blog.51cto.com/johnzheng/2371286 一、环境准备：kafka和zk需要jdk1.8环境，安装前需安装jdk1.8，参考jdk1.8安装步骤三台服务器：172.20.224.37、172.20.224.38、172.20.224.39，centos7系统。kafka至少两台做主从，zk做集群最少三台二、安装zk1、获
转载
2024-02-18 21:52:17
38阅读
部署zk+kafka集群
原创
2021-04-13 21:14:18
819阅读
Kafka152.kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。153.kafka 有几种数据保留的策略？kafka 有两种数据保存策略：1.按照过期时间保留。2.按照存储的消息大小保留。154.kafka 同时设置了 7 天和 10G 清除数据，到
转载
2024-10-29 18:52:59
28阅读
Kafka进阶篇知识点Kafka高级篇知识点Broker（节点）：Kafka服务节点，简单来说一个Broker就是一台Kafka服务器，一个物理节点。Topic（主题）：在Kafka中消息以主题为单位进行归类，每个主题都有一个Topic Name，生产者根据Topic Name将消息发送到特定的Topic，消费者则同样根据Topic Name从对应的Topic进行消费。Partition（分区）：
Apache Kafka是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序Kafka 官网：Apache Kafka关于ZooKeeper的弃用根据 Kafka官网信息，随着Apache Kafka 3.5版本的发布，Zookeeper现已被标记为已弃用。未来计划在Apache Kafka（4.0版）的下一个主要版本中删除ZooKeeper，该
目录一、安装Zookerper二、安装Kafka2.1安装2.2文件解读2.3 文件内容三、测试1、 创建主题2、查看主题输入：2、删除主题3、 创建生产者4、 创建消费者5、查看topic6、 重要（操作日志的处理）：四、kafka设置多代理集群1、复制文件修改属性2、启动各个代理3、查看日志一、安装Zookerper1、 下载安装包http://zookeeper.apache.org/rel
转载
2024-03-21 10:43:31
49阅读
【1】前提条件 （1）部署集群至少要3台机器，奇数节点 （2）kafka 的安装需要 java 环境，jdk 1.8以上 （3）本次实验安装包：redis-6.2.4.tar.gz （4）假设3台服务器分别为：kafka1、kafka2、kafka3 服务器名称 IP 域名 kafka1 192.1 ...
转载
2021-08-31 14:40:00
471阅读
2评论
想要搭建kafka集群，必须具备zookeeper集群，关于zookeeper集群的搭建，在Kafka学习之（五）搭建kafka集群之Zookeeper集群搭建博客有说明。需要具备两台以上装有zookeeper的服务器，其次，稳定可靠的kafka版本，本篇使用kafka_2.11-0.9.0.1。准备192.168.244.131、192.168.244.133、192.168.244.134，k
转载
2024-05-04 10:27:39
87阅读
消息中间件部署及比较：rabbitMQ、activeMQ、zeroMQ、rocketMQ、Kafka、redis 一发一存一消费，没有最好的消息队列中间件(简称消息中间件)，只有最合适的消息中间件。消息队列常用的使用场景：
非实时性：当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。主要解决了应用耦合、异步处理、流量削锋等问题。
应用耦合：多
5.1集群部署的基本流程下载安装包、解压安装包、修改配置文件、分发安装包、启动集群5.2集群部署的基础环境准备安装前的准备工作（zk集群已经部署完毕）l 关闭防火墙chkconfig iptables off && setenforce 0l 创建用户groupadd realtime &&useradd realtime&&
一、基于zookeeper+dubbo组合的分布式系统分布式系统中，常用zookeeper+dubbo组合zookeeper：一个分布式的、开放源码的分布式应用程序协调服务。提供的功能：配置维护、域名服务、分布式同步、组服务dubbo：分布式服务框架，按照分层的方式来架构，使各层解耦。模型简单，分为服务提供方和服务消费方例子：有两个模块A、B，dubbo负责解决A模块和B模块的远程过程调用（RPC
转载
2024-04-03 14:28:20
15阅读
一、zookeeper配置说明
Zookeeper 的配置文件在 conf 目录下，将 zoo_sample.cfg 改名为 zoo.cfg.
1.单机模式
tickTime=2000
dataDir=Zookeeper安装目录下的data目录
clientPort=2181
tickTime：这个时间是作为 Zookeeper 服务器之间或客
转载
2024-03-20 19:51:23
58阅读
问题导读1.Kafka有哪几种配制方法？2.如何启动一个Consumer实例来消费消息？Kafka集群配置比较简单，为了更好的让大家理解，在这里要分别介绍下面三种配置单节点：一个broker的集群单节点：多个broker的集群多节点：多broker集群一、单节点单broker实例的配置 1. 首先启动zookeeper服务 &
转载
2023-11-29 15:05:54
98阅读
