一、安装环境：安装软件：jdk-8u212-linux-x64.tar.gz、zookeeper- 3.4.12.tar.gz、kafka_2.10-0.10.1.1.tgz安装目录：/opt/jdk1.8.0_212、/opt/zookeeper- 3.4.12、/opt/kafka_2.10-0.10.1.1Linux OS：CentOS release 6.5 (Final)安装机器：集群有
1.kafka基本原理简介1.1名词简介： 1.producer：
消息生产者，发布消息到 kafka 集群的终端或服务。
2.broker：
kafka 集群中包含的服务器。
3.topic：
每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。
4.partition：
partition 是物理上的概念，每个 topic 包含一个或多个
转载
2024-03-07 11:21:05
163阅读
今天下午真是天朗气清啊，作者的内心也是荡漾无比，趁着这个大号的心情，给学习kafka的童鞋开一扇门~ &nb
Kafka是一个分布式的流式数据平台，用于发布和订阅消息。而KRaft是Kafka的一种复制协议，用于提供更好的容错性和高可用性。在本文中，我们将教你如何搭建一个Kafka KRaft集群。
### 步骤概览：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 下载和安装Kafka |
| 2 | 配置Kafka节点 |
| 3 | 启动Kafka节点 |
| 4 |
原创
2024-05-08 09:48:26
105阅读
Kafka-Kraft集群部署
原创
2022-10-16 00:27:45
425阅读
可以直接在 Kafka 中管理元数据。元数据的管理被整合到了 Kafka 当中，而不需要使用像 ZooKeeper 这样的第三方工具，这大大简化了 Kafka 的架构。
原创
2023-05-06 15:04:44
2381阅读
1. 下载2. 安装前提zookeeper安装。3. 安装此处使用版本为kafka_2.11-0.8.2.0.tgz3.1 上传解压缩tar -zxvf kafka_2.11-0.8.2.0.tgz -C apps
cd apps/
ln -s kafka_2.11-0.8.2.0/ kafka3.2 修改配置文件cd apps/kafka/config/主要关注：server.propertie
转载
2024-05-11 23:25:30
203阅读
Kafka集群搭建实战使用两台Linux服务器：一台192.68.10.7 一台192.168.10.8192.68.10.7 的配置信息修改192.168.10.8的配置信息修改Kafka集群原理成员关系与控制器控制器其实就是一个broker, 只不过它除了具有一般 broker的功能之外, 还负责分区首领的选举。当控制器发现一个broker加入集群时, 它会使用 broker ID来检査新加入
一、RabbitMQ的高可用RabbitMQ基于主从模式实现高可用。它有三种模式：单机模式，普通集群模式，镜像集群模式。1.单机模式单机模式就是demo级别的，生产中不会有人使用。2.普通集群模式普通集群模式就是在多台机器上启动多个rabbitmq实例，每个机器启动一个。但是创建的queue只会放在一个rabbitmq实例上面，但是其他的实例都同步了这个queue的元数据。当用户消费的时候，如果连
转载
2024-03-21 08:51:33
179阅读
架构图 一个kafka集群中包含一个或多个Producer、一个或多个broker、一个或多个ConsumerGrop以及一个Zookeeper集群。kafka通过Zookeeper管理kafka集群配置、leader副本的选举、生产者的负载均衡等。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。专业术语kafkaCluste
转载
2024-03-15 08:34:24
110阅读
前言上篇文章讲到了消息在 Partition 上的存储形式，本来准备接着来聊聊生产中的一些使用方式，想了想还有些很重要的工作组件原理没有讲清楚，比如一个 Topic 由 N 个 Partition 组成，那么这些 Partition 是如何均匀的分布在不同的 Broker 上？再比如当一个 Broker 宕机后，其上负责读写请求的主 Partition 无法正常访问，如何让从 Partition
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Ka
原创
2023-03-19 08:11:57
1917阅读
1.Kafka集群Kafka 使用 Zookeeper 来维护集群成员 (Brokers) 的信息。每个 Broker 都有一个唯一标识broker.id，用于标识自己在集群中的身份，可以在配置文件server.properties中进行配置，或者由程序自动生成。下面是 Kafka Brokers 集群自动创建的过程：每一个 Broker 启动的时候，它会在 Zookeeper 的 /broker
转载
2024-03-26 08:41:10
143阅读
方案背景假设每天集群需要承载10亿数据。一天24小时，晚上12点到凌晨8点几乎没多少数据。使用二八法则估计，也就是80%的数据（8亿）会在16个小时涌入，而且8亿的80%的数据（6.4亿）会在这16个小时的20%时间（3小时）涌入。QPS计算公式：640000000 ÷ (3x60x60) = 60000，也就是说高峰期的时候Kafka集群要扛住每秒6万的并发。磁盘空间计算，每天10亿数据，每条5
转载
2024-05-11 11:23:11
136阅读
kafka2.8之后不适用zookeeper进行leader选举，使用自己的controller进行选举 1.准备工作 准备三台服务器 192.168.3.110 192.168.
转载
2024-01-12 10:06:11
164阅读
Kafka-Kraft集群启停脚本
原创
2022-10-16 00:27:14
249阅读
kafka简介与应用场景Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。注意:Kafka并没有遵循JMS规范，它只提供了发布
文章目录1：环境准备1：jdk1.8安装2：配置主机名和IP映射3：关闭防火墙&防火墙开机自启动4：安装&启动Zookeeper2：kafka单机安装1:下载地址2：解压3:修改配置1：修改核心配置文件 /opt/kafka/config/server.properties2：注：server.properties文件的配置的全部含义4:启动kafka3：单机使用1:主题(top
转载
2024-05-05 11:13:11
3669阅读
点赞
Kafka是一个支持千亿级的分布式消息传递组件，尤其是在分布式架构中被广泛应用，所以在这里也整理了一下。想了一会，，也没想好从哪个部位开撕，，哈哈，还是随便聊聊吧。。先上个基本的图吧，一、消息发送及消费过程如上图，produce将消息发送到kafka-cluster，假如有三个broker，三个分区。同时我们有个消费组中也有三个consumer再去从对应的分区中pull取数据来进行消费处理。这里我
转载
2024-10-26 18:37:38
49阅读
# MongoDB集群更换IP操作指南
## 1. 简介
在使用MongoDB集群的过程中，有时候会需要更换集群中的某个节点的IP地址。本文将向你介绍如何完成这个操作。
## 2. 操作步骤
下表展示了更换MongoDB集群节点IP的操作步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 停止目标节点的MongoDB服务 |
| 2 | 修改节点的IP地址 |
| 3
原创
2023-08-27 03:53:49
611阅读
