一、RabbitMQ的高可用RabbitMQ基于主从模式实现高可用。它有三种模式：单机模式，普通集群模式，镜像集群模式。1.单机模式单机模式就是demo级别的，生产中不会有人使用。2.普通集群模式普通集群模式就是在多台机器上启动多个rabbitmq实例，每个机器启动一个。但是创建的queue只会放在一个rabbitmq实例上面，但是其他的实例都同步了这个queue的元数据。当用户消费的时候，如果连
转载
2024-03-21 08:51:33
179阅读
1、Kafka存储文件概述kafka采取了分片和索引机制，将每个partition分为多个segment，每个segment对应一个log文件+一个index文件（1）index文件稀疏索引：没有为每一条message建立索引，采用了稀疏存储的方式，每隔一定字节的数据建立一条索引。缺点：没有建立索引的数据需要小范围内的顺序扫描操作。（2）log文件log文件分割大小：在server.propert
转载
2024-08-08 19:43:23
50阅读
1.kafka基本原理简介1.1名词简介： 1.producer：
消息生产者，发布消息到 kafka 集群的终端或服务。
2.broker：
kafka 集群中包含的服务器。
3.topic：
每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。
4.partition：
partition 是物理上的概念，每个 topic 包含一个或多个
转载
2024-03-07 11:21:05
163阅读
Kafka是一个分布式的流式数据平台，用于发布和订阅消息。而KRaft是Kafka的一种复制协议，用于提供更好的容错性和高可用性。在本文中，我们将教你如何搭建一个Kafka KRaft集群。
### 步骤概览：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 下载和安装Kafka |
| 2 | 配置Kafka节点 |
| 3 | 启动Kafka节点 |
| 4 |
原创
2024-05-08 09:48:26
105阅读
今天下午真是天朗气清啊，作者的内心也是荡漾无比，趁着这个大号的心情，给学习kafka的童鞋开一扇门~ &nb
前言上篇文章讲到了消息在 Partition 上的存储形式，本来准备接着来聊聊生产中的一些使用方式，想了想还有些很重要的工作组件原理没有讲清楚，比如一个 Topic 由 N 个 Partition 组成，那么这些 Partition 是如何均匀的分布在不同的 Broker 上？再比如当一个 Broker 宕机后，其上负责读写请求的主 Partition 无法正常访问，如何让从 Partition
1. 下载2. 安装前提zookeeper安装。3. 安装此处使用版本为kafka_2.11-0.8.2.0.tgz3.1 上传解压缩tar -zxvf kafka_2.11-0.8.2.0.tgz -C apps
cd apps/
ln -s kafka_2.11-0.8.2.0/ kafka3.2 修改配置文件cd apps/kafka/config/主要关注：server.propertie
转载
2024-05-11 23:25:30
203阅读
Kafka集群搭建实战使用两台Linux服务器：一台192.68.10.7 一台192.168.10.8192.68.10.7 的配置信息修改192.168.10.8的配置信息修改Kafka集群原理成员关系与控制器控制器其实就是一个broker, 只不过它除了具有一般 broker的功能之外, 还负责分区首领的选举。当控制器发现一个broker加入集群时, 它会使用 broker ID来检査新加入
可以直接在 Kafka 中管理元数据。元数据的管理被整合到了 Kafka 当中，而不需要使用像 ZooKeeper 这样的第三方工具，这大大简化了 Kafka 的架构。
原创
2023-05-06 15:04:44
2381阅读
Kafka-Kraft集群部署
原创
2022-10-16 00:27:45
425阅读
一、安装环境：安装软件：jdk-8u212-linux-x64.tar.gz、zookeeper- 3.4.12.tar.gz、kafka_2.10-0.10.1.1.tgz安装目录：/opt/jdk1.8.0_212、/opt/zookeeper- 3.4.12、/opt/kafka_2.10-0.10.1.1Linux OS：CentOS release 6.5 (Final)安装机器：集群有
在 Kafka 3.3.1 中，可以使用 ACL（Access Control List）控制用户对 topic 的访问权限。在命令行
原创
2023-05-20 08:01:21
1281阅读
架构图 一个kafka集群中包含一个或多个Producer、一个或多个broker、一个或多个ConsumerGrop以及一个Zookeeper集群。kafka通过Zookeeper管理kafka集群配置、leader副本的选举、生产者的负载均衡等。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。专业术语kafkaCluste
转载
2024-03-15 08:34:24
110阅读
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Ka
原创
2023-03-19 08:11:57
1917阅读
自0.9.0.0.版本引入Security之后，Kafka一直在完善security的功能。当前Kafka security主要包含3大功能：认证(authentication)、信道加密(encryption)和授权(authorization)。信道加密就是为client到broker、broker到broker以及工具脚本与broker之间的数据传输配置SSL；认证机制主要是指配置SASL，
转载
2024-03-19 02:05:23
271阅读
前言背景算法优化改版有大需求要上线，在线特征dump数据逐步放量，最终达到现有Kafka集群5倍的流量，预计峰值达到万兆网卡80%左右(集群有几十个物理节点，有几PB的容量，网卡峰值流出流量会达到800MB左右/sec、写入消息QPS为100w+ msgs/sec)。上下游服务需要做扩容评估，提前做好容量规划，保障服务持续稳定运行L3层 dump特征 @xxx
1.依赖文章特征公共服务2.依赖用户
转载
2024-03-21 09:17:54
37阅读
1.Kafka集群Kafka 使用 Zookeeper 来维护集群成员 (Brokers) 的信息。每个 Broker 都有一个唯一标识broker.id，用于标识自己在集群中的身份，可以在配置文件server.properties中进行配置，或者由程序自动生成。下面是 Kafka Brokers 集群自动创建的过程：每一个 Broker 启动的时候，它会在 Zookeeper 的 /broker
转载
2024-03-26 08:41:10
143阅读
方案背景假设每天集群需要承载10亿数据。一天24小时，晚上12点到凌晨8点几乎没多少数据。使用二八法则估计，也就是80%的数据（8亿）会在16个小时涌入，而且8亿的80%的数据（6.4亿）会在这16个小时的20%时间（3小时）涌入。QPS计算公式：640000000 ÷ (3x60x60) = 60000，也就是说高峰期的时候Kafka集群要扛住每秒6万的并发。磁盘空间计算，每天10亿数据，每条5
转载
2024-05-11 11:23:11
136阅读
文章目录1：环境准备1：jdk1.8安装2：配置主机名和IP映射3：关闭防火墙&防火墙开机自启动4：安装&启动Zookeeper2：kafka单机安装1:下载地址2：解压3:修改配置1：修改核心配置文件 /opt/kafka/config/server.properties2：注：server.properties文件的配置的全部含义4:启动kafka3：单机使用1:主题(top
转载
2024-05-05 11:13:11
3667阅读
点赞
kafka2.8之后不适用zookeeper进行leader选举，使用自己的controller进行选举 1.准备工作 准备三台服务器 192.168.3.110 192.168.
转载
2024-01-12 10:06:11
164阅读
