前言要理解kafka的leader选举，先了解下zookeeper的基本操作zookeeper的基本操作备注：本章主要是指作为zookeeper的客户端的基本操作1）四种节点类型PERSISTI PERSIST_SEQUENTIAL EPHEMERAL EPHEMERAL_SEQUENTIAL（1）PERSIST：永久节点，
转载
2024-06-14 23:18:24
151阅读
目录前言顺序问题消息积压主键冲突数据库主从延迟重复消费多环境消费问题后记前言我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。我当时在后厨显示系统团队，该系统属于订单的下游业务。用户点完菜下单后，订单系统会通过发kafka消息给我们系统，系统读取消息后，做业务逻辑处理，持久化订单和菜品数
Kafka的模型介绍：一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等。 主要应用场景是：日志收集系统和消息系统。 上图中一个topic配置了3个partition。Partition1有两个offset：0和1。Partition2有4个offset
转载
2024-08-07 10:10:25
0阅读
Apache Kafka是一个分布式消息发布订阅系统，而Kafka环境往往是在集群中配置的。本篇就对配置3个broker的Kafka集群进行介绍。Zookeeper集群Kafka本身提供了启动了zookeeper的脚本和配置文件。1. 修改配置文件进入kafka主目录，编辑文件config/zookeeper.properties，配置如下：tickTime=2000 #心跳时间，毫秒
initL
转载
2024-04-24 12:49:28
297阅读
一、配置单机Kafka Kafka官网：http://kafka.apache.org/ 1、下载&解压wget https://mirrors.bfsu.edu.cn/apache/kafka/2.7.0/kafka_2.12-2.7.0.tgz
tar -zxvf kafka_2.12-2.7.0.tgz 2、修改配置文件vi /root/rj/kafka/kafka_2.12-
Kubernetes 标签什么是 Kubernetes 标签标签（Labels）是附加到 Kubernetes 对象（比如 Pods）上的键值对。标签示例如下："metadata": {
"labels": {
"key1" : "value1",
"key2" : "value2"
}
}标签作用标签旨在用于指定对用户有意义且相关的对象的标识属性，但不直接对核心系统有语义
转载
2024-08-27 15:46:29
29阅读
作者 | 赵健博 AI 前线导读：Kafka 系统在快手有着很广泛的应用，随着其业务的高速发展， Kafka 集群的规模也成指数增长，目前快手 Kafka 集群日消息处理总量达数万亿级别，峰值超过 1 亿 /s。与此同时，快手也面临了很多新问题与技术挑战。本文整理自快手高级架构师、大数据架构团队负责人赵健博在 QCon 北京2019 上的演讲，他介绍了 Kafka 系统在快
转载
2024-03-22 09:07:46
206阅读
架构图 一个kafka集群中包含一个或多个Producer、一个或多个broker、一个或多个ConsumerGrop以及一个Zookeeper集群。kafka通过Zookeeper管理kafka集群配置、leader副本的选举、生产者的负载均衡等。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。专业术语kafkaCluste
转载
2024-03-15 08:34:24
110阅读
在Kubernetes环境中，部署和维护一个Kafka集群是很常见的任务。当出现集群中某一个节点挂掉的情况时，我们需要及时处理和恢复，以保证整个集群的稳定性和可用性。在本篇文章中，我将告诉你如何应对这种情况。
### 步骤概览
以下是处理Kafka集群中一个节点挂掉的整个流程概览：
| 步骤 | 操作 |
| --- | --- |
| 1 | 判断节点状态 |
| 2 | 删除故障节点 |
原创
2024-04-26 09:40:07
540阅读
之前为大家分享了不少 Kafka 原理解析类的干货，今天咱们一起来看看 360 基于 Kafka 千亿级数据量的深度实践！ 本文主要围绕如下内容分享：
消息队列选型Kafka 在 360 商业化的现状Kafka Client 框架数据高可用负载均衡鉴权、授权与 ACL 方案Quota 机制跨 IDC 的数据同步监控告警线上问题及解决方案消息队列选型 当时主要考虑以下几个维度：
转载
2024-03-22 09:39:33
156阅读
11 Hadoop NameNode HA11.1 概述HDFS 2.x解决 HDFS 1.0 中单点故障和内存受限问题，联邦 HAHDFS2.x 中 Federation 和 HA 分离，HA 只能有两个 NameNode解决单点故障HDFS HA：通过主备 NameNode 解决如果主 NameNode 发生故障，则切换到备 NameNode 上。解决内存受限问题HDFS Fede
简介生产消费消息投递语义文件组织常用配置项简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增
如何为Kafka集群选择合适的Partitions数量
Hadoop技术博文 这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。文章目录123456 越多的分区可以提供更高的吞吐量Kafka集群中，partition的数量越多，意味着可以到达的吞吐量越大。 我们可以粗略地通过吞吐量来计算kafka集群的分
转载
2024-02-28 23:08:01
618阅读
说明版本：kafka_2.10-0.8.2.1 依赖zookeeper，所以先安装zookeeper集群，kafka启动前先启动zookeeper kafka与zookeeper都在同一个节点 主机ip映射:node01 192.168.238.100
node02 192.168.238.101
node03 192.168.238.102修改配置文件vim config/server.p
安装zookeeper 3.4.11单机集群1.说明 需要说明的几个问题：1）kafka依赖zookeeper,请先安装zookeeper。2）zookeeper依赖java环境，请先安装jdk。3）zookeeper单机集群规划：3个节点，端口号分别是2181、2812、2813。4）zookeeper单机集群关键在于
转载
2023-09-16 21:43:27
337阅读
kafka 生产者的一些配置:acks：acks 参数指定了必须要有多少个分区副本收到消息，生产者才会认为消息写入是成功的。这个参数对消息丢失的可能性有重要影响。主参数有如下选项。如果 acks=0 生产者在成功写入消息之前不会等待任何来自服务器的响应。也就是说，如果当中出现了问题，导致服务器没有收到消息，那么生产者就无从得知，消息也就丢失了。不过，因为生产者不需要等待服务器的响应，所以它可以以网
转载
2024-04-06 21:57:01
757阅读
# Docker Compose部署单节点Kafka3教程
## 1. 整体流程
下面是实现Docker Compose部署单节点Kafka3的整体流程：
步骤 | 描述
--- | ---
1 | 创建Docker Compose配置文件
2 | 定义Kafka服务
3 | 配置Kafka服务
4 | 构建Kafka Docker镜像
5 | 启动Kafka服务
## 2. 具体步骤
原创
2023-11-29 15:01:20
606阅读
# 使用Docker部署Kafka3
## 什么是Kafka3和Docker
首先让我们分别了解一下Kafka3和Docker是什么。
**Kafka3**是由Apache软件基金会开发的一个开源的分布式事件流平台，用于处理实时数据流。Kafka3具有高性能、可扩展性和持久性的特点，常用于构建实时流数据处理应用。
**Docker**是一个开源的应用容器引擎，可以让开发者将自己的应用以及运
原创
2024-06-04 05:43:21
181阅读
Zookeeper核心概念Zookeeper是什么？简单来说Zookeeper和Mysql，Redis一样都是用于存储数据的一个服务，那么Zookeeper有什么特点呢？Zookeeper是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能Zookeeper的数据结构Z
转载
2024-10-10 11:08:48
54阅读
【编者的话】Docker技术炙手可热，但是对于初创企业如何利用Docker这门新技术来解决内网开发或者测试环境的快速部署，解放运维并提高工作效率，尤其在创业之初人力资源不足的情况下，更为重要。为此我和公司一位开发同学一起研究的关于Docker快速部署应用的解决方案架构，下面是整个方案部署的步骤，由于资源有限过程中有问题还望大家指正交流，谢谢！
架构图
部署说明：
