Kafka架构设计Kafka核心概念生产者(Producer) ： 生产数据，并存放在指定的主题中主题(topic) ：类似于数据库中的表，按主题存储数据分区(partition) ：一个主题可以按分区存储数据，默认数据只有一个分区，一般为创建topic时指定分区数。在磁盘上体现为目录不同消费者(consumer) ： 消费存储在主题中的数据,数据是通过pull的方式，实现消费者消费数据，即消费者
转载
2024-04-16 19:37:32
42阅读
简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增加partition的数量来进行横向扩容。
转载
2024-03-27 17:09:16
149阅读
说说你对kafka的理解kafka是一个流式数据处理平台，他具有消息系统的能力，也有实时流式数据处理分析能力，只是我们更多的偏向于把他当做消息队列系统来使用。如果说按照容易理解来分层的话，大致可以分为3层：第一层是Zookeeper，相当于注册中心，他负责kafka集群元数据的管理，以及集群的协调工作，在每个kafka服务器启动的时候去连接到Zookeeper，把自己注册到Zookeeper当中第
转载
2024-08-07 10:06:36
38阅读
导语 这篇博客主要是为大家分享一下关于Kafka集群消息的处理与集群的维护，之前的博客中简单的描述了Kafka的基本的原理以及集群架构，这篇博客主要是详细介绍一下Kafka集群的消息处理以及集群的维护 文章目录Kafka消息组织原理Kafka消息的写入操作原理Kafka消息删除原理Kafka消息检索原理Segment file 组成和物理结构index file 组成和物理结构总结 Kafka
转载
2024-04-07 22:18:04
36阅读
目录一、Kafka基本结构（11个）1、主题2、消息3、分区和副本4、Leader 副本和Follower 副本5、偏移量6、日志段7、代理8、生产者9、消费者和消费组10、ISR11、ZooKeeper二、Kafka的特性（9个）1、消息持久化2、高吞吐量3、扩展性4、多客户端支持5、Kafka Streams6、安全机制7、数据备份8、轻量级9、消息压缩三、Kafka应用场景（5个）1、消息系
转载
2024-03-01 14:18:01
67阅读
文章目录前言一、Kafka基础知识二、Kafka分区副本参考 前言在以前的定义中，Kafka被定义为一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域，类似的产品主要有ActiveMQ、RabbitMQ、RocketMQ…，当然我们知道kafka的作用远不止用于消息队列，Kafka作为消息队列主要是基于点对点模式和基于发布订阅模式，其中，点对点模
转载
2024-03-27 09:57:40
63阅读
文章目录1.第一次分治2.第二次分治3.第三次分治4.第四次分治5.查询逻辑6.总结1.第一次分治kafka通过topic给用户提供数据的读写，对于不同的业务来说
原创
2022-05-26 01:22:32
4902阅读
底层架构6.1 存储架构6.1.1 分段存储开篇讲过，kafka每个主题可以有多个分区，每个分区在它所在的broker上创建一个文件夹每个分区又分为多个段，每个段两个文件，log文件里顺序存消息，index文件里存消息的索引段的命名直接以当前段的第一条消息的offset为名注意是偏移量，不是序号！ 第几条消息 = 偏移量 + 1。类似数组长度和下标。所以offset从0开始（可以开新队列新grou
转载
2024-04-17 11:15:58
99阅读
Kafka框架，在大数据生态当中，以作为消息总线使用闻名，尤其是实时数据流消息场景下，Kafka可以说是名气响当当。当然，这也得益于Kafka的原始开发团队背景，毕竟，Kafka源自LinkedIn。今天的大数据入门分享，我们就来讲讲Kafka基础知识。什么是kafka？从官方文档的定义来说，Apache Kafka是一个分布式发布/订阅消息系统，能够处理高并发的大量数据，将实时消息从一个端点传到
转载
2024-03-22 10:49:05
95阅读
Kafka-概述，消息队列，基础架构 文章目录Kafka-概述，消息队列，基础架构概述消息队列Kafka基础架构 概述Kafka是一个分布式的基于发布 / 订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。消息队列传统消息队列的应用场景使用消息队列的好处1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效时，不
转载
2024-03-19 12:43:09
23阅读
kafka、redis，zookeeper，最近火遍程序员话题界的技术名词，但是，程序员整哈才能够的开发流程，都是针对问题解决问题的单线程运行，你真的了解这些技术吗？kafka。作为大数据和架构的宠儿，它有什么魅力，竟让无数程序员竞折腰，跟随文章，我们来解开kafka的神秘面纱！！定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要应用与大数据实时处理领域
转载
2024-06-23 06:56:04
76阅读
/* 数据的逻辑结构 指数据元素之间的逻辑关系。即从逻辑关系上描述数据，它与数据的存储无关，是独立于计算机的。 逻辑结构可细分为4类： */ /* 数据的物理结构 索引：相当于一个二位数组，通过每行的头指针找到这一行的每个元素 散列：就是一个Hash表 通过键值对存储元素 */ /* 数据的运算 */
转载
2016-07-15 10:22:00
570阅读
2评论
基础知识RabbitMQ是一个开源的消息代理和队列服务器，用来通过普通协议在完全不同的应用之间共享数据，它是使用Erlang语言来编写的，并且是基于AMQP协议的；RabbitMQ高性能的原因Erlang语言在交换机的交互方面性能优秀的（Erlang语言最初在于交换机领域的架构模式，这样使得RabbitMQ在Broker之间进行数据交互的性能是非常优秀的）Erlang有着和原生Socket一样的延
转载
2024-07-21 09:07:34
21阅读
文章目录前言架构图Kafka总控制器ControllerController选举机制Partition副本选举Leader机制消费者消费消息的offset记录机制消费者Rebalance机制Rebalance过程如下第一阶段：选择组协调器第二阶段：加入消费组JOIN GROUP第三阶段（ SYNC GROUP)消费者Rebalance分区分配策略：producer发布消息机制剖析写入方式消息路由
转载
2024-08-03 15:32:01
29阅读
文章目录数据结构入门1 数据结构基础知识2 算法复杂度数据结构入门数据结构+算法=程序数据结构+算法=程序数据结构+算法=程序1 数据结构基础知识数据指所有能输入到计算机中的描述客观事物的符号，包括文本、声音、图像、符号等。数据元素数据元素是数据的基本单位，也称节点或记录，如下图所示。数据项数据项表示有独立含义的数据最小单位，也称域。若干个数据项构成一个数据元素，数据项是不可分割的最小单位，如上图所示的“86”。数据对象数据对象是指相同特性的数据元素的集合，是数据的一个子集。数据结
原创
2021-06-21 15:35:18
2445阅读
SDS 定义：struct sdshdr{
//记录buf数组中已使用字节的数量
//等于 SDS 保存字符串的长度
int len;
//记录 buf 数组中未使用字节的数量
int free;
//字节数组，用于保存字符串
char buf[];
}用SDS保存字符串 “Redis”具体图示如下：
转载
2024-06-30 16:13:14
49阅读
线性表的特点1.表的个数有限2.表中元素具有逻辑上的顺序性，在序列中各元素排序有其先后次序3.表中元素都是数据元素，每一个元素都是单个元素4.表中元素的数据类型都相同.这意味着每一个元素占有相同大小的存储空间5.表中元素具有抽象性．仅仅讨论元素间的逻辑关系，不考虑元素究竟表示什么内容．[注]线性表是
原创
2022-06-28 23:30:20
656阅读
DataStructure principles: 区间：Left inclusive interval 效率：边界判断，branch prediction 效率：+= vs. =+ 10^9+7: why, how: 1e9+7 knowledges: Complexity: Ο, Θ, Ω re ...
转载
2021-08-13 15:43:00
830阅读
2评论
当你开始学习编程，了解和掌握基础数据结构是至关重要的，因为它们是解决问题和管理数据的基础。本文将重点介绍Python中的五个基础数据结构：列表、元组、字典、集合和字符串，并使用示例代码进行详细说明。列表（List）
列表是一种有序、可变的数据结构，它允许你存储多个元素，这些元素可以是不同类型的数据。创建列表使用方括号 []，并在其中包含元素，元素之间用逗号 , 分隔。my_list = [1, 2
原创
2023-10-20 08:46:46
158阅读
数据结构（一）——数据结构简介 本系列博客为学习狄泰学院《数据结构实战开发教程》笔记并根据网络资料总结而来。 狄泰学院：https://dt4sw.ke.qq.com/一、数据结构简介数据结构是相互间存在特定关系的数据的集合，分为逻辑结构和物理结构。1、逻辑结构  
原创
2017-10-30 20:32:00
10000+阅读
点赞
1评论
