背景介绍Kafka简介Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时
转载
2017-02-21 14:19:27
413阅读
吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传...
转载
2023-02-01 13:55:56
115阅读
原文地址在Kafka源码分析－序列2中，我们提到了整个Producer client的架构图，如下所示：其它几个组件我们在前面都讲过了，今天讲述最后一个组件RecordAccumulator.Batch发送在以前的kafka client中，每条消息称为 “Message”，而在Java版client中，称之为”Record”，同时又因为有批量发送累积功能，所以称之为RecordAccumulat
转载
2018-02-02 20:44:34
1002阅读
简介多租户保证： 同一个partition内的顺序性； consumer能够按序看到日志文件中的记录； 对于副本因子为N的topic，即使N-1个服务器宕机，已经提交到日志的记录能够不被丢失。用作消息系统： 简化了传统消息系统的两种概念：queuing publish-subscribe 将topic中的每一个partition分配给组里的一个consumer，能够保证同一个partit
转载
2024-02-29 12:58:55
30阅读
一、BrokerStates.scala
定义了目前一个kafka broker的7中状态 ——
1. NotRunning：未运行
2. Starting：启动中
3. RecoveringFromUncleanShutdown：从上次异常恢复中
4. RunningAsBroker：已启动
Kafka基本概念
Kafka初识Kafka是什么kafka是消息引擎系统并不是严格意义上的消息队列，它的特点在于高吞吐量，削峰填谷，大流量下防止下游系统链路遭到流量冲击而瘫痪。另外就是解耦。所以Kafka和传统的消息队列比如ActivateMQ或者RabbitMQ是有区别的，它们适用场景也不同。Kafka具有高吞吐量、高横向扩容以及故障转移，支持幂等性
上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞？」中提到了缓冲池，后面再经过一番阅读源码后，发现了这个缓冲池设计的很棒，被它的设计思想优雅到了，所以忍不住跟大家继续分享一波。在新版的
Kafka Producer 中，设计了一个消息缓冲池，在创建 Producer 时会默认创建一个大小为 32M 的缓冲池，也可以通过
buffer.memory 参数指定缓冲池的大
转载
2021-06-05 21:14:47
549阅读
上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞？」中提到了缓冲池，后面再经过一番阅读源码后，发现了这个缓冲池设计的很棒，被它的设计思想优雅到了，所以忍不住跟大家继续分享一波。
在新版的 Kafka Producer 中，设计了一个消息缓冲池，在创建 Producer 时会默认创建一个大小为 32M 的缓冲池，也可以通过 buffer.memory 参数指定缓冲池
转载
2020-09-14 07:45:00
231阅读
2评论
上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞？」中提到了缓冲池，后面再经过一番阅读源码后，发现了这个缓冲池设计的很棒，被它的设计思想优雅到了，所以忍不住跟大家继续分享一波。
在新版的 Kafka Producer 中，设计了一个消息缓冲池，在创建 Producer 时会默认创建一个大小为 32M 的缓冲池，也可以通过 buffer.memory 参数指定缓冲池的大
转载
2021-06-12 22:26:38
270阅读
2评论
实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建
转载
2023-01-02 16:53:31
73阅读
消息由生产者发布到Kafka集群后，会被消费者消费。消息的消费模型有两种：推送模型（Push）和拉取模型（Pull）。
原创
2024-04-22 10:55:28
58阅读
Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。Kafka 本身设计也非常精巧，有很多关键的知识点需要注意。在面试中，也常常被问到。整理篇文章，梳理一下自己的知识点。架构设计问题Kafka 整体架构如下：Figure 1. Kafka 架构Kafka 架构分为以下几个部分Producer：消息生产者，就是向 Kafka
转载
2023-06-25 13:16:38
44阅读
目前来说市面上可以选择的消息队列非常多，像activemq，rabbitmq，zeromq已经被大多数人耳熟能详，特别像activemq早期应用在企业中的总线通信，基本作为企业级IT设施解决方案中不可或缺的一部分。目前来说Kafka已经非常稳定，并且逐步应用更加广泛，已经算不得新生事物，但是不可否认 ...
转载
2021-09-29 10:28:00
109阅读
2评论
RocketMQ与Kafka IO区别引言Kafka 存储原理topic与partitionpartition与segment如何利用索引确定消息位置消息有序性RocketMQ 存储原理 引言简单说说RocketMQ与Kafka的IO区别。如果文章写错了，请下面留言给我。Kafka 存储原理Kafka在创建topic时会指定partition数量，在物理层面上有几个partition就有几个文件
转载
2024-10-10 23:34:44
63阅读
ConcurrentHashMap的初步使用及场景CHM的使用ConcurrentHashMap是J.U.C
原创
2021-08-04 16:08:33
198阅读
ConcurrentHashMap的初步使用及场景CHM的使用ConcurrentHashMap是J.U.C包里面提供的一个线程安全并且高效的HashMap，所以Conc...
转载
2021-07-23 13:54:42
175阅读
Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。关于这个东西，相信很多人都用过，本文意在通过对memcached的实现及代码分析，获得对这个出色的开源软件更深入的了解，并可以根据我们的需要对其进行更进一步的优化。末了将通过对BSM_Memcache扩展的分析，加深对memcache
转载
精选
2011-02-23 16:55:02
282阅读
ava.util.HashMap是很常见的类，前段时间公司系统由于对 HashMap使用不当，导致cpu百分之百，在并发环境下使用HashMap 而没有做同步，可能会引起死循环，关于这一点，sun的官方网站上已有阐述，这并非是bug。
HashMap的数据结构
HashMap主要是用数组来存储
转载
精选
2011-09-20 20:54:55
320阅读
