1.kafka每个节点叫做broker，producer向kafka发送消息时，是将消息发送给指定的topic。同时每个topic下面还细问分partition，具体到每条消息细分到哪个partition，是根据消息的key参数以及配置的partition规则来的，由于多个partition的存在，所以针对同一个topic，其吞吐量更高，并发性也越强
2.partition中消息都
一、依赖环境准备1、检查JDK是否存在且和JVM版本一致，我这里系统是64位，JVM也是64位 2、如果出现以下报错则是JVM不一致 二、安装kafka 1、下载最新版本kafka kafka官方下载路径： https://kafka.apache
近闲来无事 学习下kafka 现将笔记总计如下一.简介 kafka是由Linkedin公司开发，是一个分布式的，分区的，多副本的，多订阅者的，基于zookeeper协调的分布式日志系统（MQ系统），常见可以用于web/ngix日志，访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目 主要应用场景：日志收集系统和消息系统 kafka主要涉及目标：
Kafka 中文件的布局是以 Topic/partition 为主 ，每一个分区拥有一个物理文件夹，Kafka 在分区级别实现文件顺序写。如果一个 Kafka 集群中有成百上千个主题，每一个主题又有上百个分区，消息在高并发写入时，IO 操作就会显得很零散，效果相当于随机 IO。也就是说，Kafka 在消息写入时的 IO 性能，会随着 topic 、分区数量的增长先上升，后下降。而 RocketMQ
一、Kafka线上集群部署方案既然是集群，那必然就要有多个Kafka节点机器，因为只有单台机器构成的kafka伪集群只能用于日常测试之用，根本无法满足实际的线上生产需求。 操作系统：kafka由Scals语言和Java语言编写而成，编译之后的源代码就是普通的.class文件，文本部署到哪个操作系统应该都是一样的，但是不同操作系统的差异还是给Kafka集群带来了相当大影响。&n
生产者分析生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优化写入速度Kafka采用了两个技术， 顺序写入 和 MMFile。顺序写入： 因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗时的。所以硬盘最“讨厌”随机I/O，最喜欢顺序I/O。为了提高读写硬盘的速度，Ka
一、消息分区
不受单台服务器的限制，可以不受限的处理更多的数据
并且数据量过大之后，还会分段存储
二、顺序读写
Kafka的消息时存储在磁盘中的文件中的，在写文件时以追加的方式写入，这个顺序读写效率是很高的
效率高主要是和随机读写进行比较，主要是磁盘的寻址过程效率高
磁盘顺序读写，提升读写效率
三、页缓存
页缓存是linux中的
顺序io：每次访问磁盘的一个块时，磁臂就需移动到正确的磁道上（这段时间为寻址时间），然后盘片就需旋转到正确的扇区上（这叫旋转时延）。这套动作需要时间。那下一个磁盘块又是如何呢？如果它在磁盘的某个地方，访问它会有同样的寻道和旋转时延，我们就把这种方式的IO叫做随机IO；但是如果它刚好就在你刚才访问的那一个磁盘块的后面，磁头就能立刻遇到，不需等待，这种IO就叫顺序IO 内存映射文件（Mema
rocketmq 写文件 mmapMappedByteBuffer 写入消息的 byte 读文件 mmap读 MappedByteBuffer 发送消息给消费者 mmap + write一种：堆外 ByteBuffer 转堆内 byte 数组，通过 netty 发送另一种： netty 直接发送堆外
原创
2022-11-15 15:06:59
92阅读
kafka版本: 2.12-3.3.2<kafka_home>/config/server.properties配置文件#broker的全局唯一编号，不能重复，只能是数字。
broker.id=0
#============线程数配置===========
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=
DesignPersistence： kafka高度依赖于文件系统来存储和缓存消息。对于磁盘的正确认识：对磁盘的线性读写比随机读写快很多倍，且有研究表明：对磁盘的线性读写在有些情况下可以比内存的随机访问要更快！Efficiency： too many small I/O operation）和过多的字节拷贝（excessive byte coping）。 &
KafkaServer 会创建请求处理线程池 KafkaRequestHandlerPool，在请求处理线程池中会创建并启动多个请求处理线程 KafkaRequestHandlerrequestHandlerPool = new KafkaRequestHandlerPool(config.brokerId, socketServer.requestChannel, apis, config.nu
1.为何kafka把消息存在磁盘上，但可以轻松支持每秒百万级的写入请求 / kafka高吞吐率的原因？kafka为了防止丢失数据，将收到的消息写入磁盘中，但仍能保证高吞吐率，超过了大部分的消息中间件，使得kafka在日志处理等海量数据场景广泛应用。为了优化写入速度kafka采用了顺序写入和MMFile两个技术。因为硬盘是机械结构，每次读写都会寻址->写入，其中寻址是一个“机械动作”，它是最耗
一：Kafka特性1.为什么要用消息队列 《解耦、异步、削峰》 1.1高吞吐量、低延迟: kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个主题可以分多个分区,消费组对分区进行消费操作。 1.2可扩展性: kafka集群支持热扩展 1.3持久性、可靠性:消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 1.4容错性:允许
Kafka 是一个分布式流媒体平台，支持高吞吐量、高度分布式、容错和低延迟的消息传递的中间件.让我们了解是什么让 Kafka 如此之快的原因?低延迟 IO：在消息传递中实现低延迟的传统方法之一是通过随机存取存储器 (RAM)。虽然这种方法使它们速度很快，但 RAM 的成本远高于磁盘。当您有数百 GB 的数据时，这样的系统通常运行成本更高。Kafka 依赖磁盘进行存储和缓存。但问题是，磁盘比 RAM
broker：（kafka的节点，也就是服务器）1.接受来自生产者的消息，为消息设置偏移量，并提交消息到磁盘保存。2.为消费者提供服务，对读取分区的请求作出相应，返回保存到磁盘的消息（大部分工作就是处理客户端、分区副本和控制器发送给分区首领的请求）。控制器：其实就是一个broker，除了具有一般broker功能之外，还负责分区首领的选举。集群里启动的broker会在zookeeper里创建临时节点
一、批量插入sql语句（合并数据）能够提高程序的插入效率。主要原因是合并后日志量（MySQL的binlog和innodb的事务）减少了，降低日志刷盘的数据量和频率，从而提高效率。通过合并SQL语句，同时也能减少SQL语句解析的次数，减少网络传输的IO。二、在事务中进行插入处理（前提是数据库是基于InnoDB存储引擎）使用事务可以提高数据的插入效率，这是因为进行一个INSERT操作时，MySQL内部
回到前面说的KafkaProducer的构造器的初始化在发送器执行之后将会执行创建KafkaThread和
原创
2022-07-04 09:17:52
126阅读
本文主要讲开启kafka源码系列文章的第一步，讲Broker接受请求，处理，并应答的骨架。主要内容也是NIO相关的，kafka里面的优化点是IO线程和业务处理线程分离，提升了系统的性能。
原创
2021-07-26 16:18:48
247阅读
异常信息 ERROR [ReplicaManager broker=2] Error while making broker the leader for partition Topic: __consumer_offsets; Partition: 41; Leader: None; AssignedReplicas: ; InSyncReplicas: in dir None (kafka...
原创
2022-02-16 16:24:57
367阅读
