Java_老男孩的博客_Kafka

再过半小时，你就能明白kafka的工作原理了

为什么需要消息队列　　周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了……　　第二天正常上着班，突然接到快递小哥的电话：　　小哥：“你是xx吗？你的女朋友到了，我现在在你楼下，你来拿一下吧！”。　　我

Java

程序员

后端开发

Kafka

消息队列

原创 2019-06-07 16:58:37 658 阅读

Kafka 消息格式中的变长字段（Varints）

kafka从0.11.0版本开始所使用的消息格式版本为v2，这个版本的消息相比于v0和v1的版本而言改动很大，同时还参考了ProtocolBuffer而引入了变长整型（Varints）和ZigZag编码。为了更加形象的说明问题，首先我们来了解一下变长整型。Varints是使用一个或多个字节来序列化整数的一种方法。数值越小，其所占用的字节数就越少。Varints中每个字节都有一个位于最高位的msb位

Java

程序员

Kafka

消息队列

Varints

原创精选 2019-05-23 14:58:22 3603 阅读

一文看懂 Kafka 消息格式的演变

摘要对于一个成熟的消息中间件而言，消息格式不仅关系到功能维度的扩展，还牵涉到性能维度的优化。随着Kafka的迅猛发展，其消息格式也在不断的升级改进，从0.8.x版本开始到现在的1.1.x版本，Kafka的消息格式也经历了3个版本。本文这里主要来讲述Kafka的三个版本的消息格式的演变，文章偏长，建议先关注后鉴定。Kafka根据topic（主题）对消息进行分类，发布到Kafka集群的每条消息都需要指

Java

程序员

Kafka

消息队列

消息中间件

原创 2019-05-22 16:29:31 978 阅读

再看 Kafka Lag

在《Kafka的Lag计算误区及正确实现》一文中提及了kafka.admin.ConsumerGroupCommand.PartitionAssignmentState无法被外部访问，故要将PartitionAssignmentState前的protected修饰符去掉可以直接将describeGroup返回的结果转换成JSON然后传至监控页面（supportedbyYANGliiNoba）。代码

Java

Kafka

程序员

Kafka Lag

消息队列

原创 2019-05-21 15:18:43 1054 阅读

如何获取 Kafka 的消费者详情 —— 从 Scala 到 Java 的切换

前文摘要在前面的文章《Kafka的Lag计算误区及正确实现》中介绍了如何计算消费者的消费滞后量(Lag)，并且讲解了如何调用Kafka的kafka.admin.ConsumerGroupCommand文件中的KafkaConsumerGroupService来发送OffsetRequest和OffsetFetchRequest两个请求，进而通过两个请求结果之间的差值来获得结果。不过如果你不想修改k

Java

Kafka

程序员

消息队列

消息中间件

原创 2019-05-20 15:37:52 1502 阅读

Kafka 的 Lag 计算误区及正确实现

前言消息堆积是消息中间件的一大特色，消息中间件的流量削峰、冗余存储等功能正是得益于消息中间件的消息堆积能力。然而消息堆积其实是一把亦正亦邪的双刃剑，如果应用场合不恰当反而会对上下游的业务造成不必要的麻烦，比如消息堆积势必会影响上下游整个调用链的时效性，有些中间件如RabbitMQ在发生消息堆积时在某些情况下还会影响自身的性能。对于Kafka而言，虽然消息堆积不会对其自身性能带来多大的困扰，但难免不

Java

Kafka

消息队列

程序员

消息中间件

原创精选 2019-05-18 17:11:21 3277 阅读

消息中间件选型分析 —— 从 Kafka 与 RabbitMQ 的对比来看全局

一、前言消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能，其作为分布式系统架构中的一个重要组件，有着举足轻重的地位。目前开源的消息中间件可谓是琳琅满目，能让大家耳熟能详的就有很多，比如ActiveMQ

Java

消息中间件

RabbitMQ

Kafka

程序员

原创 2019-05-17 15:54:55 1798 阅读 1点赞

Kafka 监控架构设计

目前的Kafka监控产品有很多，比如KafkaManager、KafkaMonitor、KafkaOffsetMonitor、KafkaWebConsole、Burrow等，都有各自的优缺点，就个人而言用的最多的还是KafkaManager，不过这些并不是十分的完美。如果有条件，自定义实现一套符合自身公司业务特色与发展的监控系统尤为重要。本文主要讲述笔者个人对Kafka监控架构的认知与想法。Kaf

java

程序员

Kafka

卡夫卡

后端开发

原创精选 2019-05-15 14:56:46 4544 阅读 1点赞

Kafka 分区分配计算(分区器 Partitions )

KafkaProducer在调用send方法发送消息至broker的过程中，首先是经过拦截器Inteceptors处理，然后是经过序列化Serializer处理，之后就到了Partitions阶段，即分区分配计算阶段。在某些应用场景下，业务逻辑需要控制每条消息落到合适的分区中，有些情形下则只要根据默认的分配规则即可。在KafkaProducer计算分配时，首先根据的是ProducerRecord中

java

程序员

消息队列

kafka

后端

原创 2019-05-14 14:41:47 1894 阅读

Kafka 消息序列化和反序列化（下）

有序列化就会有反序列化，反序列化的操作是在KafkaConsumer中完成的，使用起来只需要配置一下key.deserializer和value.deseriaizer。对应上面自定义的Company类型的Deserializer就需要实现org.apache.kafka.common.serialization.Deserializer接口，这个接口同样有三个方法：publicvoidconfi

Java

kafka

程序员

消息队列

卡夫卡

原创 2019-05-13 16:42:07 2674 阅读

Kafka 消息序列化和反序列化（上）

KafkaProducer在发送消息时必须配置的参数为：bootstrap.servers、key.serializer、value.serializer。序列化操作是在拦截器（Interceptor）执行之后并且在分配分区(partitions)之前执行的。首先我们通过一段示例代码来看下普通情况下KafkaProducer如何编写：publicclassProducerJavaDemo{publ

java

程序员

kafka

消息队列

卡夫卡

原创精选 2019-05-12 21:50:48 2388 阅读

Kafka Producer 拦截器

Kafka中的拦截器（Interceptor）是0.10.x.x版本引入的一个功能，一共有两种：KafkaProducer端的拦截器和KafkaConsumer端的拦截器。本篇主要讲述的是KafkaProducer端的拦截器，它主要用来对消息进行拦截或者修改，也可以用于Producer的Callback回调之前进行相应的预处理。使用KafkaProducer端的拦截器非常简单，主要是实现Produ

java

kafka

卡夫卡

拦截器

程序员

原创精选 2019-05-11 20:30:27 2029 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Java_老男孩