一、前言spring-kafka提供了两种事务的实现方式1.使用SpringBoot的注解@Transactional2.本地事务KafkaTemplate二、@Transactional修改生产者的配置,开启事务支持 @Bean public ProducerFactory<Integer, String> producerFactory() { DefaultKafkaProducerFactory<Integer, String&gt
原创 2021-12-31 14:06:13
915阅读
目录 简介 基本介绍 核心组件及概念 自动提交 手动提交 数据不丢失问题 kafka分区分配策略-Range kafka分区分配策略-轮询 kafka分区分配策略-粘性  kafka与rabbitmq吞吐量对比 rabbitmq架构  kafka集群架构 实战 基本配置 实战-一次生产消费过程   实战-生产者回调机制
概述是什么基于zookeeper协调的分布式日志系统(也可以当做MQ系统)特点快速持久化:可以在O(1)的系统开销下进行消息持久化;高吞吐:在一台普通的服务器上既可以达到10W/s的吞吐速率;完全的分布式系统:Broker、Producer和Consumer都原生自动支持分布式,自动实现负载均衡;支持同步和异步复制两种高可用机制;支持数据批量发送和拉取;零拷贝技术(zero-copy):减少IO操
简介这个专题讲什么呢?SpringBoot整合Kafka,不会过多的涉及Kafka的设计、源码等,主要还是在于讲述SpringBoot是如何整合Kafka的,以及一些简单的实现,文章所有的表述皆是基于本人的理解,如有不恰之处,请在文章底部评论。Kafka认识一下Kafka异军突起,是近来非常火热的一款消息中间件。消息中间件的作用非常多,常用作系统业务的解耦。例如最常听到的秒杀业务,我们也能使用消息
[b]spring-integration-kafka简单应用[/b] [b]pom.xml[/b] <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio
目录一、生产者1.1.配置1.2  发送kafka消息二、消费者2.1配置2.2消费kafka消息 作为一个MQ做基本的功能自然就是消息的生产和消费,本章以XML配置的方式实现消息的生产和消费。 一、生产者1.1.配置spring-kafka 提供了org.springframework.kafka.core.KafkaTemplatexml配置如下,pro
消费者监听类实现AcknowledgingMessageListener这个监听器,可以实现手动提交offset:
原创 2022-07-22 15:21:55
695阅读
Record Listeners The @KafkaListener annotation provides a mechanism for simple POJO listeners. The following example shows how to use it: This mechani
原创 2021-07-13 14:43:41
394阅读
一、不使用spring-kafka的原因 kafka服务端版本为0.10.0.1-Ipv20191220-hbp2.1.0,为避免版本问题导致监听失败,客户端也采用0.10.0.1版本,客户端0.10.0.1版本对应的spring-kafka版本为1.1.0,实际开发过程中发现spring-kafk
原创 2021-10-25 10:36:37
676阅读
说明从2.2.4版开始,您可以直接在注释上指定Kafka使用者属性,这些属性将覆盖在使用者工厂中配置的具有相同名称的所有属性
原创 2022-05-17 20:01:40
960阅读
kafka是一个消息队列产品,基于Topic partitions的设计,能达到非常高的消息发送处理性能。Spring创建了一个项目Spring-kafka,封装了Apache 的Kafka-client,用于在Spring项……
转载 2021-07-07 14:17:32
277阅读
CORRUPT_MESSAGE这个错误一般是压缩策略为cleanup.policy=compact的情况下,key不能为空o.a.k.c.p.i.Sender 595 [WARN] [Producer clientId=producer-1] Got error produce r
原创 2022-05-17 20:01:55
4841阅读
 1.       kafka介绍 1.1.       主要功能根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能:  1:It lets you publish and subscribe to streams of reco
转载 3月前
14阅读
Apache kafka是分布式、容错流程处理系统。本文介绍Spring集成Kafka以及其提供对Kafka Java Client Api的抽象封装。 Spring Kafka利用KafkaTemplate发送消息,@KafkaListener注解消费消息,从而实现模板化编程模式,简化Java对Kafka交互访问。1. 环境及依赖读者可以参照官网进行安装,也可以通过docker快速搭建。spri
转载 4月前
34阅读
前言kafka是目前IT中常用组件,java+kafka、python+kafka、lua+kafka、go+kafka是常见组合。kafka常用语业务层的异步数据处理。也用于agent层服务器数据的采集。大数据,ELK中kafka更是核心组件,flink+kafka进行海量数据的处理。云计算心跳管理,IT七大对象自动化监管,lua+kafka也是常见场景。kafka很牛,虽然和redis内存库不
本文是一个深入讨论如何通过优化 Kafka 的消费者确认模式来提升 I/O 密集型系统性能的案例研究。首先分享了一个实际的性能问题,通过改变一行代码中的 Kafka 消费者确认模式配置,系统性能提升了几十倍。这引出了文章的主题:Spring-Kafka 中的七种确认模式(包括两种手动确认模式和五种自动确认模式)的详细介绍和比较。作者不仅解释了每种
原创 2023-10-07 10:45:35
215阅读
springboot集成kafkaspring-kafka深入探秘
转载 2021-08-05 18:02:46
411阅读
=========正文分割线====================作为一个MQ做基本的功能自然就是消息的生产和消费,本章以XML配置的方式实现消息的生产和消费。一、生产者1.1.配置spring-kafka 提供了org.springframework.kafka.core.KafkaTemplatexml配置如下,producerProperties中的具体配置暂时不用在意,后面有一章专门讲x
转载 7月前
30阅读
一、软件版本的选择二、安装zookeeperKafka 使用 Zookeeper 保存集群的元数据信息和消费者信息。1下载zookeeperhttp://archive.apache.org/dist
原创 2021-12-31 14:50:14
326阅读
q
原创 2023-05-26 06:10:28
1015阅读
  • 1
  • 2
  • 3
  • 4
  • 5