前言上一章讲了一下Kafka在SpringBoot如何使用,本篇文章在上一篇文章的基础上讲解如何给生产者添加监听器和拦截器自定义KafkaTemplate我这里是使用的是SpringBoot整合Kafka,SpringBoot对Kafka已经进行了自动配置,也就是我们在使用的是是否直接注入KafkaTemplate即可使用,如果需要给KafkaTemplte添加额外配置,则需要自定义KafkaTe            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-18 20:01:27
                            
                                28阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            1 环境配置 
1、导入maven坐标 
    <!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka -->
    <dependency>
        <groupId>org.springframew            
                
         
            
            
            
            Kafka是由Apache软件基金会开发的一个开源流处理平台。它是一个高吞吐量的分布式发布订阅消息系统,可以处理消费者在网站中的所有动作流数据,一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。与一些专业的流处理框架不同,Kafka Streaming计算是运行在应用端,具有简单、入门要求低、部署方便等优点。Kafka的特            
                
         
            
            
            
            #################consumer的配置参数(开始)#################
#如果'enable.auto.commit'为true,则消费者偏移自动提交给Kafka的频率(以毫秒为单位),默认值为5000。
spring.kafka.consumer.auto-commit-interval;
 
#当Kafka中没有初始偏移量或者服务器上不再存在当前偏移量时该怎么办            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-09-24 13:51:46
                            
                                17阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            我们在开发的时候经常会用到kafka作为消息订阅模式,里面会涉及到很多参数的配置,通过参数配置取优化业务处理的过程。其中,我们最常用的参数如下:kafka:
  consumer:
    enable-auto-commit: true
    group-id: groupid
    auto-commit-interval: 1000
    auto-offset-reset: late            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-21 11:25:50
                            
                                152阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            前面我们了解完broker的配置,现在我们来看下topic的配置:1.cleanup.policy 字符串要么是“delete”,要么是“compact”,或者两者都是。此配置指定在旧日志段上使用的保留策略。默认策略(“delete”)将在达到保留时间或大小限制时丢弃旧段。“compact”设置将启用topic上的日志压缩。服务器提供的默认配置是log.cleanup.policy。2.compr            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-28 09:30:34
                            
                                117阅读
                            
                                                                             
                 
                
                             
         
            
            
            
             1  * Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE  2 package org.apache.kafka.clients.consumer;  3   4 import org.apache.kafk            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-07-22 15:15:07
                            
                                169阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            POM主要增加了 org.springframework.cloud:spring-cloud-starter-stream-rocketmq 依赖,老顾采用最新Spring Boot的2.1.8.RELEASE版本,SpringCloud的Greenwich.SR2版本;Spring-Cloud-Alibaba的2.1.0.RELEASE版本。增加依赖EnableBinding配置我们需要通过在            
                
         
            
            
            
             文章目录思考题使用方式Cache 注解详解@CacheConfig@Cacheable@CachePut@CacheEvict@Caching最佳实践扩展性分析自定义 KeyGenerator自定义 CacheManager自定义 Cache自定义 CacheResolver自定义 CacheManagerCustomizers自定义 CacheErrorHandlerSpring Cache             
                
         
            
            
            
            学习消息中间件Kafka从配置到基本应用一、服务器安装配置Kafka1、配置介绍与修改2、启动3、配置开机自启4、如果不使用自带的zookeeper二、Kafka的使用场景1、异步处理2、应用解耦3、流量削锋4、日志处理5、消息通讯三、点对点消息传递模式1、介绍四、发布-订阅消息传递模式1、介绍2、依赖3、生产者4、消费者5、测试6、消费者的 auto-offset-reset 含义详解五、保证            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-03-26 21:22:21
                            
                                154阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Kafka使用一、Kafka简介Kafka是一个分布式的消息队列系统(Message Queue)。官网:https://kafka.apache.org/ kafka集群有多个Broker服务器组成,每个类型的消息被定义为topic。同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上。消息生产者producer和消费者consumer可以在多个B            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-16 23:32:31
                            
                                298阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            1 /** 2 * Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE 3 * file distributed with this work for additional information re...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-07-22 15:15:22
                            
                                34阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            因为最近遇到spring-kafka消费线程中断消费的问题,所以看了它消费线程的启动过程,来总结一下。Lifecycle和SmartLifecycle要想知道它的加载过程,首先要先了解这两个接口: Lifecycle是Spring中最基础的生命周期接口,该接口定义了容器启动和停止的方法。SmartLifecycle是对Lifecycle的一个扩展接口,相比Lifecycle增加以下功能:无需容器显            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-03 11:47:18
                            
                                89阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            1、python中KafkaProducer类1、KafkaProducer类class kafka.KafkaProducer(**configs)将记录发布到Kafka集群的Kafka客户端。生产者是线程安全的,跨线程共享一个生产者实例通常比拥有多个实例要快。生产者由一个缓冲空间池和一个后台I/O线程组成,前者保存尚未传输到服务器的记录,后者负责将这些记录转换为请求并将它们传输到集群。send            
                
         
            
            
            
              作者之前接触过消息中间件,如RocketMq;最近工作中项目使用到了Kafka,机制和RocketMq相似,这里把代码、心得总结给贴出来。运行Kafka  使用Kafka的前提是你安装好了Jdk、Scala,   https://www.scala-lang.org/download/scala2.html(Scala的,Jdk请自行搜索)   之后在这个网址:https://kafka.ap            
                
         
            
            
            
              添加和删除主题(Topic)  你可能使用过手动创建主题或发送消息时自动创建主题这样的操作。但是你并不了解其中的详情。Kafka中的主题可以在主题配置中配置为自动创建的。./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 10 --topic my-favourite            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-07-18 08:04:20
                            
                                50阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            该项目是使用的技术:SpringBoot + SpringKafka + Maven先看pom.xml文件中引入的依赖:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/X...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-09-25 09:21:07
                            
                                100阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            SpringBoot整合SpringKafka实现生产者简代码实现该项目是使用的技术:SpringBoot + SpringKafka + Maven先看pom.xml文件中引入的依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4....            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-09-25 09:21:15
                            
                                98阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             28 Redis 基于 SSD 单实例进行扩容的技术方案 Pika前言一、大内存 Redis 实例的潜在问题二、Pika 的整体架构三、Pika 如何基于 SSD 保存更多数据?四、Pika 如何实现 Redis 数据类型兼容?五、Pika 的其他优势与不足总结 前言应用 Redis 时,随着业务数据的增加(比如说电商业务中,随着用户规模和商品数量的增加),就需要 Redis 能保存更多的数据。            
                
         
            
            
            
             SNMP协议是在服务器以及硬件管理中通常都会用到的管理协议,其好处在于使用起来简单,然后又是标准化的,几乎所有的硬件设备都支持此协议。不过近期网络安全问题大家都比较关注,SNMP也饱受争议。 今天我们要讨论是是如何使用SNMP Trap发送同步消息。SNMP TRAP是SNMP协议里面通常使用的通道(其他还有GET,SET),TRAP通常是使用UDP,且协议层没有消息确认机制的,所以如