今天看见spring提供的kakfa示范代码,于是记录一下相关的知识.
接下来的几个项目流程都是先加入kafka的依赖 +配置文件配置. 具体区别会分开描述.先附上官网示范代码的地址
[spring提供的kafka项目示范(github)](https://github.com/spring-projects/spring-kafka/tree)
1. 首先定义topic 的消息消费逻辑中 代码执行异常后 重试的次数和请求时间间隔.
@Bean
public SeekToCurrentErrorHandler errorHandler(KafkaOperations<Object, Object> template) {
return new SeekToCurrentErrorHandler(
new DeadLetterPublishingRecoverer(template), new FixedBackOff(1000L, 2));
}
2. 如果要给一个topic 记录 消费消息的过程中 发送异常并重试的 日志 可以直接使用topic名字.DLT如下代码所示
@KafkaListener(id = "dltGroup", topics = "topic名字.DLT")
public void dltListen(String in) {
logger.info("Received from DLT: " + in);
// todo 业务逻辑
}
3. @KafkaHandler 注解的使用. 此注解 的作用是在同一个topic下面,根据不同的消息体内容,切换到不同的业务逻辑里面,进行业务逻辑解藕.
比如
@Component
@KafkaListener(id = "multiGroup", topics = { "foos", "bars" })
public class MultiMethods {
private final TaskExecutor exec = new SimpleAsyncTaskExecutor();
@KafkaHandler
public void foo(Foo2 foo) {
System.out.println("Received: " + foo);
terminateMessage();
}
@KafkaHandler
public void bar(Bar2 bar) {
System.out.println("Received: " + bar);
terminateMessage();
}
@KafkaHandler(isDefault = true)
public void unknown(Object object) {
System.out.println("Received unknown: " + object);
terminateMessage();
}
private void terminateMessage() {
this.exec.execute(() -> System.out.println("Hit Enter to terminate..."));
}
}
在上述代码中,如果请求的参数类型是 foo对象 则走第一个方法.如果是 bar2对象 则走第二个方法,如果没有匹配上前面的任何一个方法 则会走最后的isDefault=true 方法.表示没有匹配上前面定义的任何一个代码,相当于switch 里面的default .当前 如果想要实现这个功能 需要对key和value进行格式化转换.
@Bean
public RecordMessageConverter converter() {
ByteArrayJsonMessageConverter converter = new ByteArrayJsonMessageConverter();
DefaultJackson2JavaTypeMapper typeMapper = new DefaultJackson2JavaTypeMapper();
typeMapper.setTypePrecedence(TypePrecedence.TYPE_ID);
typeMapper.addTrustedPackages("com.common");
Map<String, Class<?>> mappings = new HashMap<>();
mappings.put("foo", Foo2.class);
mappings.put("bar", Bar2.class);
typeMapper.setIdClassMapping(mappings);
converter.setTypeMapper(typeMapper);
return converter;
}
下面的方法代码更加直观
@KafkaHandler
public void handleStringMessage(String message) {
// 处理字符串类型的消息
System.out.println("Received string message: " + message);
}
@KafkaHandler
public void handleIntegerMessage(Integer message) {
// 处理整数类型的消息
System.out.println("Received integer message: " + message);
}
在配置文件中添加 配置如下
spring:
kafka:
producer:
value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
properties:
// 需要格式化的几个参数
spring.json.type.mapping: foo:com.common.Foo1,bar:com.common.Bar1
consumer:
value-deserializer: org.apache.kafka.common.serialization.ByteArrayDeserializer
4.发送批量的消息
5. 自定义的重试次数,重试时间等操作
/**
* attempts 重试次数
* delay 消费延迟时间
* multiplier:延迟时间系数,此例中 attempts = 4, delay = 5000, multiplier = 2 ,则间隔时间依次为5s、10s、20s、40s,最大延迟时间受 maxDelay 限制
* maxDelay 最大延迟时间 比如 这里定义的是8秒,但是重试次数是5次 在超过最大的时间之后,是不会再执行重复消费的行为了
* @param in
* @param topic
* @param offset
*/
@RetryableTopic(attempts = "5", backoff = @Backoff(delay = 2_000, maxDelay = 8_000, multiplier = 2))
@KafkaListener(id = "fooGroup", topics = "topic4")
public void listen(String in, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic,
@Header(KafkaHeaders.OFFSET) long offset) {
this.logger.info("Received: {} from {} @ {}", in, topic, offset);
if (in.startsWith("fail")) {
throw new RuntimeException("failed");
}
}
/**
* 记录所有的消费 topic 异常的消息队列
* @param in
* @param topic
* @param offset
*/
@DltHandler
public void listenDlt(String in, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic,
@Header(KafkaHeaders.OFFSET) long offset) {
this.logger.info("DLT Received: {} from {} @ {}", in, topic, offset);
}
踩坑记录:
1.我们项目是一个微服务程序 , 所以定义了生产者和消费者在common模块中 . 在其他模块中调用,但是在其他服务中调用的时候总是报错如下 .
Error deserializing key/value for partition XXX at offset 4223. If needed, please seek past the record to continue consumption.
Caused by: java.lang.IllegalArgumentException: The class 'XXX' is not in the trusted packages: [java.util, java.lang, org.XXX]. If you believe this class is safe to deserialize, please provide its name. If the serialization is only done by a trusted source, you can also enable trust all (*).
找了很多方法,也在kafka的配置文件中加入了以下配置
spring:
kafka:
producer:
properties:
# kafka 序列化异常,必须配置trusted 的安装包
spring:
json:
trusted:
packages: "*"
#和
spring:
kafka:
consumer:
properties:
spring:
json:
trusted:
packages: "*"
,但是都没有解决问题,最终的解决办法是在kafka的生产者和消费者的构建config中加入配置文件
public ConsumerFactory<String, Message> consumerFactory() {
Map<String, Object> props = new HashMap<>();
props.put(
ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
bootstrapServers);
props.put(
ConsumerConfig.GROUP_ID_CONFIG,
consumerGroupId);
props.put(
ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,
autoOffsetReset);
// 因为这个config是 设置到公共服务中 所以必须设置相信包路径
props.put(JsonDeserializer.TRUSTED_PACKAGES,"*");
return new DefaultKafkaConsumerFactory<>(
props,
new StringDeserializer(),
new JsonDeserializer<>(Message.class));
}
//另外一个 类中的Bean对象也要进行设置
@Bean
public ProducerFactory<String, Object> producerFactory() {
Map<String, Object> configProps = new HashMap<>();
configProps.put(
ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
bootstrapServers);
configProps.put(
ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
StringSerializer.class);
configProps.put(
ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
JsonSerializer.class);
configProps.put(JsonDeserializer.TRUSTED_PACKAGES,"*");
return new DefaultKafkaProducerFactory<>(configProps);
}
经过以上配置,问题解决.
暂时记录到这里后面有补充再更新