这篇文章主要介绍了spring纯java配置集成kafka代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

kafkaconfig.java
package com.niugang.config;
import java.util.hashmap;
import java.util.map;
import org.apache.kafka.clients.consumer.consumerconfig;
import org.apache.kafka.clients.consumer.offsetandmetadata;
import org.apache.kafka.clients.consumer.offsetcommitcallback;
import org.apache.kafka.clients.producer.producerconfig;
import org.apache.kafka.common.topicpartition;
import org.apache.kafka.common.serialization.stringdeserializer;
import org.apache.kafka.common.serialization.stringserializer;
import org.slf4j.logger;
import org.slf4j.loggerfactory;
import org.springframework.context.annotation.bean;
import org.springframework.context.annotation.configuration;
import org.springframework.kafka.annotation.enablekafka;
import org.springframework.kafka.config.concurrentkafkalistenercontainerfactory;
import org.springframework.kafka.core.consumerfactory;
import org.springframework.kafka.core.defaultkafkaconsumerfactory;
import org.springframework.kafka.core.defaultkafkaproducerfactory;
import org.springframework.kafka.core.kafkatemplate;
import org.springframework.kafka.core.producerfactory;
import org.springframework.kafka.listener.abstractmessagelistenercontainer;
import com.niugang.controller.senderconttoller;
/**
*
* @classname: kafkaconfig
* @description:kafka配置类,基于spring java纯配置的
* @author: niugang
* @date: 2018年10月20日 下午8:04:26
* @copyright: 863263957@qq.com. all rights reserved.
*
*/
@configuration
@enablekafka
public class kafkaconfig {
private logger logger = loggerfactory.getlogger(kafkaconfig.class);
@bean
public concurrentkafkalistenercontainerfactory kafkalistenercontainerfactory() {
concurrentkafkalistenercontainerfactory factory = new concurrentkafkalistenercontainerfactory<>();
// 偏移量提交方式
// factory.getcontainerproperties().setackmode(abstractmessagelistenercontainer.ackmode.count);
// 异步提交偏移量(默认就是true)
// factory.getcontainerproperties().setsynccommits(true);
//回调函数经常用于记录提交错误
/*factory.getcontainerproperties().setcommitcallback(new offsetcommitcallback() {
@override
public void oncomplete(map offsets, exception exception) {
if (exception != null) {
logger.error("commit failed for effsets {}", offsets, exception);
}
}
});*/
factory.setconsumerfactory(consumerfactory());
return factory;
}
/**
* 消费者工厂配置
*
* @return
*/
@bean
public consumerfactory consumerfactory() {
return new defaultkafkaconsumerfactory<>(consumerprops());
}
/**
* 生产者工厂配置
*
* @return
*/
@bean
public producerfactory producerfactory() {
return new defaultkafkaproducerfactory<>(senderprops());
}
/**
* kafka发送消息模板
*
* @return
*/
@bean
public kafkatemplate kafkatemplate() {
return new kafkatemplate(producerfactory());
}
/**
* 消费者监听
*
* @return
*/
@bean
public consumerlistener listener() {
return new consumerlistener();
}
/**
* 消费配置方法
*
* @return
*/
private map consumerprops() {
map props = new hashmap<>();
props.put(consumerconfig.bootstrap_servers_config, "localhost:9092");
props.put(consumerconfig.group_id_config, "kafka_group_1");
/**
* enable.auto.commit 默认5秒自动提交偏移量
*/
props.put(consumerconfig.enable_auto_commit_config, true);
props.put(consumerconfig.auto_commit_interval_ms_config, "100");
props.put(consumerconfig.session_timeout_ms_config, "15000");
/**
* kafka是基于key-value键值对的，以下配置key和value的反序列化放
*/
props.put(consumerconfig.key_deserializer_class_config, stringdeserializer.class);
props.put(consumerconfig.value_deserializer_class_config, stringdeserializer.class);
return props;
}
/**
* 生产者配置方法
*
* 生产者有三个必选属性
* 
* 1.bootstrap.servers broker地址清单，清单不要包含所有的broker地址，
* 生产者会从给定的broker里查找到其他broker的信息。不过建议至少提供两个broker信息，一旦 其中一个宕机，生产者仍能能够连接到集群上。
* 
* 
* 2.key.serializer broker希望接收到的消息的键和值都是字节数组。 生产者用对应的类把键对象序列化成字节数组。
* 
* 
* 3.value.serializer 值得序列化方式
* 
*
*
* @return
*/
private map senderprops() {
map props = new hashmap<>();
props.put(producerconfig.bootstrap_servers_config, "localhost:9092");
/**
* 当从broker接收到的是临时可恢复的异常时，生产者会向broker重发消息，但是不能无限
* 制重发，如果重发次数达到限制值，生产者将不会重试并返回错误。
* 通过retries属性设置。默认情况下生产者会在重试后等待100ms，可以通过 retries.backoff.ms属性进行修改
*/
props.put(producerconfig.retries_config, 0);
/**
* 在考虑完成请求之前，生产者要求leader收到的确认数量。这可以控制发送记录的持久性。允许以下设置：
* 
* 
*  acks = 0 code>如果设置为零，则生产者将不会等待来自服务器的任何确认。该记录将立即添加到套接字缓冲区并视为已发送。在这种情况下，无法保证服务器已收到记录，并且
* retries code>配置将不会生效(因为客户端通常不会知道任何故障)。为每条记录返回的偏移量始终设置为-1。
* 
 
  acks = 1  
 
* 这意味着leader会将记录写入其本地日志，但无需等待所有follower的完全确认即可做出回应。在这种情况下，
* 如果leader在确认记录后立即失败但在关注者复制之前，则记录将丢失。
* 
 
  acks = all  
 
* 这意味着leader将等待完整的同步副本集以确认记录。这保证了只要至少一个同步副本仍然存活，记录就不会丢失。这是最强有力的保证。
* 这相当于acks = -1设置
*/
props.put(producerconfig.acks_config, "1");
/**
* 当有多条消息要被发送到统一分区是，生产者会把他们放到统一批里。kafka通过批次的概念来 提高吞吐量，但是也会在增加延迟。
*/
// 以下配置当缓存数量达到16kb，就会触发网络请求，发送消息
props.put(producerconfig.batch_size_config, 16384);
// 每条消息在缓存中的最长时间，如果超过这个时间就会忽略batch.size的限制，由客户端立即将消息发送出去
props.put(producerconfig.linger_ms_config, 1);
props.put(producerconfig.buffer_memory_config, 33554432);
// key的序列化方式
props.put(producerconfig.key_serializer_class_config, stringserializer.class);
// value序列化方式
props.put(producerconfig.value_serializer_class_config, stringserializer.class);
return props;
}
}
consumerlistener.java
package com.niugang.config;
import org.springframework.kafka.annotation.kafkalistener;
/**
*
* @classname: consumerlistener
* @description:消费者监听
* @author: niugang
* @date: 2018年10月21日 下午2:05:21
* @copyright: 863263957@qq.com. all rights reserved.
*
*/
public class consumerlistener {
/**
* topicpattern:支持正则表达式
* @param foo
*/
@kafkalistener(id = "foo", topics = "annotated1")
public void listen1(string foo) {
system.out.println("接收消息为："+foo);
}
}