4.2 Kafka Consumer API之手动提交偏移量

1.代码示例

public class ConsumerSample {
    private static final String topicName = "steven";

    public static void main(String[] args) {
        //Consumer配置
        Properties props = new Properties();
        props.setProperty("bootstrap.servers", "127.0.0.1:9092");
        props.setProperty("group.id", "test");
        //手动提交需要将enable.auto.commit设置为false
        props.setProperty("enable.auto.commit", "false");
        //enable.auto.commit设置为false后，下面这一项便不会生效
        props.setProperty("auto.commit.interval.ms", "1000");
        props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.setProperty("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        //Consumer的主对象
        KafkaConsumer<String, String> consumer = new KafkaConsumer(props);
        //消费哪一个topic或者几个topic
        consumer.subscribe(Arrays.asList(topicName));
        while (true) {
            //批量拉取消息
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(10000));
            for (ConsumerRecord<String, String> record : records) {
                //对消息进行业务处理
                System.out.printf("partition = %d,offset = %d,key = %s,value = %s%n", record.partition(), record.offset(), record.key(), record.value());
                //如果有消息消费失败，则回滚，不要提交offset
            }
            //如果消息消费全部成功，则手动通知offset提交
            consumer.commitAsync();
        }
    }
}

2.代码运行结果
(1).控制台输出
运行异步发送示例代码向Kafka发送10条数据，然后再执行ConsumerSample代码进行消费，便可在控制台看见代码中指定的输出信息。停止ConsumerSample后，再次运行ConsumerSample，如果上一次消息消费全部成功，发现本次不会再输出任何内容。

partition = 0,offset = 0,key = key-0,value = value-0
partition = 0,offset = 1,key = key-1,value = value-1
partition = 0,offset = 2,key = key-2,value = value-2
partition = 0,offset = 3,key = key-3,value = value-3
partition = 0,offset = 4,key = key-4,value = value-4
partition = 0,offset = 5,key = key-5,value = value-5
partition = 0,offset = 6,key = key-6,value = value-6
partition = 0,offset = 7,key = key-7,value = value-7
partition = 0,offset = 8,key = key-8,value = value-8
partition = 0,offset = 9,key = key-9,value = value-9

同一个partition必须对应一个consumer，但同一个consumer可以对应多个partition。单个partition的消息只能由ConsumerGroup中的某个consumer消费(如果这个ConsumerGroup中只有一个consumer，那么这个consumer可以消费多个partition)。

consumer从partition中消费消息是顺序的，默认从头开始消费。

(2).终端输出

打开一个cmd终端，在E:\Kafka\kafka_2.12-1.1.0\bin\windows目录下执行kafka-console-consumer.bat --zookeeper localhost:2181 --topic steven，可以看到生产的消息。