kafka在SOA中的应用 kafka常用api

1、简介

• Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。所以offset的维护是Consumer消费数据是必须考虑的问题。

2、api类

需要用到的类：

KafkaConsumer：需要创建一个消费者对象，用来消费数据

ConsumerConfig：获取所需的一系列配置参数

ConsuemrRecord：每条数据都要封装成一个ConsumerRecord对象

3、自动提交offset

为了使我们能够专注于自己的业务逻辑，Kafka提供了自动提交offset的功能。

自动提交offset的相关参数：

enable.auto.commit：是否开启自动提交offset功能 auto.commit.interval.ms：自动提交offset的时间间隔

package com.gec.kafka;
import org.apache.kafka.clients.consumer.ConsumerRecord;
 import org.apache.kafka.clients.consumer.ConsumerRecords;
 import org.apache.kafka.clients.consumer.KafkaConsumer;import java.util.Arrays;
 import java.util.Properties;public class CustomConsumer {
    public static void main(String[] args) {
        Properties props = new Properties();
         props.put("bootstrap.servers", "hadoop112:9092");//Kafka集群
         props.put("group.id", "test");//消费者组，只要group.id相同，就属于同一个消费者组
         props.put("enable.auto.commit", "false");//关闭自动提交offset
         props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
         props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
         consumer.subscribe(Arrays.asList("first"));//消费者订阅主题        while (true) {
             ConsumerRecords<String, String> records = consumer.poll(100);//消费者拉取数据
             for (ConsumerRecord<String, String> record : records) {
                 System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
             }
             consumer.commitSync();//同步提交，当前线程会阻塞知道offset提交成功
         }     }
 }

 

4、手动提交offset

• 虽然自动提交offset十分简介便利，但由于其是基于时间提交的，开发人员难以把握offset提交的时机。因此Kafka还提供了手动提交offset的API。手动提交offset的方法有两种：分别是commitSync（同步提交）和commitAsync（异步提交）。两者的相同点是，都会将本次poll的一批数据最高的偏移量提交；不同点是，commitSync阻塞当前线程，一直到提交成功，并且会自动失败重试（由不可控因素导致，也会出现提交失败）；而commitAsync则没有失败重试机制，故有可能提交失败。
• 同步提交offset
• 由于同步提交offset有失败重试机制，故更加可靠，以下为同步提交offset的示例。

package com.gec.kafka;
import org.apache.kafka.clients.consumer.ConsumerRecord;
 import org.apache.kafka.clients.consumer.ConsumerRecords;
 import org.apache.kafka.clients.consumer.KafkaConsumer;import java.util.Arrays;
 import java.util.Properties;public class CustomConsumer {
    public static void main(String[] args) {
         Properties props = new Properties();
         props.put("bootstrap.servers", "hadoop112:9092");//Kafka集群
         props.put("group.id", "test");//消费者组，只要group.id相同，就属于同一个消费者组
         props.put("enable.auto.commit", "false");//关闭自动提交offset
         props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
         props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
         consumer.subscribe(Arrays.asList("first"));//消费者订阅主题        while (true) {
             ConsumerRecords<String, String> records = consumer.poll(100);//消费者拉取数据
             for (ConsumerRecord<String, String> record : records) {
                 System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
             }
             consumer.commitSync();//同步提交，当前线程会阻塞知道offset提交成功
         }
     } }

异步提交offset

package com.gec.kafka;
import org.apache.kafka.clients.consumer.*;
 import org.apache.kafka.common.TopicPartition;import java.util.Arrays;
 import java.util.Map;
 import java.util.Properties;public class CustomConsumer {
    public static void main(String[] args) {
         Properties props = new Properties();
         props.put("bootstrap.servers", "hadoop112:9092");//Kafka集群
         props.put("group.id", "test");//消费者组，只要group.id相同，就属于同一个消费者组
         props.put("enable.auto.commit", "false");//关闭自动提交offset
         props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
         props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
         consumer.subscribe(Arrays.asList("first"));//消费者订阅主题        while (true) {
             ConsumerRecords<String, String> records = consumer.poll(100);//消费者拉取数据
             for (ConsumerRecord<String, String> record : records) {
                 System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
             }
             consumer.commitAsync(new OffsetCommitCallback() {
                 @Override
                 public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception exception) {
                     if (exception != null) {
                         System.err.println("Commit failed for" + offsets);
                     }
                 }
             });//异步提交
         }
     }
 }