kafka的partition 1分区消费失败

目录：

1. 如何在某个主题下的某个分区拿数据（假设my-topic有3个分区）
2. 为什么要自定义分区
3. 自定义分区操作流程

1. 创建自定义类，实现org.apache.kafka.clients.producer.Partitioner接口
2. 重写public int partition方法
3. 配置项中加入partitioner.class属性

一.在某个主题的特定分区拿数据

1. 生产者生产的数据，在分配的过程有什么原则？
   生产者代码：

package kafkaTest;

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;

import kafkaTest.util.PropertiesUtil;

public class ProducerSend {
	public static void main(String args[]) {
		
		//1.属性配置：端口、缓冲内存、最大连接数、key序列化、value序列化等等
		 /*
		 Properties props=new Properties();
		 props.put("bootstrap.servers", "localhost:9092");
		 props.put("acks", "all");
		 props.put("retries", 0); 
		 props.put("batch.size", 16384); 
		 props.put("linger.ms", 1);
		 props.put("buffer.memory", 33554432); 
		 props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); 
		 props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");*/
		
		
		//2.创建生产者对象，并建立连接,通过我们自己创建的 PropertiesUtil 工具类获得配置文件（根据传入的值，获得相对应的properties文件）
		Producer<String, String> producer = new KafkaProducer<>(PropertiesUtil.getProperties("producer"));
		
		//3.在my-topic主题下，发送消息
		for(int i = 0; i < 100; i++) {
			//1.可根据主题和内容发送，当没有key的时候，生产者生产的数据会放在该主题的所有分区均衡分布。
			//2.可根据主题、key和内容发送，当有key的时候，生产者生产的数据会放在同一个分区。
			//3.可根据主题、分区、key和内容发送
			//4.可根据主题、分区、时间戳、key和内容发送
			producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i)));
			System.out.println("消息"+i);
		}
		
		//4.关闭
		producer.close();
		
	}
}

1. 消费者拿到的数据是什么形式？

1. 如果主题只有一个分区，消费者拿到的数据就是生产者生产的所有的有序数据（数据1，2，3，4.....10)
2. 如果主题下有多个分区，生产者没有根据key发送，消费者指定了特定的分区，那么消费的数据就是生产者生产的部分数据（可能是数据1,4,7,10或者2,5,8，或者3,6,9）
3. 如果主题下有多个分区，生产者没有根据key发送，消费者没有指定特定的分区，那么消费的数据就是生产者生产的所有数据，无序数据，随机消费哪个区（数据1,3,2......或者1,2,3......或者3,2,1......或者2,3,1......等等)
4. 如果主题下有多个分区，生产者根据key发送，消费者没有指定特定的分区，那么消费的数据就是生产者生产的所有数据（数据1，2，3，4.....10)
5. 如果主题下有多个分区，生产者根据key发送，消费者指定特定的分区，那么消费的数据可能是生产者生产的所有数据，或者是没有（因为数据可能没有放在该分区）（数据1，2，3，4.....10或者无)
   消费者代码：

package kafkaTest;

import java.util.Arrays;
import java.util.Date;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;

import kafkaTest.util.PropertiesUtil;

public class ConsumerReceive {
	public static void main(String args[]) {
		
		//1.参数配置:不是每一非得配置
		/*Properties props = new Properties();
	    props.put("bootstrap.servers", "localhost:9092");
	    props.put("auto.commit.interval.ms", "1000");
	    props.put("group.id", "test");//因为每一个消费者必须属于某一个消费者组，所以必须还设置group.id
	    props.put("enable.auto.commit", "true");
	    props.put("session.timeout.ms", "30000");
	    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");*/
	    
	    //2.创建消费者对象，并建立连接
	    KafkaConsumer<String, String> consumer = new KafkaConsumer<>(PropertiesUtil.getProperties("consumer"));
	    
	    //3.设置从"my-topic"主题下拿取数据
	    //consumer.subscribe(Arrays.asList("my-topic"));
	    
	    //3.设置从my-topic主题的0号分区拿数据
	    TopicPartition tp01=new TopicPartition("my-topic", 0);
	    consumer.assign(Arrays.asList(tp01));
	    
	    //4.消费数据
	    while (true) {
	    	//阻塞时间，从kafka中取出100毫秒的数据，有可能一次性去除0-n条
	        ConsumerRecords<String, String> records = consumer.poll(100);
	        //遍历
	        for (ConsumerRecord<String, String> record : records)
	        	//打印结果
	                //System.out.printf("offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
	        	System.out.println("消费者消费的数据为："+record.value()+"-"+new Date());
	        	
	        	//手动提交
	        	consumer.commitAsync();
	    }
	}
}

二.为什么要自定义分区

假设有这么一个需求：需要把生产的数据按省份分配到10个分区，很明显，分区不够，所以自定义分区来解决这个问题

三自定义分区操作流程

1. 创建自定义类，实现org.apache.kafka.clients.producer.Partitioner接口
2. 重写public int partition方法

package kafkaTest;

import java.util.Map;

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;

public class MyPartition implements Partitioner{
    //这个方法就决定了消息往哪个分区里面发送
    //这个方法的返回值就是表示我们的数据要去哪个分区，如果返回值是0，表示我们的数据去0分区
    public int partition(String topic, Object key, byte[] bytes, Object value, byte[] bytes1, Cluster cluster) {
        System.out.println(topic);
        System.out.println(value.toString());
        return 0;
    }

    public void close() {

    }

    public void configure(Map<String, ?> map) {

    }
}

1. 加入partitioner.class属性

1. 方法一：没有使用配置文件话，直接在生产者代码中添加

props.put("partitioner.class", "KafkaTest.MyPartitioner");

1. 方法二：使用配置文件，添加

partitioner.class=KafkaTest.MyPartitioner