Apache Kafka 简单生产者示例

让我们使用Java客户端创建一个用于发布和使用消息的应用程序。 Kafka生产者客户端包括以下API。

KafkaProducer API

让我们了解本节中最重要的一组Kafka生产者API。 KafkaProducer API的中心部分是 KafkaProducer 类。KafkaProducer类提供了一个选项，用于将其构造函数中的Kafka代理连接到以下方法。

  • KafkaProducer类提供send方法以异步方式将消息发送到主题。 send()的签名如下
producer.send(new ProducerRecord<byte[],byte[]>(topic, 
partition, key1, value1) , callback);
  • ProducerRecord - 生产者管理等待发送的记录的缓冲区。
  • 回调 - 当服务器确认记录时执行的用户提供的回调(null表示无回调)。
  • KafkaProducer类提供了一个flush方法，以确保所有先前发送的消息都已实际完成。 flush方法的语法如下 -
public void flush()
  • KafkaProducer类提供了partitionFor方法，这有助于获取给定主题的分区元数据。 这可以用于自定义分区。 这种方法的签名如下 -
public Map metrics()

它返回由生产者维护的内部度量的映射。

  • public void close() - KafkaProducer类提供关闭方法块，直到所有先前发送的请求完成。

生产者API

生产者API的中心部分是生产者类。 生产者类提供了一个选项，通过以下方法在其构造函数中连接Kafka代理。

生产者类

生产者类提供send方法以使用以下签名向单个或多个主题发送消息。

public void send(KeyedMessaget<k,v> message) 
- sends the data to a single topic,par-titioned by key using either sync or async producer.
public void send(List<KeyedMessage<k,v>>messages)
- sends data to multiple topics.
Properties prop = new Properties();
prop.put(producer.type,"async")
ProducerConfig config = new ProducerConfig(prop);

有两种类型的生产者 - 同步和异步。

相同的API配置也适用于同步生产者。 它们之间的区别是同步生成器直接发送消息，但在后台发送消息。 当您想要更高的吞吐量时，异步生产者是首选。 在以前的版本，如0.8，一个异步生产者没有回调send()注册错误处理程序。 这仅在当前版本0.9中可用。

public void close()

生产者类提供关闭方法以关闭与所有Kafka代理的生产者池连接。

配置设置

下表列出了Producer API的主要配置设置，以便更好地理解 -

S.No

配置设置和说明

1

client.id

标识生产者应用程序

2

producer.type

同步或异步

3

acks

acks配置控制生产者请求下的标准是完全的。

4

重试

如果生产者请求失败，则使用特定值自动重试。

5

 

bootstrapping代理列表。

6

linger.ms

如果你想减少请求的数量，你可以将linger.ms设置为大于某个值的东西。

7

key.serializer

序列化器接口的键。

8

value.serializer

值。

9

batch.size

缓冲区大小。

10

buffer.memory

控制生产者可用于缓冲的存储器的总量。

ProducerRecord API

ProducerRecord是发送到Kafka cluster.ProducerRecord类构造函数的键/值对，用于使用以下签名创建具有分区，键和值对的记录。

public ProducerRecord (string topic, int partition, k key, v value)

 

  • 主题 - 将附加到记录的用户定义的主题名称。
  • 分区 - 分区计数。
  • 键 - 将包含在记录中的键。
  • 值 - 记录内容。
public ProducerRecord (string topic, k key, v value)

ProducerRecord类构造函数用于创建带有键，值对和无分区的记录。

  • 主题 - 创建主题以分配记录。
  • 键 - 记录的键。
  • 值 - 记录内容。
public ProducerRecord (string topic, v value)

ProducerRecord类创建一个没有分区和键的记录。

  • 主题 - 创建主题。
  • 值 - 记录内容。

ProducerRecord类方法列在下表中 -

S.No

类方法和描述

1

public string topic()

主题将附加到记录。

2

public K key()

将包括在记录中的键。 如果没有这样的键，null将在这里重新打开。

3

public V value()

记录内容。

4

partition()

记录的分区计数

SimpleProducer应用程序

在创建应用程序之前，首先启动ZooKeeper和Kafka代理，然后使用create topic命令在Kafka代理中创建自己的主题。 之后，创建一个名为 SimpleProducer.java 的java类，然后键入以下代码。

①maven 引入依赖包

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.2.0</version>
        </dependency>

② 代码

 

package kafka.study;
import java.util.Properties;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.slf4j.LoggerFactory;

/**
 * @author liuchangfu@easyretailpro.com
 * 2019/7/29.
 */
public class SimpleProducer {
   public static void main(String[] args){
       /**Check arguments length value 检查参数长度值*/
       if(args.length == 0){
           System.out.println("Enter topic name");
           return;
       }
       /**Assign topicName to string variable 将topicName分配给string变量*/
       String topicName = args[0].toString();
       /** create instance for properties to access producer configs 为属性创建实例来访问生成器配置*/
       Properties props = new Properties();
       /**Assign bootstrap.servers id 指定bootstrap.servers id*/
       props.put("bootstrap.servers","192.168.12.34:9092");
       /**Set acknowledgements for producer requests. 为生产者请求设置确认。*/
       props.put("acks", "all");
        /**If the request fails, the producer can automatically retry, 如果请求失败，生产者可以自动重试，*/
       props.put("retries", 0);
       /**Specify buffer size in config 在配置中指定缓冲区大小*/
       props.put("batch.size", 16384);
       /**Reduce the no of requests less than 0 将请求的no减少到0以下*/
       props.put("linger.ms", 1);
       /**The buffer.memory controls the total amount of memory available to the producer for buffering.*/
       /**缓冲。内存控制生产者用于缓冲的可用内存总量。*/
       props.put("buffer.memory", 8400000); //1G
       /**序列化器接口的键*/
       props.put("key.serializer",
               "org.apache.kafka.common.serialization.StringSerializer");
        /**值。*/
       props.put("value.serializer",
               "org.apache.kafka.common.serialization.StringSerializer");

       Producer<String, String> producer = new KafkaProducer<String, String>(props);
       for(int i = 0; i < 10; i++){
           ProducerRecord producerRecord = new ProducerRecord<String, String>(topicName, Integer.toString(i), Integer.toString(i));
           producer.send(producerRecord);
       }
       System.out.println("Message sent successfully");
       producer.close();
   }

}

 

注意：如果idea本地调试代码需要在server.properties中

#listeners=PLAINTEXT://hostname:9092

需要取消注释，并且添加你的主机名，给的是IP地址，然后就可以本地测试了

kafka诊断工具 kafka示例_kafka诊断工具

3wscschool 中使用了

props.put("key.serializer", "org.apache.kafka.common.serializa-tion.StringSerializer");

props.put("value.serializer", "org.apache.kafka.common.serializa-tion.StringSerializer");

这样会报错：

Exception in thread "main" org.apache.kafka.common.config.ConfigException: Invalid value org.apache.kafka.common.serializa-tion.StringSerializer for configuration key.serializer: Class org.apache.kafka.common.serializa-tion.StringSerializer could not be found.
	at org.apache.kafka.common.config.ConfigDef.parseType(ConfigDef.java:718)
	at org.apache.kafka.common.config.ConfigDef.parseValue(ConfigDef.java:471)
	at org.apache.kafka.common.config.ConfigDef.parse(ConfigDef.java:464)
	at org.apache.kafka.common.config.AbstractConfig.<init>(AbstractConfig.java:62)
	at org.apache.kafka.common.config.AbstractConfig.<init>(AbstractConfig.java:75)
	at org.apache.kafka.clients.producer.ProducerConfig.<init>(ProducerConfig.java:396)
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:326)
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:298)
	at kafka.study.SimpleProducer.main(SimpleProducer.java:49)

依据：https://www.wandouip.com/t5i175079/的解释可以通过，下面的方法解决

Thread.currentThread().setContextClassLoader(null);
Producer<String, String> producer = new KafkaProducer(props);

但是依据这个方法并没有解决问题

但是文中还有这么一句：

so, by default, the Class object of org.apache.kafka.common.serialization.StringSerializer is load by the applicationClassLoader

然后把代码修改成如下解决了问题

/**序列化器接口的键*/
       props.put("key.serializer",
               "org.apache.kafka.common.serialization.StringSerializer");
        /**值。*/
       props.put("value.serializer",
               "org.apache.kafka.common.serialization.StringSerializer");

③ 启动broker 代理

bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &

④ 创建topic

bin/kafka-topics.sh --create --zookeeper 192.168.121.34:2181 --replication-factor 3 --partitions 1 --topic liucf-topic3

⑤ 打包后执行 SimpleProducer 类进行生产者

java -cp /home/liucf/jars/kafka-clients-2.2.0.jar:/home/liucf/kafka-2.2.0/libs/slf4j-api-1.7.25.jar:/home/liucf/jars/ezr-kafka.jar kafka.study.SimpleProducer liucf-topic3

注意依赖：kafka-clients-2.2.0.jar和slf4j-api-1.7.25.jar

我的jar包是：ezr-kafka.jar

主类是：kafka.study.SimpleProducer

把消息生产到topic上：liucf-topic3

⑥ 启动控制台消费者测试 1,2,3,4,5,6,7,8，9是不是被生产者send到了topic：liucf-topic3

bin/kafka-console-consumer.sh --bootstrap-server 192.168.12.34:9094 --from-beginning --topic liucf-topic3

kafka诊断工具 kafka示例_Apache Kafka 简单生产者示例_02

完成