storm 消费速度

转载

mob64ca140ee96c 2024-09-14 19:10:45

文章标签 storm 消费速度小白 kafka apache java 文章分类 Storm 大数据

eclipse运行Kafka的producer和consumer

1.创建项目
2.编写项目内容producer与consumer
3.运行项目
4.查看结果
5.报错及处理

这篇文章是本人在学习时为巩固平时所学而写的，并没有什么专业性的指导意见，报错仅限于我所遇到的问题，如没有您遇到的问题，请见谅。不喜勿喷，谢谢。

1.创建项目

1.1 新建maven项目

storm 消费速度_小白

storm 消费速度_apache_02

storm 消费速度_apache_03

1.2 建立Kafka依赖

storm 消费速度_小白_04

2.编写项目内容producer与consumer

创建包，编写程序

2.1 创建包com.swun.kafka

storm 消费速度_kafka_05

2.2 创建KafkaProducerDemo.java

storm 消费速度_小白_06

package com.swun.kafka;

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

/**
 * kafka生产者
 * @author Administrator
 *
 */
public class KafkaProducerDemo {

	public static void main(String[] args) {
		// 创建配置对象
		Properties props = new Properties();
		// 连接的broker
		props.put("bootstrap.servers", "storm01:9092");
		// 设置确认机制,1表示开启机制。
		props.put("acks", "1");
		// 设置消息的key的序列化方式
		props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		// 设置消息的value的序列化方式
		props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		
		// 创建kafka生产者对象
		//消息成k-v对,由于这里的范型都是String，所以在上一步要对key和value序列化
		KafkaProducer<String, String> producer = new KafkaProducer<String, String>(props);

		for (int i = 0; i < 10; i++) {
			// 创建消息对象,参数：topic：发送到那个主题，value：发送的具体消息
			ProducerRecord<String, String> record = new ProducerRecord<String, String>("test", "hello" + i);
			// 发送消息
			producer.send(record);
		}
		// 关闭生产者
		producer.close();
	}

}

2.3 创建KafkaConsumerDemo.java

storm 消费速度_kafka_07

package com.swun.kafka;

import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

/**
 * kafka消费者
 * @author Administrator
 *
 */
public class KafkaConsumerDemo {

	public static void main(String[] args) {
		//创建配置对象
		Properties props = new Properties();
		//连接的broker
		props.put("bootstrap.servers", "storm01:9092");
//		//设置确认机制
//		props.put("acks", "1");
		//设置消息的key的序列化方式
		props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		//设置消息的value的序列化方式
		props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		
		//设置消费者组,分配组，组名storm，组名可随意写
		props.put("group.id", "topic1");
		
		//创建消费者对象
		KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);
		//订阅的主题,设置从哪个主题消费数据，传一个集合，可从多个主题消费。这里从test消费数据
		consumer.subscribe(Arrays.asList("test"));
		
		//设置监听
		while(true){
			//通过消费者对象的poll方法获取数据
			//指定多长时间去一次数据，参数为时间，单位毫秒
			ConsumerRecords<String,String> records = consumer.poll(1000);
			for(ConsumerRecord<String,String> record : records){
				System.out.println(record.value());//获取数据
			}
		}
	}

}