kafka 拉取不到消息 kafka收不到消息

转载

漫步云端的猪 2024-02-27 15:42:29

文章标签 kafka 拉取不到消息虚拟服务器接收不到消息 kafka apache zookeeper 文章分类 架构后端开发

为了实现远程kafka通信，我可谓是呕心沥血。期间各种bug各种调，太煎熬了 (T.T)

介绍：

我用一台虚拟机作为远程消息的发送方，用本地电脑主机作为消息的接收方

虚拟机：安装java，kafka，zookeeper

主机：eclipse，注意我没有说在主机上也要安装kafka的

1、虚拟机部署

1)下载kafka_2.11-2.2.0 我用的最新的(当前)

2)解压到 /usr/local/ ,注意切换都root，不然后面编辑不了文件

kafka 拉取不到消息 kafka收不到消息_apache

3)配置文件 kafka/config/server.properties 只用修改下面三个

kafka 拉取不到消息 kafka收不到消息_kafka 拉取不到消息_02

稍微解释下：上面的ip都是一个，都是虚拟机ip，修改后可以在本机接收消息也可以在远程(本地电脑或者其他电脑接收)

不知道虚拟机ip？在命令行下敲 ifconfig就可以找到了

2、本地eclipse

1)新建maven工程

pom.xml 注意里面的kafka版本最好和远程对应(其他版本有可能发生错误，收不到消息)

4.0.0

hadoop

eclipseandmaven

0.0.1-SNAPSHOT

jar

eclipseandmaven

http://maven.apache.org

UTF-8

org.apache.storm

storm-kafka-client

1.1.1

org.apache.kafka

kafka-clients

2.2.0

org.apache.storm

storm-core

1.1.1

junit

3.8.1

test

建立 MainTopology.java

importorg.apache.storm.Config;importorg.apache.storm.LocalCluster;importorg.apache.storm.StormSubmitter;importorg.apache.storm.kafka.spout.KafkaSpout;importorg.apache.storm.kafka.spout.KafkaSpoutConfig;importorg.apache.storm.topology.TopologyBuilder;public classMainTopology {public static void main(String[] args) throwsException {
TopologyBuilder builder= newTopologyBuilder();//ip设置为虚拟机ip，后面的topic要和虚拟机上的一样
KafkaSpoutConfig.Builder kafkaBuilder = KafkaSpoutConfig.builder("192.168.83.133:9092","test561");//设置kafka属于哪个组
kafkaBuilder.setGroupId("testgroup");//创建kafkaspoutConfig
KafkaSpoutConfig build =kafkaBuilder.build();//通过kafkaspoutConfig获得kafkaspout
KafkaSpout kafkaSpout = new KafkaSpout(build);//设置5个线程接收数据
builder.setSpout("kafkaSpout", kafkaSpout, 5);//设置2个线程处理数据
builder.setBolt("printBolt", new PrintBolt(), 2).localOrShuffleGrouping("kafkaSpout");
Config config= newConfig();if (args.length > 0) {//集群提交模式
config.setDebug(false);
StormSubmitter.submitTopology(args[0], config, builder.createTopology());
}else{//本地测试模式
config.setDebug(true);//设置2个进程
config.setNumWorkers(2);
LocalCluster cluster= newLocalCluster();
cluster.submitTopology("kafkaSpout", config, builder.createTopology());
}
}
}

建立 PrintBolt.java

importorg.apache.storm.topology.BasicOutputCollector;importorg.apache.storm.topology.OutputFieldsDeclarer;importorg.apache.storm.topology.base.BaseBasicBolt;importorg.apache.storm.tuple.Tuple;public class PrintBolt extendsBaseBasicBolt {/*** execute会被storm一直调用
*
*@paramtuple
*@parambasicOutputCollector*/
public voidexecute(Tuple tuple, BasicOutputCollector basicOutputCollector) {//为了便于查看消息用err标红
System.err.println(tuple.getValue(4));
System.err.println(tuple.getValues());
}public voiddeclareOutputFields(OutputFieldsDeclarer outputFieldsDeclarer) {
}
}

3、运行

切换到kafka安装目录

1)启动zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

2)启动kafka服务

bin/kafka-server-start.sh -daemon config/server.properties

3)创建生产者

bin/kafka-console-producer.sh --broker-list 192.168.83.133:9092 --topic test561

4)创建消费者

bin/kafka-console-consumer.sh --bootstrap-server 192.168.83.133:9092 --topic test561 --from-beginning

5)启动本地eclipse项目

6)在3)中的窗口发送字符串