准备环境准备3台虚拟机机器，一样系统(cent os7),安装同样的jdk, Zookeeeper;关闭防火前；SSH无密登录配置好。 kafka集群部署名称角色地址编号(myid)hadoop130节点192.168.64.1301hadoop131节点192.168.64.1312hadoop132节点192.168.64.1323
目录1.Kafka的安装2.Kafka的基本概念3.创建topic4.发送消息5.消费消息6.关于消息的细节7.单播消息8.多播消息9.查看消费组及信息 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行
转载
2024-03-12 22:15:14
280阅读
业务场景来疯直播互动平台，每天有数百万人上下线，有数十万人同时参与互动直播聊天。用户的登陆、退出及用户间的各种交互行为如聊天、送礼、关注、投票、抢沙发等等事件都会产生大量的消息。这些消息具有瞬间爆发性，比如热门直播间刚开播，直播表演的高潮等等。而用户的礼物、星星、喇叭、沙发等这类消息是不允许丢失，必须100%送达。这就需要有一个高性能，高可靠，稳定可拓展的消息服务平台的支撑。它要求在网络压力大及服
转载
2024-05-22 08:44:37
78阅读
前言我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。我当时在后厨显示系统团队，该系统属于订单的下游业务。用户点完菜下单后，订单系统会通过发kafka消息给我们系统，系统读取消息后，做业务逻辑处理，持久化订单和菜品数据，然后展示到划菜客户端。这样厨师就知道哪个订单要做哪些菜，有些菜做好了
一、Jmeter是什么？Apache JMeter是Apache组织开发的基于Java的压力测试工具。 Apache jmeter 可以用于对静态的和动态的资源（文件，Servlet，Perl脚本，java 对象，数据库和查询，FTP服务器等等）的性能进行测试。 它可以用于对服务器、网络或对象模拟繁重的负载来测试它们的强度或分析不同压力类型下的整体性能。 你可以使用它做性能的图形分析或在大并发负载
kafaka,生产者:./kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic
消费者:./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginning
因为相信,所以看见.
原创
2021-07-15 15:31:28
946阅读
生产消息app/kafka/kafka_2.12-2.1.0/bin/kafka-console-producer.sh --broker-list 192.168.40.148:9092 --topic demo消费消息/app/kafka/kafka_2.12-2.1.0/bin/kafka-console-consumer.sh --bootstrap-server 192.168.40.148:9092 --topic demo#从0开始消费所有消息/app/kafka/.
原创
2022-03-09 11:35:08
553阅读
生产消息app/kafka/kafka_2.12-2.1.0/bin/kafka-console-producer.sh --broker-list 192.168.40.148:9092 --topic demo消费消息/app/kafka/kafka_2.12-2.1.0/bin/kafka-console-consumer.sh --bootstrap-server 192.168.40.148:9092 --topic demo#从0开始消费所有消息/app/kafka/.
原创
2021-09-11 15:36:35
729阅读
一、基本概念 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。 这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行，可以由一
转载
2024-05-20 22:24:43
111阅读
概述 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息
转载
2024-03-21 08:48:57
26阅读
一、为什么有消息系统 1、解耦合 2、异步处理 例如：电商平台，秒杀活动。一般流程会分为：1: 风险控制、2：库存锁定、3：生成订单、4：短信通知、5：更新数据 3、通过消息系统将秒杀活动业务拆分开，将不急
转载
2024-04-11 11:10:42
46阅读
Kafka-常用术语(消息、生产者、消费者、集群、broker解释)消息和批次kafka的数据单元被称为消息。类似于数据库表中的一行数据。消息由字节数组组成，所以对于kafka来说，消息里的数据没有特别的格式或含义。消息可以有一个可选的元数据，也就是键，键也是一个字节数组，当消息以一种可控的方式写入不同的分区时，会用到键。最简单的例子就是为键生成一个一致性散列值，然后使用散列值对主题分区数进行取模
转载
2024-04-10 15:31:24
36阅读
kafka定义Apache kafka is a distributed streaming platform，即官方定义 kafka 是一个分布式流式计算平台。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即它是一个分布式消息队列，很少会使用 kafka 的流式计算。消息队列的特点模式这个模式主要是针对消费者来讲的，生产者是无模式概念说法的，生产者生产消息都是主动的。点对点 p
转载
2024-03-27 09:30:09
22阅读
Kafka 消息幂等性enable.idempotence=true。设置了这个参数后，Producer自动升级成幂等性Producer。 两个重要机制： 1、Producer Id，幂等性的生产者每个客户端都有一个唯一编号id。 2、sequence number，幂等性的生产者发送的每条消息都会带相应的sequence number，Server端就是根据这个值来判断数据是否重复。如果发现se
转载
2024-03-28 06:16:41
133阅读
消息格式消息由一个固定长度的头部和可变长度的字节数组组成。头部包含了一个版本号和CRC32校验码。 [plain] view plaincopyprint?1. /**
2. * 具有N个字节的消息的格式如下
3. *
4. * 如果版本号是0
5. *
6. * 1. 1个字节的 "magic" 标记
7. *
8. * 2. 4个字节的CRC32校验码
9. *
10. *
转载
2024-08-12 14:29:42
49阅读
一、简介1、简介简 介• Kafka是Linkedin于2010年12月份开源的消息系统• 一种分布式的、基于发布/订阅的消息系统2、特点– 消息持久化：通过O(1)的磁盘数据结构提供数据的持久化– 高吞吐量：每秒百万级的消息读写– 分布式：扩展能力强– 多客户端支持：java、php、python、c++ ……– 实时性：生产者生产的message立即被消费者可见3、基本组件• Broker：每
转载
2024-07-26 00:19:47
39阅读
除了正常的消息发送和消费， 在使用Kafka的过程中难免会遇到一些其他高级应用类的需求， 比如消费回溯， 这个可以通过原生Kafka提供的KafkaConsumer.seek() 方法来实现， 然而类似延时队列、消息轨迹等应用需求在原生Kafka中就没有提供了。我们在使用其他消息中间件时， 比如Rabbit MQ，使用到了延时队列、消息轨迹的功能， 如果我们将应用直接切换到Kafka中， 那么只能
转载
2024-03-28 11:51:04
159阅读
一些观念的修正从 0.9 版本开始，Kafka 的标语已经从“一个高吞吐量，分布式的消息系统”改为"一个分布式流平台"。Kafka不仅仅是一个队列，而且是一个存储，有超强的堆积能力。Kafka不仅用在吞吐量高的大数据场景，也可以用在有事务要求的业务系统上，但性能较低。Kafka不是Topic越多越好，由于其设计原理，在数量达到阈值后，其性能和Topic数量成反比。引入了消息队列，就等于引入了异步，
转载
2024-07-03 21:48:11
181阅读
Kafka的消费者consumer是通过遍历KafkaStream的迭代器ConsumerIterator来消费消息的，其数据来源是分配给给KafkaStream的阻塞消息队列BlockingQueue，而BlockingQueue中的消息数据来自于针对每个Broker Server的FetchThread线程。FetchThread线程会将Broker Server上的部分partition数据
转载
2024-03-18 11:33:43
28阅读
kafka简介kafka是一个高吞吐量、分布式的发布—订阅消息系统。据kafka官网介绍，当前的kafka已经定位为一个分布式流式处理平台，它最初由LinkedIn公司开发，后来成为Apache项目的一部分。kafka核心模块使用Scala语言开发，支持多语言（java、c/c++、python、Go等）的客户端，它可以进行水平扩展和具有高吞吐量的特性基本结构kafka基本概念主题 一组消息的抽象
转载
2024-02-27 19:26:48
71阅读
