Apache Kafka、Apache Pulsar和RabbitMQ都可以用作消息中间件平台，可对比的项目非常多，但是通常最关心的就是性能。在本文中，将专注于系统的吞吐量和延迟，因为这些是生产中事件流系统的主要性能指标。吞吐量测试尤其可以衡量每个系统在利用硬件（特别是磁盘和CPU）方面的效率。延迟测试可衡量每个系统与实时消息传递之间的接近程度，其中包括高达p99.9％的尾部延迟，这是实时和关
转载
2021-06-12 22:44:04
1438阅读
2评论
Kafka定义：
最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于Hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等Kafka特性：
高吞吐量、低延迟：K
转载
2024-03-14 07:02:53
138阅读
一、测试环境准备Cpu内存硬盘Intel(R) Xeon(R) CPU E5520 @ 2.27GHz3
原创
2022-01-04 10:53:13
617阅读
相信大家对Kafka不会陌生，但首先还是要简单介绍一下。Kafka是一种高性能的分布式消息系统，由LinkedIn公司开发，用于处理海量的实时数据流。它采用了发布/订阅模式，可以将数据流分发到多个消费者端，同时提供了高可靠性、高吞吐量和低延迟的特性。Kafka的应用场景非常广泛，例如日志收集、事件流处理、实时监控等。在这些场景中，Kafka可以提供高可靠性和低延迟的数据传输，确保数据的稳定性和实时
转载
2024-03-21 09:09:33
55阅读
Apache Jmeter 性能测试
今天在写性能测试报告的时候需要使用到数据,打算用做一下性能测试,然后在百度后发现了一款Apache开源的Jmeter压测工具
Jmeter概述:
Apache JMeter是一款纯java编写负载功能测试和性能测试开源工具软件。相比Loadrunner而言，JMe
转载
2021-05-10 16:19:21
1123阅读
服务器的一个web压力测试工具，简称ab。ab也是一个命令行工具，对发起负载的本机要求很低，根据ab命令可以创建很多的并发访问线程，模拟多个访问者同时对某一个URL地址进行访问，因此可以用来测试目标服务器的负载压力。总体来说，ab工具小巧简单，上手学习较快，可以提供需要的基本性能指标；但是缺点就是没有图形化结果，不能监控。
原创
2021-07-23 16:40:29
1941阅读
Kafka特点高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition,consumer group 对partition进行consume操作。可扩展性：kafka集群支持热扩展持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）高并发：支持数千个客
转载
2024-02-24 06:25:44
130阅读
前言：最近在做kafka、mq、redis、fink、kudu等在中间件性能压测，压测kafka的时候参考了这篇文章，大家可以借鉴下！一、测试环境测试使用到三台机器，机器配置如下： 共同配置： Intel® Core™ i7-7700 CPU @ 3.60GHz、Cores:4、Threads:2 32GB内存 1000Mb/sec网卡差异化配置 2TB、7200rpm、SATA 3.1, 6.0
转载
2024-03-01 09:41:11
245阅读
在企业中非常关心每天从 Java 后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从 HDFS 上拉取需要的数据？ 为了搞清楚 HDFS 的读写性能，生产环境上非常需要对集群进行压测。HDFS的读写
转载
2023-08-18 20:19:40
157阅读
Kafka性能测试 测试背景 由于业务需求，针对kafka在不同参数下的性能进行测试。从而进行kafka性能调优 测试目标 测试kafka 0.8n的性能(Producer/Consumer性能)。当消息大小、批处理大小、压缩等参数变化时对吞吐率的影响。 测试环境软件版本：kafka 0.8.1.1硬件环境：3台多云服务组成的kafka
转载
2024-03-08 21:12:47
211阅读
一.硬件配置
3台服务器配置如下:
CPU: 2物理CPU，12核/CPU , 48 processor Intel(R) Xeon(R) Silver 4116 CPU @ 2.10GHz
内存: 128GB
硬盘: 480GB*1 SSD盘(OS)+6TB*7 SAS盘
Broker节点数: 3个
网络：10GE
转载
2024-03-18 00:02:19
74阅读
本文详细介绍了Kafka性能测试方法及Benchmark报告。性能测试及集群监控工具Kafka提供了非常多有用的工具，如Kafka设计解析(四)- Kafka High Availability (下)中提到的运维类工具——Partition Reassign Tool，Preferred Replica Leader Election Tool，Replica Verification Tool
转载
2024-02-27 10:57:58
149阅读
# Python Kafka性能测试
Kafka是一个高性能的分布式消息系统，适用于处理大规模的实时数据流。在实际应用中，我们经常需要对Kafka的性能进行测试，以确保系统可以满足业务需求。本文将介绍如何使用Python对Kafka进行性能测试，并提供代码示例。
## Kafka性能测试工具
Kafka提供了一个性能测试工具`kafka-producer-perf-test.sh`，可以用于
原创
2024-06-21 04:25:45
68阅读
一、基本概念Topic：一组消息数据的标记符；Producer：生产者，用于生产数据，可将生产后的消息送入指定的Topic；Consumer：消费者，获取数据，可消费指定的Topic；Group：消费者组，同一个group可以有多个消费者，一条消息在一个group中，只会被一个消费者获取；Partition：分区，为了保证kafka的吞吐量，一个Topic可以设置多个分区。同一分区只能被一个消费者
转载
2023-08-24 21:01:43
125阅读
性能测试环境kafka集群环境IPCPU网卡备注192.168.x.106Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz；单CPU；8核1000Mb/s 192.168.x.107Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz；单CPU；8核1000Mb/s 192.168.x.109Intel(R) Xe
转载
2024-03-27 17:05:05
50阅读
本文通过对 Kafka 和 Pulsar 的测试，介绍了延迟性测试的测试方法。
转载
2021-07-19 10:45:14
330阅读
本文通过对 Kafka 和 Pulsar 的测试，介绍了延迟性测试的测试方法。
转载
2021-07-27 15:43:58
164阅读
本文展示了 Pulsar 与 Kafka 的延迟性测试结果
转载
2021-07-27 16:52:24
282阅读
原文发表于 2019 年 8 月，所以在测试中选取了并非同步于当前的版本。Apache Kafka 的高性能一直广受喜爱，它能在高速处理消息的同时维持低延迟。Apache Pulsar ...
转载
2021-08-25 09:44:54
450阅读
????️阅读本文需 7 分钟本系列文章将重点讨论 Pulsar 与 Kafka 的延迟性，之前的两篇文章已经介绍了测试方法（下图绿色部分）与测试细节（下图蓝色内容），可以点击下列标题直...
转载
2022-04-23 09:55:17
250阅读
