前阵子做了一次日志收集系统压测，我们的全链路日志收集系统采用filebeat+kafka+logstash+elasticsearch，今天主要分享原始日志入库ES的压测经验，并不涉及storm的实时日志处理。压测目标是120万条日志/分钟，压测团队由本人、自动压测同事、SRE、众多PO、领导组成。压测的目标是明确的，却不太好下手。经过优化后，大概摸索出了方案。真是团队协作才完成，手上排满了别的活
Elasticsearch集群压力测试压力测试压力 测试的目的.
容量规划/性能优化/版本间性能比较/性能问题诊断确定系统稳定性，考察系统功能极限和隐患压力 测试的方法与步骤
测试计划(确定测试场景和测试数据集)脚本开发测试环境搭建(不同的软硬件配置) &运行测试分析比较结果测试目标&测试数据测试目标测试集群的读写性能 /做集群容量规划对ES配置参数进行修改，评估优化效
QPS是每秒钟处理的请求数。对于一个系统来说，这个值有一个上限，压测的一个目的是测出这个最大值，来评估我们系统的能力。并发数是一个时刻能系统中有多少在处理中的请求。对于一个系统来说，当然这个值也有一个上限，压测也可以测出最大并发数。平均耗时avg，即一个请求从被接收到，到处理完成所耗费的平均时间。上述三者有一个关系即：并发数=QPS * avg。 这个公式可以这么理解：假设qps=1000，avg
转载
2024-04-20 20:01:41
148阅读
压力测试的基本概念压力测试是互联网时代诞生的新名词，所谓的压力测试就是指测试的系统或者服务器被外界施加一定的访问压力，通过进行压力测试可以检测系统和服务器运行的稳定性。以我们生活中最喜欢逛的购物网站为例，假如10000个用户在同一时间访问同一个商品网页，那么平台就要考虑用户打开网页的速度是否会变慢，或者网站访问压力过大进而出现崩溃现象。这就显出了压力测试的重要性。压力测试的工具推荐通常做压力测试一
转载
2024-04-23 14:51:07
82阅读
TPS（Transactions Per Second）：每秒事务数QPS（Query Per Second）：每秒请求数，就是说服务器在一秒的时间内处理了多少个请求。QPS于TPS的概念很类似，本人很多时候甚至不做两者的详细区分。QPS的数值需要通过下面的指标得到。吐吞量：吞吐量是指系统在单位时间内处理请求的数量，TPS、QPS都是吞吐量的常用量化指标并发数（并发度）：指系统同时能处理的请求数量
https://github.com/metroluffy/blog/issues/31github.com
更新：补一条爝神的评论，依赖io资源上timeout，然后做熔断qps就可以上去。背景是基于Egg开发的一个node Web应用，在压测中qps没到理想情况，在Daruk交流群请教以后，在此做些记录。8c16g机器，8个worker进程，请求通过spring clo
YCSB压测elasticsearch
YCSB是Yahoo开源的用于测试数据库(主要是nosql)的性能框架，可以测试Hbase, mongo, redis，elasticSearch等，本文主要介绍压测elasticsearch的流程。1.安装下载YCSBclone完成后，看项目目录结构能发现，有两个elasticsearch相关的项目其中elast
转载
2024-03-18 09:37:43
246阅读
目录一 CPU性能指标1、主频2、外频3、倍频系数4、前端总线频率5、位和字长6、缓存7、cpu指令集8、内核和电压9、制造工艺二 密集型进程三 模拟大量进程一 CPU性能指标1、主频也就是CPU的时钟频率，简单地说也就是CPU的工作频率。 一般说来，一个时钟周期完成的指令数是固定的，所以主频越高，CPU的速度也就越快了。不过由于各种CPU的内部结构也不尽相同，所以并不能完全用主频来概括CPU的性
转载
2024-07-18 09:09:01
64阅读
1、实战问题2、问题解析其实类似的问题之前在社群也经常被问到。实战业务场景中在没有大规模数据之前，可能会构造生成一些模拟数据，以实现性能测试等用途。真实业务场景一般不愁数据的，包含但不限于：生成数据业务系统产生数据互联网、设备等采集生成的数据其他产生数据的场景.....回归问题，Elasticsearch 8.X 如何构造呢？社群达人死敌wen大佬给出的方案：两个 sample data的inde
1 概述1.1 目的本测试报告为XXXX网站的性能测试报告，目的在于总结测试阶段的测试以及分析测试结果，描述网站是否符合需求。1.2 背景XXXX网站，XXXXXX科技有限公司目前正在进行性能测试。考虑到用户数量及数据的增多给服务器造成压力不可估计，因此计划对XXXX网站负载性能测试，在系统配置不变的情况下，在一定时间内，服务器在高负载情况下的性能行为表现，便于对系统
目前性能测试组正在对独立秒杀进行性能压测，性能抖动特别厉害。 由于独立秒杀的接口大多数是经过volicity渲染过的页面和数据的整合，所以在压测的时候有很多volicity的错误。初步判定，感觉是volicity的性能问题才导致的。但是通过排查volicity发现，此版本没有网传的性能问题，而且代码层面上也没见到有过多的性能问题点。之后通过查看jvm的堆内内存才发现，老年代的内存无法释放
这里，我们利用 LoadRunner 来制定场景，且以测试 tps 值为导向，主要介绍手工场景10~200 是合理的；如果是访问单接口不走关系型数据库的，访问的是 redis （内存里面读）那么 tps 在 1000~200010~4000如果要测试响应时间或者是说并发，是要有前提条件的：比如说并发为 100 的响应时间为 XX，响应时间为 1 s 支持的最大并发量为 XX。所以说 tps 值是一
集合点：适用于并发测试。并发测试：1.所有用户都在发请求；☆2.所有用户都在提交同一个请求。压力测试：关注的是系统的崩溃，并发测试属于压力测试的一个子集。负载测试：评估性能指标（模拟真实场景）。稳定性测试：长时间，标准用户数（系统处于最佳状态），利用率比较高，但没有到达瓶颈。 插入集合点：insert-Rendezvous。 集合点与事务的顺序：先有集合点，在开始事务。&nbs
wrk压测es
原创
精选
2021-05-27 12:52:05
2380阅读
文章目录一、单机部署1、系统配置1.1、修改系统打开文件最大数1.2、 提高vm.max_map_count 的大小2、安装Elasticsearch2.1、配置elasticsearch.yml2.2、新建elasticsearch数据目录2.3、运行elasticsearch容器二、集群部署1、系统配置2、部署ES节点2.1、配置elasticsearch.yml2.1.1、主节点配置2.1
转载
2024-03-18 10:02:46
52阅读
1、Jmeter本地安装官方文档地址： jmeter.apache.org/index.html1.1、下载安装软件下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/jmeter/binaries/ 选择一个压缩包下载即可然后解压缩后进入bin目录直接执行命令jmeter即可启动1.2 修改语言默认是英文的，修改中文，点击选项-》选择语言-》简体中
转载
2024-08-29 18:14:01
293阅读
一、前期准备1.1 压测工具准备JMeter工具下载与安装Sysbench工具下载与安装二、压测工具及中间件服务器准备2.1 压测工具服务器测试工具系统内存CPUIP地址备注JMeterWindows4G4localhost本机安装SysbenchCentOS4G4192.168.61.41虚拟机安装2.2 Mycat中间件
中间工具系统内存CPUIP地址备注MycatCentOS4G4192.1
一、VPS性能测试：CPU物理个数、内核、超线程、多核心1，执行：cat /proc/cpuinfo2、主要参数physical_id表示物理CPU个数，cpu cores是内核数，Siblings 表示位于这一物理封装上的逻辑处理器的数量，它们可能支持也可能不支持超线程（HT）技术。3、如果有一个以上逻辑处理器拥有相同的 core id 和 physical id，则说明系统支持超线程（HT）技
一、压测流程可参照上篇压测对抗流程二、压测需求需要明确需要压测的环境需要压测的接口，其中包含接口的入参需要明确接口的预计qps需要明确线上机器配置三、压测准备3.1、服务端开发准备：1.根据需要测试的接口，决定需要部署哪些相关依赖服务2.测试接口对应的服务、接口3.相关配置4.相关数据库5.需要的机器整理，其中包含机器的配置，需要几台机器3.2、前端开发准备：1.测试的接口和服务应用2.域名3.需
转载
2024-04-27 22:57:52
153阅读
压测流程和总结一，总结1、第一次做压测，一定要先看别人的压测报告（可以知道压测有哪些指标，有哪些压测方案，以及明确压测的目标，还可以弥补监控和压测指标配置缺漏等问题）2、第一次做压测，一定要全方位做好安全评估（最好做到请教或请求各个组件负责人评估和配合压测，尤其是线上压测，系统所依赖的数据库、缓存、其他组件，以及依赖的其他线上接口、资源等压垮会有什么影响，有木有补救、降级措施，混入脏数据是否能清理
转载
2024-03-27 20:02:08
226阅读
