Redis为什么变慢了？常见延迟问题定位与分析Redis作为内存数据库，拥有非常高的性能，单个实例的QPS能够达到10W左右。但我们在使用 Redis 时，经常时不时会出现访问延迟很大的情况，如果你不知道 Redis 的内部实现原理，在排查问题时就会一头雾水。Redis出现访问延迟变大，都与我们的使用不当或运维不合理导致的。以下这篇文章我们就来分析一下 Redis 在使用过程中，经常会遇到的延迟问
转载
2023-07-07 00:42:25
84阅读
主要内容 Topologies Streams Spouts Bolts Stream groupings Reliability Tasks Workers &n
转载
2023-09-19 01:48:43
102阅读
1、初识Sortm的核心概念 Topologies:拓扑，将整个流程串起来 \ Streams:流，数据流，水流 \ Spouts:生产数据/生产水 Bolts:处理数据/处理水 \ Tuple:数据/水 \ Stream groupings:流分组 Reliability：可靠性 \ Tasks：任务 \ Workers：工人2、Storm核心概念理解记忆概述 3、Storm核心概念理解记忆之地
转载
2023-06-01 18:43:56
164阅读
引言：取与舍软件设计开发某种意义上是“取”与“舍”的艺术。关于性能方面，就像建筑设计成抗震9度需要额外的成本一样，高性能软件系统也意味着更高的实现成本，有时候与其他质量属性甚至会冲突，比如安全性、可扩展性、可观测性等等。大部分时候我们需要的是：在业务遇到瓶颈之前，利用常见的技术手段将系统优化到预期水平。那么，性能优化有哪些技术方向和手段呢？性能优化通常是“时间”与“空间”的互换与取舍。本篇分两个部
# 实现 Storm 流性能的完整指导
Apache Storm 是一个实时计算系统，能够处理大规模数据流。对于刚入行的开发者来说，理解如何优化 Storm 性能是非常重要的。本文将详细介绍实现 Storm 流性能的步骤和注意事项，帮助你更好地理解和应用 Storm。
## 整体流程
为了帮助你理清思路，下表是实现 Storm 流性能的整体流程：
| 步骤 | 描述
原创
2024-10-08 06:00:45
27阅读
一，概述 Storm用来实时计算源源不断产生的数据，如同流水线生产。 Storm用来实时处理数据，特点：低延迟、高可用、分布式、可扩展、数据不丢失。提供简单容易理解的接口，便于开发。二，storm和hadoop的区别 Storm用于实时计算，Hadoop用于离线计算。 Storm处理的数据保存在内存中--redis，源源不断；Hadoop处理的数据保存在hdfs文件系统中，一批
转载
2023-07-03 16:03:08
67阅读
Supervisor 参数调整修改${STORM_HOME}conf/storm.yaml文件内容supervisor变更参数slots 配置：
若storm host仅仅执行supervisor(不包含nimbus)时，slots数目 = (Memory GB - 1 )若同时包含了storm nimbus、ui、supervisor时，slots = (Memory GB - 1 )sup
转载
2023-06-25 14:35:36
107阅读
1、使用rebalance命令动态调整并发度Storm计算以topology为单位，topology提交到Storm集群中运行后，通过storm rebalance 命令可对topology进行动态调整。比方添加Topology的worker数，改动Bolt。Spout的并行运行数量 parallelism等，从而实现topology的动态调整，达到弹性计算的目的。（当然调整时要配合监控模块）基本
转载
2023-08-30 16:21:03
122阅读
在今天的博文中，我们将深入探讨“Storm调度性能测试”，一项对高频交易、实时数据处理和大规模系统至关重要的任务。通过对业务场景的分析以及性能优化的实践，我们将详细阐述如何提升Storm调度器的性能。
## 背景定位
在现代企业中，实时数据处理的需求愈发显著。尤其是在金融、广告和社交媒体等领域，数据流的高并发处理对系统的可靠性和响应速度提出了更高的要求。Storm作为一个流处理框架，凭借其低延
在当今数据密集型的业务环境中，Apache Storm 的调度器性能是确保实时数据处理流畅和高效的关键因素。随着业务需求的不断增长，Storm 平台上越来越多的作业被部署，这直接影响着调度器的性能。在这篇博文中，我将详细记录我如何解决“storm 测试scheduler性能”这一问题的过程。
### 问题背景
随着架构的复杂性增加，我们的系统必须高效地处理数十万条消息并实时分析数据。调度器的性
## HiBench Storm性能测试
### 引言
Storm是一种分布式实时计算系统，具有高性能和可伸缩性。HiBench是一个用于大数据环境中性能评估的开源基准套件，提供了一系列数据分析、机器学习和图计算等任务的性能测试。
本文将介绍如何使用HiBench Storm性能测试套件来评估Storm在实时计算任务中的性能表现。我们将从测试环境的搭建开始，一步步进行测试，并分析测试结果。同
原创
2023-10-22 10:17:03
115阅读
看了很多关于Storm性能的文章，说法不一，自己根据实际业务测一下是否能满足自身要求（只做了简单集群和代码调优）场景：kafka消费数据标准化后存储到Hbase中 服务器资源： 两台32G内存做Supervisor使用资源平均处理数据速度 13000 条/秒，可以满足业务需求，ok Storm参数 conf.setNumWorkers...
原创
2023-05-06 14:58:07
123阅读
Storm入门教程1. Storm基础StormStorm主要特点Storm基本概念Storm调度器Pluggable scheduler（可插拔调度器）Isolation scheduler（隔离调度器）Storm配置Guaranteeing Message Processing（消息处理保障机制）Daemon Fault Tolerance（守护线程容错机制）理解Storm拓扑的并行Tutor
转载
2023-09-15 14:16:29
60阅读
性能测试的流程(1)性能测试需求分析1.明确被测系统–熟悉被测系统的业务功能 –熟悉被测系统的技术架构2.明确测试内容–业务角度：用户使用频率较高的关键业务功能 –技术角度：逻辑复杂度高的业务；数据量大的业务；3.明确测试策略–负载测试 –稳定性测试 –并发测试4.明确测试指标–有明确需求指标：执行结果与预期指标进行对比 –无明确需求指标(分析指标)：查找资料；类似的系统对比；对未来流量的预估；(
转载
2023-10-07 18:51:12
111阅读
一，nmon介绍：nmon是一种再aix与各种linux操作系统上广泛使用的监控与分析工具，特点如下：1，nmon所记录的信息是比较全面的2，能在系统运行过程中实时的捕获系统资源的使用情况3，能输出结果到文件中，然后通过nmon_analyzer工具产生数据文件，与图形化结果，界面分析通过图形化，得出系统在一段时间内资源占用的变化趋势，有助于我们更好的定位问题。nmon所记录的数据包含以下方面（也
转载
2023-08-01 22:02:09
112阅读
在软件测试日常工作中，大家接触得比较多的性能测试工具有LoadRunner和Jmeter，这里整理了web应用程序性能和负载压力能力的最广泛使用的性能测试工具的综合列表。这些负载测试工具将确保您的应用程序在高峰流量和极端压力条件下的性能该列表包括开源的以及授权的性能测试工具。但是几乎所有的授权工具都有一个免费的试用版本，这样就可以在决定哪种工具最适合你的需求之前有机会亲自动手。1、WebLOADw
转载
2023-12-20 21:40:20
144阅读
一.性能测试类似的称呼压力测试：高压力下进行操作，看系统反应负载测试：看能承受多大的负载，加压一直到崩溃并发测试：广义，大量用户使用同一系统；狭义，大量用户使用同一系统配置测试（对软硬件微调，充分利用资源）可靠性测试二.性能测试流程了解需求分析测试点选取测试工具编写测试计划搭建测试环境执行测试性能调优测试报告评审三.性能测试的一般指标吞吐量（PV）、吞吐率（TPS等）响应时间（RT）/ 应用响应时
转载
2023-10-07 18:51:51
74阅读
性能测试实战 30 讲告别野路子，成为真正的性能测试高手高楼 前 HP 高级性能专家，7DGroup 创始人（学习笔记）1、什么是性能测试？性能测试就是针对系统的性能指标，建立性能测试模型，制定性能测试方案，制定监控策略，在场景条件之下执行性能场景，分析判断性能瓶颈并调优，最终得出性能结果来评估系统的性能指标是否满足既定值。性能测试需要有指标：理论上合理的，并且应该有的指标是：时间指标、容量指标和
转载
2023-10-07 20:55:26
105阅读
# Storm性能测试调优
Storm是一个开源的、分布式的实时计算系统，可用于实时数据处理、流式数据处理等场景。在实际应用中，为了提高Storm的性能，我们需要进行性能测试和调优。本文将介绍如何进行Storm性能测试调优，并给出相应的代码示例。
## 性能测试
在进行性能测试之前，我们需要准备一个测试环境。通常情况下，我们可以使用JMH（Java Microbenchmark Harnes
原创
2024-03-13 06:24:35
152阅读
一、Flink与Storm两个框架的对比 二、Flink 的特性1、高吞吐、低延迟、高性能2、支持带事件的窗口（window） 操作：time、count、session、data-driven3、支持有状态计算的 exactly once 语义4、支持具有反压功能的持续流模型5、支持基于轻量分布式快照（snapshot） 实现的容错6、同时支持 batch on streaming 处
转载
2023-07-11 16:18:13
170阅读
