官方文档：http://storm.apac...
原创
2021-08-13 14:13:41
138阅读
Storm入门教程：前言Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。本教程是一本对storm的基础介绍手册，希望帮助所有愿意使用实时流处理框架的技术同仁。一、实时流计算互联网从诞生的第
转载
2023-05-07 18:42:03
200阅读
strom经典图谱：strom基础TopologiesStreamsSpoutsBoltsStreamgroupingsReliabilityTasksWorkersConfiguration1、Topologies一个topology是spouts和bolts组成的图，通过streamgroupings将图中的spouts和bolts连接起来，如下图：一个topology会一直运行直到你手动ki
原创
2018-09-13 22:41:02
2643阅读
反压机制（BackPressure）被广泛应用到实时流处理系统中，流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。反压机制就是指系
转载
2024-05-24 23:30:44
43阅读
进程状态是指操作系统中对进程进行管理时，为进程指定了几种状态。以便于给进程分配相应的资源。最初只分了运行，等待，就绪三种状态。 运行态指的是这个进程所需要的所有资源都已经配足了，并且给它CPU资源，此时就属于运行状态。 就绪态指的是其他所有资源，只缺CPU资源，这种状态是一种万事俱备只欠东风的状态。 等待态指的是缺其他资源，也没CPU资源，与外设有交互，或者等待指令之类的状态。三态转换关系运行状
Strom部署安装[root@python ~]# ifconfigeth0 Link encap:Ethernet HWaddr00:0C:29:1D:C6:CC inet addr:10.0.0.9 
原创
2016-11-01 00:33:38
830阅读
在进群生产环境下运行Topology和在本地模式下运行非常相似。下面是步骤：
1、定义Topology（如果使用Java开发语言，则使用TopologyBuilder来创建）
2、使用StormSubmitter向集群提交Topology。StormSubmitter有三个参数，Topology的名字，Topology的配置，和Topology本身。下面是例子：
Config co
转载
2015-08-04 13:32:00
168阅读
2评论
Java Storm 父子
## 引言
随着大数据时代的到来，对实时数据处理和分析的需求越来越迫切。在这个背景下，Apache Storm 应运而生。作为一个分布式实时计算系统，Storm 提供了高效可靠的数据流处理能力，广泛应用于实时分析、事件处理、机器学习等场景。
在 Storm 中，一个拓扑（Topology）代表了一个实时计算任务的逻辑模型。一个拓扑由多个组件（Component）组
原创
2024-01-08 11:22:08
29阅读
# 实现 Storm 集群架构的指南
Apache Storm 是一个流式处理框架，适合于实时数据处理的需求。在这篇文章中，我们将会为初学者提供步骤指南，帮助他们实现一个 Storm 集群架构。我们将通过一个表格和详尽的步骤分解来完成这一目标。最后，我们还会用类图和旅行图的形式来展示整个流程。
## 实现 Storm 集群架构的步骤
| 步骤编号 | 步骤描述 | 完成情
原创
2024-10-09 05:05:33
83阅读
从n个数中取m个使得乘积最大？问题描述 对于n个数，从中取出m个数，如何取使得这m个数的乘积最大呢？ 输入格式 第一行一个数表示数据组数 每组输入数据共2行： 第1行给出总共的数字的个数n和要取的数的个数m，1<=n<=m<=15， 第2行依次给出这n个数，其中每个数字的范围满足:a[i]的绝对值小于等于4。输出格式 每组数据输出1行，为最大
转载
2024-09-06 10:07:46
30阅读
# 实现 Storm 数据分析的完整指南
Apache Storm 是一个开源的实时计算系统，它能够处理大规模流式数据。对于初学者来说，理解 Storm 是如何工作的以及如何实现数据分析可能有些困难。本文将为你详细讲解如何使用 Storm 进行数据分析，分步骤指出每一步所需的代码，并对其进行注释。此外，本文还会包含序列图以帮助你更好地理解 Storm 的工作流程。
## 整体流程
首先，我们
Kafka和Redis性能对比能力关于卡夫卡Kafka是一种分布式，分区和复制的提交日志服务，它提供消息传递功能以及独特的设计。我们可以在日志聚合过程中使用此功能。Kafka使用的基本消息传递术语是：主题：这些是发布消息的类别。
生产者：这是将消息发布到Kafka主题中的过程。
使用者：此过程订阅主题并处理消息。使用者是使用者组的一部分，该使用者组由许多使用者实例组成，以实现可伸缩性和容错能力。
转载
2023-09-18 22:51:45
153阅读
Redis，它首先是一个内存数据库，其提供的PUB/SUB功能把消息保存在内存中(基于channel)，因此如果你的消息的持久性需求并不高且后端应用的消费能力超强的话，使用Redis PUB/SUB是比较合适的使用场景。比如官网说提供的一个网络聊天室的例子：模拟IRC，因为channel就是IRC中的服务器。用户发起连接，发布消息到channel，接收其他用户的消息。这些对于持久性的要求并不高，使
转载
2023-07-08 19:32:37
100阅读
1、 kafka是消息中间件，原理就是一个队列用来保存所有发布的消息，等到客户端一上线就推送给客户端。发布订阅模式。所有消息都保存在磁盘上。 2、redis是非关系型数据库，也有发布订阅的功能。区别： kafka是保存在磁盘上，一般用于性能要求不高的场景（日志）而且kafka是保存在磁盘上，一般用于数据量很大的场合。而且kafka设置消息过期时间是以segment为单位的，不能对每个消息都设置过期
转载
2023-05-25 13:08:54
71阅读
文章目录1.环境2.PG-Strom启动3.如何自定义一个Custom Scan？1.环境硬件：CentOS7，3.10.0-1160.49.1
原创
2023-04-06 14:23:39
387阅读
在Kubernetes（K8S）中使用Storm（Storm）可以帮助我们构建高可靠、高性能的流数据处理应用程序。Storm是一个开源的分布式实时计算系统，可以用于处理大规模的实时数据流。通过将Storm与Kubernetes集成，我们可以更好地管理和部署我们的Storm应用程序。
首先，让我们了解一下如何在K8S中使用Storm。下面是整个过程的步骤：
| 步骤 | 操作 |
| --- |
原创
2024-03-05 15:29:45
93阅读
高性能的服务器的架设 对于高性能网站 ,请求量大,如何支撑?1方面,要减少请求对于开发人员----合并css, 背景图片, 减少mysql查询等. 2: 对于运维 nginx的expires ,利用浏览器缓存等,减少查询.3: 利用cdn来响应请求 4: 最终剩下的,不可避免的请求----服务器集群+负载均衡来支撑. 所以,来到第4步后,就不要再
redis是一个基于内存的kv数据库，而kafka是分布式发布订阅消息系统.两者本身不是同样一个层次的东西。redis中有一个queue的数据类型，用来做发布/订阅系统，这个就可以和kafka进行比较了哈。存储介质不同redis queue数据是存储在内存，虽然有AOF和RDB的持久化方式，但是还是以内存为主。kafka是存储在硬盘上性能不同因为存储介质不同，理论上redis queue的性能要优
转载
2023-06-28 16:58:48
156阅读
前言描述 生产初级，Service服务较少，访问量较少，随着业务量的不断增加，日志量成倍增长，然后就遇到了消息队列redis被充爆，不能满足应用的情况。针对此情况，我们来分析下可用的消息多列。官方推荐消息队列 redis、kafka、rabbitmq。我们现在针对这三种进行比较。从消息订阅模式比较 Redisredis是基于内存的应用，消息都存放在内存中，写入读取速度快，但是受内存容量的限制，容易
转载
2023-08-10 13:16:11
136阅读
一、项目说明1、需求实时更新每个用户走的总步数；每隔5s统计一次，包括某个用户新统计时的时间、所在地点、新增步数；这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中；2、业务流程首先造一些模拟数据实时传入kafka队列，然后sparkStreaming从kafka实时读取这些模拟数据并做相关分析，最终将分析结果存入redis;3、大数据组件kafka: kaf
转载
2023-09-23 13:14:50
103阅读
