一、项目说明1、需求实时更新每个用户走的总步数；每隔5s统计一次，包括某个用户新统计时的时间、所在地点、新增步数；这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中；2、业务流程首先造一些模拟数据实时传入kafka队列，然后sparkStreaming从kafka实时读取这些模拟数据并做相关分析，最终将分析结果存入redis;3、大数据组件kafka: kaf
转载
2023-09-23 13:14:50
103阅读
前言：我们都知道 Kafka 是基于磁盘进行存储的，但 Kafka 官方又称其具有高性能、高吞吐、低延时的特点，其吞吐量动辄几十上百万。小伙伴们是不是有点困惑了，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间。那 Kafka 又是怎么做到其吞吐量动辄几十上百万的呢？Kafka 高性能，是多方面协同的结果，包括宏观架构、分布式 partition 存储、ISR 数据同步、以及“无所不
转载
2024-05-22 10:34:12
59阅读
在开发java SparkStreaming的时候一定会遇到kafka偏移量管理的问题上，因为需要考虑到各式各样的容灾处理。如果我们采用kafka来自行处理kafka偏移量的话非常简单，因为kafka本身就有这个机制可以定时存储消费者分组的偏移量，但是这样会有重复消费的情况还有就是如果采用这种方式那么就是将kafka的offset
转载
2023-09-30 20:39:59
71阅读
最近面试蚂蚁金服一面的时候，和面试官聊项目问题的时候，发现我这边业务实现的top100场景好像没有实现exactly once语义，我们项目的offset是存储在zk中，然后业务处理完毕后，最后再提交offset更新到zk，这种时候就会出现一个问题就是如果业务处理完毕，数据已经更新到redis中进行了累加，然后offset更新zk没成功宕机了，再次重启的时候就会读取老的offset导致数据重复
转载
2024-06-18 05:39:29
31阅读
Redis：持久化RDB快照，快照过程如下：使用fork函数复制一份当前进程（父进程）的副本（子进程）父进程继续接受和处理（采用copy-on-write策略），子进程开始将内存数据写入临时文件子进程写入完成之后，用临时文件替换旧的RDB文件AOF开启AOF持久化后，每执行一条更改，将命令写入磁盘的AOF文件。 AOF重写：为了解决AOF文件冗余的问题，触发时机，当前大小超过上次重写大小的百分比（
转载
2024-10-03 13:34:47
140阅读
SparkStreaming的应用1. Spark Streaming介绍1.1. Spark Streaming概述1.1.1. 什么是SparkStreaming Spark Streaming类似于ApacheStorm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Str
转载
2023-12-07 17:03:48
118阅读
简介 Stream是Redis 5.0引入的一种新数据类型，允许消费者等待生产者发送的新数据，还引入了消费者组概念，组之间数据是相同的（前提是设置的偏移量一样），组内的消费者不会拿到相同数据。这种概念和kafka很雷同。 在某些特定场景可以使用redis的stream代替kafka等消息队列，减少系统复杂
转载
2023-09-27 10:15:43
77阅读
导读：Redis5.0最新重点推出了Stream的支持，给众多架构师在消息队列方面带来了新的选择，特别是Redis粉丝们绝对是一个福音。那么Redis的Stream有哪些特别的功能？跟kafka有哪些异同？怎么更好的使用它呢？本文作者老钱对此调研颇多，小编读后觉得受益很大，大家也不妨详细了解下。作者简介：钱文品（老钱），互联网分布式高并发技术十年老兵，目前任掌阅科技资深后端工程师。熟练使用 Jav
转载
2023-08-08 21:23:54
110阅读
流(Stream)是 Redis 从5.0.0版本新加入的一个数据结构，是一个类似于Kafka的消息系统。该结构相关的大部分命令使用字母 X开头 如 XADD, XLEN, XRANGE等。在开始详细叙述之前，先说明一下：本文内容主要是结合官网文章Introduction to Redis Streams 和个人理解整理而成。另外想吐槽下自己，游戏玩多了也不太好， Stream总是不自觉的写成了
转载
2024-03-03 22:06:08
27阅读
# 如何实现 Redis Stream Kafka 吞吐量
作为一名经验丰富的开发者，我将教你如何实现 Redis Stream Kafka 的吞吐量。本文将详细介绍整个流程，并提供每一步所需的代码和注释。
## 流程概述
为了实现 Redis Stream Kafka 吞吐量，我们需要经历以下几个步骤：
1. 配置 Kafka 环境
2. 创建 Redis Stream
3. 生产数据到
原创
2023-10-03 13:20:08
86阅读
实时流式计算 - Kafka Stream2.1 概述Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka Stream的特点如下：Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意方式打包和部署除了Kafka外，无任何外
转载
2023-10-05 07:02:58
205阅读
我们的应用场景是分析用户使用手机App的行为，描述如下所示：1、手机客户端会收集用户的行为事件（我们以点击事件为
原创
2023-05-16 10:21:57
102阅读
点赞
写在前面2016年天猫双十一当天，零点的倒计时话音未落，52秒交易额冲破10亿。随后，又迅速在0时6分28秒，达到100亿！每一秒开猫大屏上的交易额都在刷新，这种时实刷新的大屏看着感觉超爽。天猫这个大屏后面的技术应该是使用流计算，阿里使用Java将Storm重写了，叫JStrom(https://github.com/alibaba/jstorm)，最近学习SparkStream和Kafka,可以
转载
2023-10-18 16:43:53
94阅读
# Redis Stream实现Kafka的消息队列
## 介绍
Kafka是一种高吞吐量的分布式消息系统，被广泛用于实时数据流处理中。然而，Kafka的部署和配置相对较为复杂，对于一些小规模应用来说可能过于笨重。而Redis是一个高性能的内存数据库，其内置的Stream数据结构可以非常方便地用来实现简单的消息队列。本文将介绍如何使用Redis Stream来实现类似Kafka的消息队列。
#
原创
2024-01-10 00:25:55
153阅读
package utils import java.net.{InetAddress, InetSocketAddress} import java.sql.{Connection, DriverManager, Port java.util.Properties import...
文章目录SparkStreaming+Kafka1.SpringStreaming+Kafka 接受数据和发送数据(1)SparkStreaming 接受kafka方式(2)Spark 发送数据至Kafka中2.Spark streaming+Kafka调优2.1 批处理时间设置2.2 合理的Kafka拉取量2.3 缓存反复使用的Dstream（RDD）2.4 设置合理的GC2.5 设置合理的C
转载
2024-04-07 11:25:50
44阅读
storm与kafka的结合，即前端的采集程序将实时数据源源不断采集到队列中，而storm作为消费者拉取计算，是典型的应用场景。因此，storm的发布包中也包含了一个集成jar，支持从kafka读出数据，供storm应用使用。这里结合自己的应用做个简单总结。 由于storm已经提供了storm-kafka，因此可以直接使用，使用kafka的低级api读取数据。
转载
2024-09-27 17:51:01
18阅读
四、在producer端输入字符串（空格分割），看consumer输出。
原创
2023-09-07 16:08:23
106阅读
一、Kafka核心API下图是官方文档中的一个图，形象的描述了能与Kafka集成的客户端类型!(https://s2.51cto.com/images/blog/202210/12182720_634696884f00520971.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_s
原创
2022-10-12 18:30:03
305阅读
# 实现Python Kafka Stream
## 简介
在本文中，我将向你介绍如何使用Python实现Kafka Stream。Kafka Stream是一个用于处理和分析实时数据的流处理器，它可以帮助我们构建高度可扩展的实时应用程序。我们将按照以下步骤来实现它。
## 流程图
下面是实现Python Kafka Stream的流程图，我们会一步步进行解释。
```mermaid
gan
原创
2023-12-23 09:35:34
92阅读
