①RabbitMQ： RabbitMQ 是使用 Erlang 编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP，SMTP，STOMP，也正因如此，它非常重量级，更适合于企业级的开发同时实现了 Broker 构架，这意味着消息在发送给客户端时先在中心队列排队。对路由，负载均衡或者数据持久化都有很好的支持②Redis：
转载
2024-05-16 11:09:40
47阅读
一、背景我们组内维护的kafka集群承担着公司绝大部分实时数据的收集传输任务。但是，现阶段存在如下问题，已经对集群的稳定性、用户的使用以及管理员的运维造成了很大影响：1. 当前集群版本较低，且触发低版本bug的概率较高，严重影响了集群的稳定性，例如最近violet集群就因为触发bug导致集群不可用；2. 当前多个集群的版本不一致，用户使用时会受到集群版本的制约，另外，由于多版本并存，管理员必须关注
转载
2024-01-12 10:26:43
61阅读
文章目录1. 缓存穿透2. 缓存击穿3. 缓存雪崩4. 应对总结 1. 缓存穿透同一时刻，大量的并发请求数据库中不存在的信息，他既不会命中缓存，也不会命中数据库，但是他会查找数据库解决方案：在接口层增加校验，比如用户鉴权校验，参数做校验，不合法的参数直接代码Return，比如：id 做基础校验，id <=0的直接拦截等当数据库查询结果为空时，数据也被缓存，但缓存有效期设置较短，以免影响正常
目录一、ELK 架构面临的问题1.1 耦合度过高1.2 性能瓶颈二、ELK 对接 Redis 实践2.1 配置 Redis2.1.1 安装 Redis2.1.2 配置 Redis2.1.3 启动 Redis2.2 配置 Filebeat 2.3 配置 Logstash2.4 数据消费2.5 配置 kibana三、消息队列基本概述3.1 什么是消息队列3.2 消息队列的
转载
2024-10-08 12:42:33
35阅读
1、 kafka是消息中间件，原理就是一个队列用来保存所有发布的消息，等到客户端一上线就推送给客户端。发布订阅模式。所有消息都保存在磁盘上。 2、redis是非关系型数据库，也有发布订阅的功能。区别： kafka是保存在磁盘上，一般用于性能要求不高的场景（日志）而且kafka是保存在磁盘上，一般用于数据量很大的场合。而且kafka设置消息过期时间是以segment为单位的，不能对每个消息都设置过期
转载
2023-05-25 13:08:54
71阅读
Redis，它首先是一个内存数据库，其提供的PUB/SUB功能把消息保存在内存中(基于channel)，因此如果你的消息的持久性需求并不高且后端应用的消费能力超强的话，使用Redis PUB/SUB是比较合适的使用场景。比如官网说提供的一个网络聊天室的例子：模拟IRC，因为channel就是IRC中的服务器。用户发起连接，发布消息到channel，接收其他用户的消息。这些对于持久性的要求并不高，使
转载
2023-07-08 19:32:37
100阅读
Kafka和Redis性能对比能力关于卡夫卡Kafka是一种分布式，分区和复制的提交日志服务，它提供消息传递功能以及独特的设计。我们可以在日志聚合过程中使用此功能。Kafka使用的基本消息传递术语是：主题：这些是发布消息的类别。
生产者：这是将消息发布到Kafka主题中的过程。
使用者：此过程订阅主题并处理消息。使用者是使用者组的一部分，该使用者组由许多使用者实例组成，以实现可伸缩性和容错能力。
转载
2023-09-18 22:51:45
153阅读
kafka升级官方指导及注意事项
从0.8.x，0.9.x，0.10.0.x，0.10.1.x，0.10.2.x，0.11.0.x，1.0.x，1.1.x，2.0.x或2.1.x升级到2.2.0如果要从2.1.x之前的版本升级，请参阅以下注释，以了解用于存储使用者偏移量的架构的更改。将inter.broker.protocol.version更改为最新版
redis是一个基于内存的kv数据库，而kafka是分布式发布订阅消息系统.两者本身不是同样一个层次的东西。redis中有一个queue的数据类型，用来做发布/订阅系统，这个就可以和kafka进行比较了哈。存储介质不同redis queue数据是存储在内存，虽然有AOF和RDB的持久化方式，但是还是以内存为主。kafka是存储在硬盘上性能不同因为存储介质不同，理论上redis queue的性能要优
转载
2023-06-28 16:58:48
156阅读
目录2.7 延时队列2.8 重试队列代码实现Kafka 高级特性-延时/重试队列 2.7 延时队列两个follower副本都已经拉取到了leader副本的最新位置，此时又向leader副本发送拉取请求，而leader副本并没有新的消息写入，那么此时leader副本该如何处理呢？可以直接返回空的拉取结果给follower副本，不过在leader副本一直没有新消息写入的情况下，followe
转载
2023-08-11 09:51:24
79阅读
一、项目说明1、需求实时更新每个用户走的总步数；每隔5s统计一次，包括某个用户新统计时的时间、所在地点、新增步数；这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中；2、业务流程首先造一些模拟数据实时传入kafka队列，然后sparkStreaming从kafka实时读取这些模拟数据并做相关分析，最终将分析结果存入redis;3、大数据组件kafka: kaf
转载
2023-09-23 13:14:50
103阅读
前言描述 生产初级，Service服务较少，访问量较少，随着业务量的不断增加，日志量成倍增长，然后就遇到了消息队列redis被充爆，不能满足应用的情况。针对此情况，我们来分析下可用的消息多列。官方推荐消息队列 redis、kafka、rabbitmq。我们现在针对这三种进行比较。从消息订阅模式比较 Redisredis是基于内存的应用，消息都存放在内存中，写入读取速度快，但是受内存容量的限制，容易
转载
2023-08-10 13:16:11
136阅读
1、系统A（扣减托盘）【消息生产者】2、系统B（扣减押金）【消息消费者】业务描述：两套系统，A中扣减托盘，B中对应的要扣减押金；A中托盘归还，B中押金返还 利用消息队列来解决分布式事务过程：发送方【生产者】：（不关心接收方状态，只需要确定本地OK，消息推送即可）1、发送的消息首先需要入库（1⃣表结构：【消息ID，内容，相关事务的ID】）2、执行本地逻辑操作并commit，发送
转载
2024-05-28 09:25:33
39阅读
学习笔记，仅供参考，有错必纠参考自：https://www.cnblogs.com/badaoliumangqizhi/p/11522014.h
原创
2022-06-02 21:12:12
455阅读
利用反射更新类
原创
2021-08-11 15:34:44
107阅读
消息队列消息（Message）：是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）：是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠传递，消息发布者只管把消息发布到消息队列中而不管谁来取，消息使用者只管从消息队列中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在Kafka消息
转载
2023-12-31 20:53:33
70阅读
# Java Kafka 更新 Offset 的科普
在使用 Apache Kafka 进行消息队列处理时，Offset（偏移量）是一个重要的概念。Offset 表示消费者在某个特定分区中读取到的记录的位置。通过更新 Offset，消费者能够记录已处理的消息，这样在重启或故障恢复时能够继续从正确的位置开始处理消息。
## Kafka 的 Offset 更新机制
Kafka 提供了两种更新 O
# 使用Kafka向MySQL更新数据的完整流程
随着大数据和分布式系统的发展，数据的处理和存储方式也在不断演进。Apache Kafka作为一个强大的分布式流处理平台，通常用于实时数据流的处理；MySQL则是一个广泛使用的关系型数据库管理系统，适用于结构化数据的存储与查询。在某些应用场景中，我们需要将流式数据从Kafka更新到MySQL数据库中。本文将带您了解这一过程的详细步骤，并提供相应的代
zookeeper配置文件为zookeeper.properties，只需修改一处： dataDir：zookeeper存储数据的路径，Windows环境路径要用D:\\kafka3.2.1\\datas这种形式我遇到了Kafka异常重启后提示错误：The Cluster ID XXXXX doesn‘t match stored clusterId Some(XXXXX) in meta.pro
redis push/pop VS pub/sub（1）push/pop每条消息只会有一个消费者消费，而pub/sub可以有多个对于任务队列来说，push/pop足够，但真的在做分布式消息分发的时候，还是pub/sub吧。（2）从编程角度看，pub/sub中sub通道需要保持长连接，而push/pop, pop需要Consumer进程定时去刷新。前者可以满足实时要求，但是对编程架构有要
转载
2023-06-07 22:04:23
124阅读
