作者：otonomo将异步通信用于微服务时，通常使用消息代理。代理确保不同微服务之间的通信可靠且稳定，确保消息在系统内得到管理和监视，并且消息不会丢失。您可以选择一些消息代理，它们的规模和数据功能各不相同。这篇博客文章将比较三种最受欢迎的经纪人：RabbitMQ，Kafka和Redis。但是首先，让我们了解微服务通信。微服务通信：同步和异步微服务之间有两种常见的通信方式：同步和异步。在同步通信中，
转载
2024-02-05 02:38:25
89阅读
Redis：持久化RDB快照，快照过程如下：使用fork函数复制一份当前进程（父进程）的副本（子进程）父进程继续接受和处理（采用copy-on-write策略），子进程开始将内存数据写入临时文件子进程写入完成之后，用临时文件替换旧的RDB文件AOF开启AOF持久化后，每执行一条更改，将命令写入磁盘的AOF文件。 AOF重写：为了解决AOF文件冗余的问题，触发时机，当前大小超过上次重写大小的百分比（
转载
2024-10-03 13:34:47
144阅读
RabbitMQ是一个分布式系统，这里面有几个抽象概念。 broker：每个节点运行的服务程序，功能为维护该节点的队列的增删以及转发队列操作请求。master queue：每个队列都分为一个主队列和若干个镜像队列。mirror queue：镜像队列，作为master queue的备份。在master queue所在节点挂掉之后，系统把mirror queue提升为master
SparkStreaming的应用1. Spark Streaming介绍1.1. Spark Streaming概述1.1.1. 什么是SparkStreaming Spark Streaming类似于ApacheStorm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Str
转载
2023-12-07 17:03:48
118阅读
这篇文章中讲到了kafka中的比较重要的概念，而我则是主要说一下我自己对这些概念的理解吧。刚开始学习的时候还不太理解，后面慢慢开始有了自己的见解。之前有学习过redis的集群，redis有哨兵、主从复制以及集群三种方式实现集群。主从复制主要是将节点进行备份，将不同的副本复制在不同的节点上，防止某个节点宕机了而导致数据的丢失，但是这样并不能做到很好的集群，因此就有了redis的集群。redis集群是
转载
2023-10-09 12:47:45
84阅读
Redis和Kafka之间的区别在本文中，我们将探讨Redis与Kafka之间的最高差异和性能。Redis： Redis是一个内存中的键值数据存储，也是开源的。它可以非常快地用于缓存会话管理，高性能数据库和消息代理。在存储和多种功能方面，Redis与Kafka有所不同。Apache Kafka： Apache Kafka是一个消息传递系统，它使您可以发布和订阅基于主题和分区的消息流。这样，它类似于
转载
2023-05-29 16:40:13
900阅读
## 深入了解Kafka和Redis
Kafka和Redis都是热门的开源软件，用于处理实时数据流。它们在不同方面有着不同的优势和用途。在本文中，我们将对比一下这两种流行的技术，探讨它们的优势和劣势。
### Kafka vs Redis
#### Kafka
Apache Kafka是一个分布式流处理平台，可以处理大规模的数据流。它主要用于构建实时数据管道和流式应用程序。Kafka的主要
原创
2024-05-23 05:16:41
33阅读
# Kafka延迟消息与Redis的对比实现
在现代分布式系统中，消息队列（如Kafka）和缓存存储（如Redis）都扮演着重要的角色。其中，Kafka主要用于处理高吞吐量的消息传递，而Redis则常用于高性能的临时数据存储。在某些情况下，我们需要实现延迟消息，这时候Kakfa和Redis可以各自发挥其优势。本文将详细介绍如何用Kafka实现延迟消息，并与Redis的实现进行对比。
## 流程
01 延迟队列两个follower副本都已经拉取到了leader副本的最新位置，此时又向leader副本发送拉取请求，而leader副本并没有新的消息写入，那么此时leader副本该如何处理呢？可以直接返回空的拉取结果给follower副本，不过在leader副本一直没有新消息写入的情况下，follower副本会一直发送拉取请求，并且总收到空的拉取结果，消耗资源。
Kafka在处理拉取请求时
转载
2023-10-24 06:01:00
79阅读
消息性能对比：Kafka和RocketMQ都是磁盘消息队列的模式，对于同一个消费组，一个分区只支持一个消费线程来消费消息。过少的分区，会导致消费速度大大落后于消息的生产速度。所以在实际生产环境中，一个Topic会设置成多分区的模式，来支持多个消费者Kafka的每个Topic、每个分区都会对应一个物理文件。当Topic数量增加时，消息分散的落盘策略会导致磁盘IO竞争激烈成为瓶颈。而RocketMQ所
转载
2024-03-26 13:08:22
56阅读
导语 | 市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例，逐步深入，讲讲它们架构和原理，帮助你更好地理解和学习消息队列。文章作者：刘德恩，腾讯IEG研发工程师。一、最基础的队列最基础的消息队列其实就是一
转载
2022-04-23 22:53:31
174阅读
市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例。。。
转载
2021-07-27 16:23:18
202阅读
点击上方“朱小厮的博客”，选择“设为星标”后台回复"书"，获取后台回复“k8s”，可领取k8s资料导语 |市面上有非常多的消息中间件，rabbitMQ、kafka、roc...
转载
2021-09-15 16:31:09
137阅读
导语 | 市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例，逐步深入，讲讲它们架构和原理，帮助你更好地理解和学习消息队列。文章作者：刘德恩，腾讯IEG研发工程师。
一、最基础的队列
最基础的消息队列其实就
转载
2021-06-12 17:26:12
495阅读
导读
市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例，逐步深入，讲讲它们架构和原理，帮助你更好地理解和学习消息队列。
一、最基础的队列
最基础的消息队列其实就是一个双端队列，我们可以用双向链表来实现，如下图所示：
转载
2021-06-18 20:54:04
140阅读
市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例，逐步深入，讲讲它们架构和原理，帮助你更好地理解和学习消息队列。文章作者：刘德恩，腾讯IEG研发工程师。...
转载
2021-07-28 16:50:24
193阅读
Redis0、参考文章 主从同步 哨兵机制1、Redis持久化方式AOF:将内存中的数据以快照的形式写入磁盘，实际过程中是fork一个子进程来写的，采用的是 copy on write机制
优点：恢复数据速度快， 缺点：时点和时点之间的数据会丢RDB:以文本日志的形式记录Redis处理的每一个写入、更新或者删除操作，可以设置成每秒落一次盘或者每次改动都落盘或者永不
优点：丢失数据少，
转载
2024-06-09 10:31:00
106阅读
一,添加硬盘1>挂载好新硬盘后输入fdisk -l命令看当前磁盘信息2>可以看到除了当前的第一块硬盘外还有一块sdb的第二块硬盘，然后用fdisk /dev/sdb 进行分区3>进入fdisk命令，输入h可以看到该命令的帮助，按n进行分区4>这里输入e即分为逻辑分区，按p即分为主分区，我们要将这块盘分为主分区即输入p5>到这里输入该主分区为第几个主分区，由于
转载
2024-06-02 19:12:21
32阅读
转载自：https://blog.csdn.net/qiqizhiyun/article/details/79848834 一、RabbitMq RabbitMQ是一个Advanced Message Queuing Protocol（AMQP）的开源实现，由以高性能、可伸缩性出名的Erlang写成
转载
2019-05-10 16:33:00
257阅读
2评论
# Kafka实现延时处理消息和Redis对比
在现代应用中，消息队列的使用越来越普遍，特别是在处理异步任务和延时任务方面。Kafka和Redis是两种广泛使用的工具，它们在消息延时处理上的特性各有千秋。本文将对它们进行对比，并提供示例代码，以帮助读者更好地理解这两种技术的使用场景和优劣。
## Kafka的延时处理
Kafka是一个分布式流处理平台，能够高效地处理大量实时数据。通常情况下，
原创
2024-08-01 07:33:17
114阅读
