ActiveMQ 提供了2种方式的消息通信机制：点对点 和 发布/订阅 模式。 (1).使用点对点（Queue，即队列）时,每个消息只有一个消费者，所以，持久化很简单，只要保存到数据库即可。然后，随便一个消费者取走处理即可。某个消费者关掉一阵子，也无所谓。 (2).使用发布/订阅(Topic，即订阅)时，每个消息可以有多个消费者，就麻烦一些。首先，假设Topic消费者都是普通的消费者： -----
转载
2024-04-09 15:33:24
133阅读
目标生产环境ActiveMQ消费慢问题始末第一次代码优化后服务线程阻塞问题排查最终问题解决生产环境ActiveMQ消费慢问题始末 公司一个系统生产环境应用ActiveMQ进行通信，由于上下层系统的特殊性，消息的对接使用的P2P的模式，上送服务需要对接上百个ActiveMQ的消息队列，下层服务的每一个实例都对接一个消息队列，并且消息量不大，所以消息生产者是一个单线程的程序，并且生产者使用同步的方
转载
2024-03-24 10:38:54
173阅读
# Redis Streams 及其订阅消费组的科普
Redis 是一个高性能的内存数据库，广泛用于缓存、消息队列等场景。Redis Streams 是 Redis 5.0 中新引入的一种数据类型，旨在支持流式数据处理。本文将深入探讨 Redis Streams 的概念和使用方法，重点介绍订阅消费组的功能。
## Redis Streams 概述
Redis Streams 允许用户以有序的
原创
2024-08-04 04:46:28
131阅读
本文主要介绍RocketMQ中Topic、Tag、GroupName的概念、设计初衷以及使用方法。一.Topic首先看看官方的定义： Topic是生产者在发送消息和消费者在拉取消息的类别。Topic与生产者和消费者之间的关系非常松散。具体来说，一个Topic可能有0个，一个或多个生产者 向它发送消息；相反，一个生产者可以
转载
2023-09-29 11:49:07
1419阅读
生产者代码package org.mule.util.ansyLog;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import javax.jms.Connection;
impor
转载
2024-10-21 12:15:17
40阅读
01、前言发布订阅系统在我们日常的工作中经常会使用到，这种场景大部分情况我们都是使用消息队列的，常用的消息队列有 Kafka，RocketMQ，RabbitMQ，每一种消息队列都有其特性，关于 Kafka 的使用和源码分析，公号前面有相关的文章，大家可以前往回顾一下，另外两款消息队列大家有需要可以自行研究，后续我们会出相应的介绍文章。这篇文章主要是给大家介绍 Redis 的发布订阅系统，很多时候我
转载
2023-09-08 13:58:53
40阅读
提示: 如所描述不对，请提出建议，谢谢大家!安装ActiveMQ 简介-PTP消息生产者(producer)生成消息发送到Queue中，然后消息消费者(consumer)从Queue中取出并且消费消息。消息被消费之后，Queue中不会再有存储，所以消息消费者(consumer)不可能消费已经消费的消息。Queue支持存在多个消费者(consumer)，但是对于一个消息而言，只能有一个消费
转载
2024-06-05 09:29:44
184阅读
package mainimport ( "context" "github.com/go-redis/redis/v8" "log" "sync")var ctx = context.Background()func ProducerMessageList(rdb *redis.Client, queueListKey string) { for i := 0; i
原创
2023-03-16 14:55:01
419阅读
命令行工具消费组管理查看消费组：./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list查看消费组详细信息：./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group groupid查看消费组当前的状态：./kafka-c
转载
2024-02-08 03:42:12
309阅读
1. 消费者组的特点 这是 kafka 集群的典型部署模式。消费组保证了：一个分区只可以被消费组中的一个消费者所消费一个消费组中的一个消费者可以消费多个分区，例如 C1 消费了 P0, P3。一个消费组中的不同消费者消费的分区一定不会重复，例如：C1 -> P0、P3C2 -> P1、P2所有消费者一起消费所有的分区，例如 C1 和 C2 共同完成了对 P0、P1、P2、P3 的消
转载
2024-03-19 02:22:34
104阅读
消费组组（Consumer group）可以说是kafka很有亮点的一个设计。传统的消息引擎处理模型主要有两种，队列模型，和发布-订阅模型。队列模型：早期消息处理引擎就是按照队列模型设计的，所谓队列模型，跟队列数据结构类似，生产者产生消息，就是入队，消费者接收消息就是出队，并删除队列中数据，消息只能被消费一次。但这种模型有一个问题，那就是只能由一个消费者消费，无法直接让多个消费者消费数据。基于这个
转载
2024-02-21 20:11:27
132阅读
发布订阅模式和观察者模式有什么区别观察者模式中，观察者和主题都知道对方的存在；而在发布与订阅模式中，生产者与消费者不知道对方的存在，它们之间通过频道进行通信。 观察者模式是同步的，当事件触发时，主题会调用观察者的方法，然后等待方法返回；而发布与订阅模式是异步的，生产者向频道发送一个消息之后，就不需要关心消费者何时去订阅这个消息，可以立即返回。kafka的基本组件为什么 Kafka 不像 MySQL
转载
2024-06-02 22:59:23
22阅读
1.1 列表的局限 前面我们说通过队列的 rpush 和 lpop 可以实现消息队列（队尾进队头出），但是消费者需要不停地调用 lpop 查看 List 中是否有等待处理的消息（比如写一个 while 循环）。为了减少通信的消耗，可以 sleep()一段时间再消费，但是会有两个问题：1、如果生产者生产消息的速度远大于消费者消费消息的速度，List 会占用大量的内存。2、消息的实时性降低。list
转载
2024-09-04 16:55:26
35阅读
近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。这篇文章简单介绍
1、消息中间件作用解耦/异步/削峰2、消息中间件通信模式点对点模式如上图所示，点对点模式通常是基于拉取或者轮询的消息传送模型，这个模型的特点是发送到队列的消息被一个且只有一个消费者进行处理。生产者将消息放入消息队列后，由消费者主动的去拉取消息进行消费。点对点模型的的优点是消费者拉取消息的频率可以由自己控制。但是消息队列是否有消息需要消费，在消费者端无法感知，所以在消费者端需要额外的线程去监控。发布
转载
2024-03-22 08:49:00
162阅读
列出所有主题中的所有用户组 ./bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:12092 --list 查看组 消费情况 kafka-consumer-groups --describe --bootstrap-server lo
原创
2021-09-05 09:18:52
2690阅读
Consumer 类，该类通过在一些多线程应用程序中促进代码重用以及简化代码调试和维护来解决这个问题。请通过单击本文顶部或底部的 讨论来参与本文的 论坛，与作者和其他读者分享您的想法。 评论： Joseph Hartal (saffi@myrealbox.com), 软件开发人员, GlobaLoop LTD Ze'ev Bubis 
一、Kafka的基本架构Kafka是一个分布式的基于发布/订阅模式的消息队列，（1）Producer ：消息生产者，就是向kafka broker发消息的客户端； （2）Consumer ：消息消费者，向kafka broker取消息的客户端； （3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消
转载
2024-02-27 22:06:36
427阅读
MQ（消息队列）是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰、灵活扩展。接下来介绍消息中间件Kafka。 Kafka是什么？Kafka是一个分布式的消息引擎。具有以下特征能够发布和订阅消息流（类似于消息队列）以容错的、持久的方式存储消息流多分区概念，提高了并行能力 Kafka架构总览Topic&
转载
2024-07-27 15:01:50
84阅读
先说结果：会造成数据丢失再说依据：RocketMQ要求同一个消费者组内的消费者必须订阅关系一致，如果订阅关系不一致会出现消息丢失的问题。官网入口：订阅关系一致 | RocketMQ不想看官网的，直接看结论什么叫订阅关系一致1.订阅的Topic相同，或者订阅的Topic相同 tag也相同，或者Topic相同，tag的顺序也相同。2.什么叫不一致呢？就是订阅的Topic不同，或者Topic相同，但是T
转载
2024-03-25 20:49:20
313阅读
