这是一个基于Redisson的RDelayedQueue实现的,且非常简单的延迟队列代码示例。
这个例子中,包含1个生产者和2个消费者。
(消费者代码完全一样,所以下面的代码示例中仅给出一份消费者的代码)
消息对象
package cn.mrxionge.idemo.redisdq;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
/**
* 消息对象
*/
@Data
@NoArgsConstructor
@AllArgsConstructor
class MsgDto {
/**
* 消息ID
* 保证唯一性
*/
private String id;
/**
* 消息标签
* 方便对消息进行分类/分组
*/
private String tag;
/**
* 消息对象
* 通常是一个复杂的数据对象 这里只是用String做例子
*/
private String msg;
}
消息对象可以完全自定义,符合业务场景即可。
Redis连接工具
package cn.mrxionge.idemo.redisdq;
import org.redisson.Redisson;
import org.redisson.api.RDelayedQueue;
import org.redisson.api.RedissonClient;
import org.redisson.codec.JsonJacksonCodec;
import org.redisson.config.Config;
class DQClient {
private final static String QUEUE_NAME = "test:delayed_queue_demo";
/**
* 获取一个DelayedQueue对象
*
* @return RDelayedQueue
*/
static RDelayedQueue<MsgDto> getClient() {
//配置连接
Config config = new Config();
config.setThreads(2).setNettyThreads(4);
config.useSingleServer().setAddress("redis://xxx.xxx.xxx.xxx:6379").setPassword("******").setDatabase(0)
.setSubscriptionConnectionMinimumIdleSize(1).setSubscriptionConnectionPoolSize(4)
.setConnectionMinimumIdleSize(1).setConnectionPoolSize(4);
RedissonClient client = Redisson.create(config);
//创建DelayedQueue
return client.getDelayedQueue(client.getQueue(QUEUE_NAME, JsonJacksonCodec.INSTANCE));
}
}
消费者demo
package cn.mrxionge.idemo.redisdq;
import cn.hutool.core.thread.ThreadUtil;
import cn.hutool.core.util.RandomUtil;
import lombok.extern.slf4j.Slf4j;
import org.redisson.api.RDelayedQueue;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
/**
* 消费者
*/
@Slf4j
public class RConsumer {
public static void main(String[] args) {
RDelayedQueue<MsgDto> queue = DQClient.getClient();
//创建定时器 间隔1秒 尝试从队列中获取数据
new ScheduledThreadPoolExecutor(1)
.scheduleWithFixedDelay(() -> {
MsgDto msgDto = queue.poll();
if (msgDto == null) {
return;
}
log.debug("消费数据 msgDto: {}", msgDto);
try {
//模拟消费数据后业务执行一段时间
ThreadUtil.sleep(RandomUtil.randomInt(100, 1000));
} catch (Exception e) {
//异常后 把数据重新插入队列 用于重试
queue.offer(msgDto);
}
}, 1, 1, TimeUnit.SECONDS);
}
}
消费者这里,采用定时拉取数据的方案来获取队列中的数据。
生产者demo
package cn.mrxionge.idemo.redisdq;
import cn.hutool.core.thread.ThreadUtil;
import cn.hutool.core.util.IdUtil;
import cn.hutool.core.util.RandomUtil;
import lombok.extern.slf4j.Slf4j;
import org.redisson.api.RDelayedQueue;
import java.util.concurrent.TimeUnit;
/**
* 生产者
*/
@Slf4j
public class RProvider {
public static void main(String[] args) {
RDelayedQueue<MsgDto> queue = DQClient.getClient();
for (int i = 0; i < 10; i++) {
//创建数据并插入到队列中
MsgDto msgDto = new MsgDto(IdUtil.objectId(), "test", "Hello World!");
queue.offer(msgDto, 5, TimeUnit.SECONDS);
log.debug("生产数据 msgDto: {}", msgDto);
//模拟数据随机产生
ThreadUtil.sleep(RandomUtil.randomInt(1000, 5000));
}
}
}
测试
我们先启动2个消费者,再启动1个生产者。
待生产者插入完消息,消费者消费完消息后,我们查看日志分析运行结果。
↑↑↑ 生产者随机向队列中插入10条数据。
↑↑↑ 消费者1,消费其中6条数据。
↑↑↑ 消费者2,消费其中4条数据。
总结
这个代码示例中,仅仅满足了生产消费模型,但是很多细节实现,都不如MQ那么成熟。
比如10条消息,并没有均匀地被2个消费者消费,也就是没有负载均衡。
这个和Redis本身也有关系,毕竟它不是专业的MQ。
(跟模式也有关系。推送/拉取)
如果只是需要实现简单的延迟队列,以上的代码示例即可满足。更专业的需求,还是推荐使用专业的消息队列。
注意:
上面的例子中,生产者和消费者都是"RDelayedQueue"实例
实际上消费者使用"RQueue"会更好,且能够避免特定情况下无法正常处理消息的问题发生