§1 RabbitMQ延迟队列
RabbitMQ延迟队列,主要是借助消息的TTL(Time to Live)和死信exchange(Dead Letter Exchanges)来实现。
涉及到2个队列,一个用于发送消息,一个用于消息过期后的转发目标队列。
本例中, 定义2组exchange和queue。
agentpayquery1exchangeagentpayquery1queue(routingkey为delay)
agentpayquery2exchangeagentpayquery2queue(routingkey为delay)
agentpayquery1queue是缓冲队列,消息过期路由到agentpayquery2queue
§2 生产者
生产者配置:
username="${username}"password="${password}"channel-cache-size="${cache.size}"publisher-confirms="${publisher.confirms}"publisher-returns="${publisher.returns}"virtual-host="/"
/>
生产者消息入队(方法有待重构,见后文说明):
importorg.springframework.amqp.AmqpException;importorg.springframework.amqp.core.Message;importorg.springframework.amqp.core.MessageDeliveryMode;importorg.springframework.amqp.core.MessagePostProcessor;importorg.springframework.amqp.rabbit.core.RabbitTemplate;importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.stereotype.Service;
@Servicepublic classAgentpayQueryProducer {private static final Logger log = LogManager.getLogger(AgentpayQueryProducer.class.getSimpleName());
@AutowiredprivateRabbitTemplate agentpayQueryMsgTemplate;public void sendDelay(String message, intdelaySeconds) {
String expiration= String.valueOf(delaySeconds * 1000);
agentpayQueryMsgTemplate.convertAndSend((Object) message,newMessagePostProcessor() {
@OverridepublicMessage postProcessMessage(Message message)throwsAmqpException {
message.getMessageProperties().setExpiration(expiration);
message.getMessageProperties().setDeliveryMode(MessageDeliveryMode.PERSISTENT);
log.info("出款查询数据入队:{}", newString(message.getBody()));returnmessage;
}
});
}
}
§3消费者
消费端的配置无他:
消息消费:
importcom.alibaba.fastjson.JSON;importcom.emaxcard.enums.BatchPayStatus;importcom.emaxcard.exceptions.ResponseException;importcom.emaxcard.payment.vo.PaymentRecord;importcom.emaxcard.rpc.payment.model.PaymentRecordModel;importorg.springframework.amqp.core.Message;importorg.springframework.amqp.core.MessageListener;importorg.springframework.beans.factory.annotation.Autowired;public class AgentpayQueryConsumer implementsMessageListener {private static final Logger log =LogManager.getLogger();
@Autowired
QueryGatewayService queryGatewayService;
@Autowired
AgentpayQueryProducer agentpayQueryProducer;
@Overridepublic voidonMessage(Message message) {
String mqMsg= newString(message.getBody());
log.info("出款查询数据出队:{}", mqMsg);
PaymentRecord paymentRecordModel;try{
paymentRecordModel= JSON.parseObject(mqMsg, PaymentRecord.class);
}catch(Exception ex) {
log.info("消息格式不是PaymentRecordModel,结束。");return;
}try{
BatchPayStatus payStatus=queryGatewayService.queryGateway(paymentRecordModel);//非终态,继续放入延迟队列
if (BatchPayStatus.SUCCESS != payStatus && BatchPayStatus.FAILED !=payStatus) {if (BatchPayStatus.NOTEXIST ==payStatus) {
log.info("查询结果是{},不再处理", payStatus);
}else{
agentpayQueryProducer.sendDelay(mqMsg,10);
}
}
}catch(Exception ex) {if (ex instanceofResponseException) {
log.info("转账查询{},paymentId{},处理错误:{}",
paymentRecordModel.getTransNo(), paymentRecordModel.getPaymentId(), ex.getMessage());
}else{
log.error("处理消息异常:", ex);
}
}
}
}
§4 使用延迟队列要注意
队列的数据结构是一种线性链表,遵从FIFO(First-In-First-Out)的存取方式。所以:
即使一个消息比在同一队列中的其他消息提前过期,提前过期的也不会优先进入死信队列,它们还是按照入队的顺序进入死信队列。即:如果第一个入队消息的TTL是1小时,那么死信队列的消费者也许等1小时才能收到第一个消息。
官方文档:“Only when expired messages reach the head of a queue will they actually be discarded (or dead-lettered).” 只有当过期的消息到了队列的顶端(队首),才会被真正的丢弃或者进入死信队列。
所以在考虑使用RabbitMQ来实现延迟任务队列的时候,需要确保业务上每个任务的延迟时间是一致的。如果遇到不同的任务类型需要不同的延时的话,需要为每一种不同延迟时间的消息建立单独的消息队列。
当缓冲队列里一旦出现未设置过期时间的消息,那么就会造成整个队列堵塞,消息无法转入死信队列。通过日志可以看到,打印出来的都是 BlockingQueueConsumer。为防止这种问题的发生,需给队列设置默认的ttl,spring配置是(过期时间是1分钟)。这样,如果消息有ttl,就按照消息自己的ttl走,否则1分钟后自动转入死信队列。
这其实涉及到延迟队列的正确使用方式了。正如上一点提到的,一个延迟队列里的消息不应该有各自的ttl,而应该统一走队列本身的ttl。所以,定义延迟队列时,要配置ttl,同时,在消息入队时,也不需要指定消息的过期时间了。
所以上述AgentpayQueryProducer提供的那个方法,可以去掉第2个参数delaySeconds。further more,因为每个队列只针对某一类型的消息,那么,应明确第一个参数的类型,而非泛泛的String message,这里重构为PaymentRecord。即最终方法签名是:public void sendDelay(PaymentRecord paymentRecord)
Get messages Ack Mode选择“Ack message requeue false”,可以将消息消费掉