高速飞机上换引擎,MQ如何实现平滑迁移?_引擎

前几天,杨紫琼同学在知识星球提问,说公司要切换 MQ,从一个旧的服务商升级为新的服务商,问有没有什么好方案。
这个需求估计还挺普遍的,这里分享一些经验。

一、MQ 架构简述

高速飞机上换引擎,MQ如何实现平滑迁移?_引擎_02

如上图,使用 MQ 异步通信,一般分为三层:

消息发送方:使用 MQ 客户端生成消息。

MQ-client::SendMsg(topic, msg);

MQ 服务:中转消息。

消息接收方:使用 MQ 客户端消费消息。

MQ-client::RecvMsg(topic, msg, CALLBACK_FUNC);

这是一个典型的 pub-sub 架构,如果要替换 MQ 供应商,至少三个地方要替换:

  • 发送方 mq-client

  • MQ-server

  • 接收方 mq-client

如何平滑迁移,是今天要讨论的话题。

二、平滑迁移方案

平滑迁移的目标是:不停服,平滑升级。

如果有很多主题,需要一个一个主题的迁移,每个主题的迁移,分为三个步骤。

步骤一:消费方双向订阅

高速飞机上换引擎,MQ如何实现平滑迁移?_引擎_03

如上图所示,不妨设:

  • 粉色是旧 MQ 体系

  • 蓝色是新 MQ 体系

平滑迁移最终目的,是 “发布 - 服务 - 订阅” 三层全由粉色升级为蓝色。

第一步升级消费方,同一个主题,既要订阅旧 MQ,又要订阅新 MQ。

此时,“新服务 - 新订阅”之间虽然有 TCP 连接,但 “新发布” 没有上线,实际上不会有消息发送过来(上图虚线),消息仍走的是旧 MQ(上图实线)。

步骤二:生产方升级为新发布

高速飞机上换引擎,MQ如何实现平滑迁移?_引擎_04

第二步升级生产方,由旧 MQ 发布,升级为新 MQ 发布。

此时,“新发布 - 新服务 - 新订阅” 之间会建立 TCP 连接,消息会转移到新通道(上图实线),“旧服务 - 旧订阅” 之间虽然有 TCP 连接,但实际不会有消息发送过来(上图虚线)。

步骤三:消费方下线旧订阅

高速飞机上换引擎,MQ如何实现平滑迁移?_引擎_05

第三步升级消费方,将旧订阅下线,整个 MQ 的迁移完成。

三、架构启示

MQ 更换服务商,蚂蚁搬家,一步步平滑迁移,成本其实还挺高的。

之所以这么麻烦,不能统一升级,本质是业务与底层基础设施细节(即,具体使用哪个 MQ)的耦合。如果公司在早期技术体系规划的时候,能够 “浅浅的封装一层”,便能隔离“业务代码” 与“底层基础设施细节”。

举个更通俗的例子。

假如没有封装一层,业务代码是:

ActiveMQ_-client::SendMsg(topic, msg);_

ActiveMQ_-client::RecvMsg(topic, msg, CALLBACK_FUNC);_

即,业务方需要关心 ActiveMQ,如果基础设施升级为 RabbitMQ,业务代码需要升级。

假如有一层浅浅的封装:

ShenJianMQ::SendMsg(topic, msg){

ActiveMQ_-client::SendMsg(topic,msg);_

}

ShenJianMQ::RecvMsg(topic, msg,CALLBACK_FUNC)

ActiveMQ_-client::RecvMsg(topic,msg, CALLBACK_FUNC);_

}

业务方不需要关心底层是什么 MQ,而只需要依赖基础组件 ShenJianMQ。

此时如果基础设施升级为 RabbitMQ,只需要基础组件 ShenJianMQ 升级。

第一步:RecvMsg 升级为双向订阅。

ShenJianMQ::RecvMsg(topic, msg,CALLBACK_FUNC)

ActiveMQ_-client::RecvMsg(topic, msg, CALLBACK_FUNC);_

RabbitMQ_-client::RecvMsg(topic, msg, CALLBACK_FUNC);_

}

第二步:SendMsg 升级为新发布。

ShenJianMQ::SendMsg(topic, msg){

RabbitMQ_-client::SendMsg(topic, msg);_

}

第三步:RecvMsg 下线旧订阅。

ShenJianMQ::RecvMsg(topic, msg,CALLBACK_FUNC)

RabbitMQ_-client::RecvMsg(topic, msg, CALLBACK_FUNC);_

}

会发现,除了升级依赖新版的 ShenJianMQ 基础组件,业务代码不需要修改代码。

不仅 MQ,缓存与数据库的客户端,浅浅封装一层也能实现业务代码与基础组件的解耦,在基础组建替换,或者基础组建升级的时候,业务代码不需要升级。
_画外音:_浅浅封装一层之后,监控 / 告警 / 数据收集等工作都更容易统一实现了。

关于是使用开源,还是浅浅封装,还是自研,《基础组件,究竟要不要自研?》有更加详尽的讨论。

关于 MQ 平滑迁移的问题,先聊这么多,希望能解答杨紫琼同学的问题。

知识星球 - 刚开始玩

刚开始玩知识星球,欢迎大家提问。
_画外音:_所有提问都会细心解答(如这一篇)。
上次开放了 200 个名额一下就满了,再开放 500 个名额(人不宜太多,怕解答不过来)。