docker-compose部署RabbitMQ分布式集群
文章目录
- docker-compose部署RabbitMQ分布式集群
- 概述
- 集群模式
- 节点类型
- 部署
概述
集群模式
RabbitMQ的Cluster集群模式一般分为两种,「普通模式」和「镜像模式」。
- 普通模式:默认的集群模式,以两个节点(A、B)为例来进行说明。对于Queue来说,消息实体只存在于其中一个节点A(或者B),A和B两个节点仅有相同的元数据,即队列的结构。当消息进入A节点的Queue后,consumer从B节点消费时,RabbitMQ会临时在A、B间进行消息传输,把A中的消息实体取出并经过B发送给consumer。当A节点故障后,B节点无法取到A节点中还未消费的消息实体。如果做了消息持久化,那么得等A节点恢复,然后才可被消费;如果没有持久化的话,就会产生消息丢失的现象。
- 镜像模式:将需要消费的队列变为镜像队列,存在于多个节点,这样就可以实现RabbitMQ的HA高可用性。作用就是消息实体会主动在镜像节点之间实现同步,而不是像普通模式那样,在consumer消费数据时临时读取。缺点就是,集群内部的同步通讯会占用大量的网络带宽。
节点类型
- RAM node:内存节点将所有的队列、交换机、绑定、用户、权限和vhost的元数据定义存储在内存中,好处是可以使得像交换机和队列声明等操作更加的快速。
- Disk node:将元数据存储在磁盘中,单节点系统只允许磁盘类型的节点,防止重启RabbitMQ的时候,丢失系统的配置信息。
RabbitMQ要求在集群中至少有一个磁盘节点,所有其他节点可以是内存节点,当节点加入或者离开集群时,必须要将该变更通知到至少一个磁盘节点。如果集群中唯一的一个磁盘节点崩溃的话,集群仍然可以保持运行,但是无法进行其他操作(增删改查),直到节点恢复。
解决方案:设置两个磁盘节点,至少有一个是可用的,可以保存元数据的更改。
部署
创建docker-compose.yaml,内容如下:
version: '3.7'
# 指定Cookie,保证集群中的不同节点相互通信
x-rabbitmq-common: &rabbitmq-common
image: rabbitmq:management
environment:
- RABBITMQ_DEFAULT_USER=admin
- RABBITMQ_DEFAULT_PASS=admin
- RABBITMQ_ERLANG_COOKIE=rabbitmq_erlang_cookie
restart: always
# 启动3个rabbitmq容器节点
# rabbitmq1为disk主节点
# rabbitmq2、rabbitmq3为ram从节点
services:
rabbitmq1:
<<: *rabbitmq-common
hostname: rabbitmq1
ports:
- 15672:15672
- 5672:5672
- 1883:1883
rabbitmq2:
<<: *rabbitmq-common
hostname: rabbitmq2
ports:
- 15673:15672
- 5673:5672
- 1884:1883
rabbitmq3:
<<: *rabbitmq-common
hostname: rabbitmq3
ports:
- 15674:15672
- 5674:5672
- 1885:1883
执行启动命令
docker-compose up -d
执行集群命令,进入主节点1执行
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
进入从节点1、从节点2执行
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbitmq1
rabbitmqctl start_app
任意节点查看集群状态
rabbitmqctl cluster_status
任意节点web查看所有节点
设置镜像模式策略
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
查看策略是否设置成功
rabbitmqctl list_policies
开启mqtt
协议支持
rabbitmq-plugins enable rabbitmq_mqtt
查看所有插件情况
rabbitmq-plugins list