docker-compose部署RabbitMQ分布式集群


文章目录

  • docker-compose部署RabbitMQ分布式集群
  • 概述
  • 集群模式
  • 节点类型
  • 部署


概述

集群模式

RabbitMQ的Cluster集群模式一般分为两种,「普通模式」和「镜像模式」。

  1. 普通模式:默认的集群模式,以两个节点(A、B)为例来进行说明。对于Queue来说,消息实体只存在于其中一个节点A(或者B),A和B两个节点仅有相同的元数据,即队列的结构。当消息进入A节点的Queue后,consumer从B节点消费时,RabbitMQ会临时在A、B间进行消息传输,把A中的消息实体取出并经过B发送给consumer。当A节点故障后,B节点无法取到A节点中还未消费的消息实体。如果做了消息持久化,那么得等A节点恢复,然后才可被消费;如果没有持久化的话,就会产生消息丢失的现象。
  2. 镜像模式:将需要消费的队列变为镜像队列,存在于多个节点,这样就可以实现RabbitMQ的HA高可用性。作用就是消息实体会主动在镜像节点之间实现同步,而不是像普通模式那样,在consumer消费数据时临时读取。缺点就是,集群内部的同步通讯会占用大量的网络带宽。

节点类型

  • RAM node:内存节点将所有的队列、交换机、绑定、用户、权限和vhost的元数据定义存储在内存中,好处是可以使得像交换机和队列声明等操作更加的快速
  • Disk node:将元数据存储在磁盘中,单节点系统只允许磁盘类型的节点,防止重启RabbitMQ的时候,丢失系统的配置信息

RabbitMQ要求在集群中至少有一个磁盘节点,所有其他节点可以是内存节点,当节点加入或者离开集群时,必须要将该变更通知到至少一个磁盘节点。如果集群中唯一的一个磁盘节点崩溃的话,集群仍然可以保持运行,但是无法进行其他操作(增删改查),直到节点恢复。
解决方案:设置两个磁盘节点,至少有一个是可用的,可以保存元数据的更改。


部署

创建docker-compose.yaml,内容如下:

version: '3.7'

# 指定Cookie,保证集群中的不同节点相互通信
x-rabbitmq-common: &rabbitmq-common
  image: rabbitmq:management
  environment:
    - RABBITMQ_DEFAULT_USER=admin
    - RABBITMQ_DEFAULT_PASS=admin
    - RABBITMQ_ERLANG_COOKIE=rabbitmq_erlang_cookie
  restart: always

# 启动3个rabbitmq容器节点
# rabbitmq1为disk主节点
# rabbitmq2、rabbitmq3为ram从节点
services:
  rabbitmq1:
    <<: *rabbitmq-common
    hostname: rabbitmq1
    ports:
      - 15672:15672
      - 5672:5672
      - 1883:1883
    
  rabbitmq2:
    <<: *rabbitmq-common
    hostname: rabbitmq2
    ports:
      - 15673:15672
      - 5673:5672
      - 1884:1883
      
  rabbitmq3:
    <<: *rabbitmq-common
    hostname: rabbitmq3
    ports:
      - 15674:15672
      - 5674:5672
      - 1885:1883

执行启动命令

docker-compose up -d

docker rabbitmq安装mqtt docker rabbitmq集群_负载均衡

执行集群命令,进入主节点1执行

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app

进入从节点1、从节点2执行

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbitmq1
rabbitmqctl start_app

任意节点查看集群状态

rabbitmqctl cluster_status

任意节点web查看所有节点

docker rabbitmq安装mqtt docker rabbitmq集群_rabbitmq_02

设置镜像模式策略

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

查看策略是否设置成功

rabbitmqctl list_policies

开启mqtt协议支持

rabbitmq-plugins enable rabbitmq_mqtt

查看所有插件情况

rabbitmq-plugins list