openstack共享组件:消息队列rabbitmq

一、MQ 全称为 Message Queue, 消息队列( MQ )                      

 

是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。

 

消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

 

排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

 

二、AMQP   Advanced Message Queuing Protocol                     

 

高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。

 

AMQP 的主要特征是面向消息、队列、路由(包括点对点和发布 / 订阅)、可靠性、安全。

 

三、 Rabbitmq概念:                                                              

      属于一个流行的开源消息队列系统。属于AMQP( 高级消息队列协议 ) 标准的一个 实现。是应用层协议的一个开放标准,为面向消息的中间件设计。用于在分布式系统中存储转发消息,在 易用性、扩展性、高可用性等方面表现不俗。

      消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。

       AMQP 的主要特征是面向消息、队列、路由(包括点对点和发布 / 订阅)、可靠性、安全。

 

       RabbitMQ特点:

   使用Erlang编写

   支持持久化

   支持HA

   提供C# , erlang,java,perl,python,ruby等的client开发端

 

四、什么是耦合、解耦合                                                         

 

(一)、耦合

1、耦合是指两个或两个以上的体系或两种运动形式间通过相互作用而彼此影响以至联合起来的现象。

 

2、在软件工程中,对象之间的耦合度就是对象之间的依赖性。对象之间的耦合越高,维护成本越高,因此对象的设计应使类和构件之间的耦合最小。

 

3、分类:有软硬件之间的耦合,还有软件各模块之间的耦合。耦合性是程序结构中各个模块之间相互关联的度量。它取决于各个模块之间的接口的复杂程度、调用模块的方式以及哪些信息通过接口。

 

(二)、解耦

1、解耦,字面意思就是解除耦合关系。

 

2、在软件工程中,降低耦合度即可以理解为解耦,模块间有依赖关系必然存在耦合,理论上的绝对零耦合是做不到的,但可以通过一些现有的方法将耦合度降至最低。

 

3、设计的核心思想:尽可能减少代码耦合,如果发现代码耦合,就要采取解耦技术。让数据模型,业务逻辑和视图显示三层之间彼此降低耦合,把关联依赖降到最低,而不至于牵一发而动全身。原则就是A功能的代码不要写在B的功能代码中,如果两者之间需要交互,可以通过接口,通过消息,甚至可以引入框架,但总之就是不要直接交叉写。

 

五、RabbitMQ中的概念名词                                                         

 

Broker:简单来说就是消息队列服务器实体。

Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。

Queue:消息队列载体,每个消息都会被投入到一个或多个队列。
Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。

Routing Key:路由关键字, exchange根据这个关键字进行消息投递。

vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。

producer:消息生产者,就是投递消息的程序。

consumer:消息消费者,就是接受消息的程序。

channel:消息通道,在客户端的每个连接里,可建立多个channel,每个
channel代表一个会话任务。

 

六、RabbitMQ工作原理                                                    

 

    MQ 是消费 - 生产者模型的一个典型的代表,一端往消息队列中不断写入消息,而另一端则可以读取或者订阅队列中的消息。 MQ 则是遵循了 AMQP协议的具体实现和产品。在项目中,将一些无需即时返回且耗时的操作提取出来,进行了异步处理,而这种异步处理的方式大大的节省了服务器的请求响应时间,从而提高了系统的吞吐量。

 

openstack如何创建启动盘_元数据

 


行消息路由,将消息投递到一个或多个队列里

 

openstack如何创建启动盘_应用程序_02

 

 

七、Rabbitmq  metadata                                                   

 

      元数据可以持久化在

       RAM Node 只会将元数据存放在RAM

       Disk node 会将元数据持久化到磁盘。 

  单节点系统就没有什么选择了 

      如果是内存节点就要修改内存数据 

      如果是

   有些场景  RPC 或者类似 RPC 的场景这个问题就严重了 , 频繁创建销毁临时队列 , 磁盘读写能力就很快成为性能瓶颈了。所以 , 大多数情况下 , 我们尽量把 Node 创建为RAM Node. 这里就有一个问题了 , 要想集群重启后元数据可以恢复就需要把集群元数据持久化到磁盘 , 那需要规划 RabbitMQ 集群中的 RAM Node 和 Disc Node 。

 

   只要有一个节点是

   如果集群中

 

   有一种情况要求所有的

 

八、Rabbitmq 集群部署                                                       

 

(一)、前期准备

 

(1)条件:准备3台linux系统,确保配置好源,及epel源

 

这里请自寻可提供服务的源做实验;

本次实验使用的是一个企业内部源,配置源的方法可能不同:

 

 

——# yum install wget

——# wget http://download2.yunwei.edu/shell/yum-repo.sh

如果解析出错,可能是域名解析的问题,需改网卡配置将dns1改为企业源的域名解析服务器:

——# vim /etc/sysconfig/network-scripts/ifcfg-ens33

 

openstack如何创建启动盘_元数据_03

 

 

——#systemctl restart network

如果还不行,查看域名配置文件:

——#vim /etc/resolv.conf

openstack如何创建启动盘_应用程序_04

 

保证你想用的dns服务器id在首位。

 

再下载:

——# wget http://download2.yunwei.edu/shell/yum-repo.sh

——#ls

anaconda-ks.cfg  yum-repo.sh

——# sh  yum-repo.sh

 

 

(2)三台机器能够静态解析彼此

 

在每台主机上:

——#vim /etc/hosts

 

openstack如何创建启动盘_消息队列_05

 

 

【注】:一定要注意解析的是三台主机的hostname

 

(3)设置可以无密钥登陆

 

在node1上:

——#ssh-keygen

。。。。。。

——#ssh-copy-id  node2

——#ssh-copy-id  node3

 

 

(二)、安装过程:

 

(1)所有node安装rabbtimq和erlang软件包:

 

——#yum install -y erlang rabbitmq-server.noarch

——#systemctl enable rabbitmq-server.service   #自启动

——#systemctl start rabbitmq-server.service    #启动

——#systemctl status rabbitmq-server.service    #查看状态

 

查看监听端口:

——#netstat -lantp | grep 5672

openstack如何创建启动盘_应用程序_06

 

 

配置文件:

——#vim /etc/rabbitmq/rabbitmq.config

  

(2)node1:编辑rabbittmq变量文件

 

——#vim /etc/rabbitmq/rabbitmq-env.conf  

 

RABBITMQ_NODE_PORT=5672

ulimit -S -n 4096

RABBITMQ_SERVER_ERL_ARGS="+K true +A30 +P 1048576 -kernel inet_default_connect_options [{nodelay,true},{raw,6,18,<<5000:64/native>>}] -kernel inet_default_listen_options [{raw,6,18,<<5000:64/native>>}]"

RABBITMQ_NODE_IP_ADDRESS=192.168.249.30

 

 

(3)node1:将rabbittmq变量文件拷贝到其他两节点,之后并修改相应节点的ip

——#scp /etc/rabbitmq/rabbitmq-env.conf  node2:/etc/rabbitmq/

——#scp /etc/rabbitmq/rabbitmq-env.conf  node3:/etc/rabbitmq/

 

查看rabbitmq插件:

 

——#/usr/lib/rabbitmq/bin/rabbitmq-plugins list

openstack如何创建启动盘_应用程序_07

 

 

(4)所有node 开启rabbitmq的web管理页面

 

/usr/lib/rabbitmq/bin/rabbitmq-plugins enable rabbitmq_management mochiweb webmachine rabbitmq_web_dispatch amqp_client rabbitmq_management_agent

或者:——#rabbitmq-plugins enable rabbitmq_management

 

openstack如何创建启动盘_元数据_08

 

 

——#systemctl restart rabbitmq-server.service

查看是否开启:

——#/usr/lib/rabbitmq/bin/rabbitmq-plugins list

openstack如何创建启动盘_应用程序_09

 

 

——#systemctl status rabbitmq-server.service

 

网页登陆:192.168.249.30:15672

openstack如何创建启动盘_元数据_10

 

 

输入用户:guest,密码:guest ,进入界面:

openstack如何创建启动盘_消息队列_11

 

 

(5)node1:可修改guest密码为admin(默认用户为:guest 密码为:guest)

——#rabbitmqctl change_password guest admin

 

(6)node1:添加一个openstack的用户,并设密码为admin。并设置权限和成为管理员

【可以等实验做完了再添加】

node1:

——#rabbitmqctl add_user openstack admin

openstack如何创建启动盘_元数据_12

 

——#rabbitmqctl set_permissions openstack ".*" ".*" ".*"

openstack如何创建启动盘_openstack如何创建启动盘_13

 

 

——#rabbitmqctl set_user_tags openstack administrator

 

openstack如何创建启动盘_消息队列_14

 

 

(7)node1发送.erlang.cookie(隐藏文件)到其他节点配置集群

——# rabbitmqctl cluster_status

openstack如何创建启动盘_消息队列_15

 

 

#scp /var/lib/rabbitmq/.erlang.cookie node2:/var/lib/rabbitmq/.erlang.cookie

#scp /var/lib/rabbitmq/.erlang.cookie node3:/var/lib/rabbitmq/.erlang.cookie

 

openstack如何创建启动盘_消息队列_16

 

 

(8)node2和node3停止应用,并以ram的方式加入node1节点,之后重启应用

——#systemctl restart rabbitmq-server.service

——#rabbitmqctl stop_app

——#rabbitmqctl join_cluster --ram rabbit@node1   #这里要写node1的名字

——#rabbitmqctl start_app

openstack如何创建启动盘_应用程序_17

 

(9)node1检查集群状态

——# rabbitmqctl cluster_status

openstack如何创建启动盘_元数据_18

 

(10)登陆验证:http://192.168.249.30:15672         guest/admin

 

openstack如何创建启动盘_应用程序_19

 

 

 

 

其他命令:

(1)添加管理员:

rabbitmqctl add_user mqadmin mqadmin

rabbitmqctl set_user_tags mqadmin administrator

rabbitmqctl set_permissions -p / mqadmin ".*" ".*" ".*"

 

(2)更改节点类型(内存型或磁盘型)

——#rabbitmqctl stop_app

——#rabbitmqctl change_cluster_node_type disc

——#rabbitmqctl start_app

 

(3)从集群移除节点(或者重置节点)

——#rabbitmqctl stop_app

——#rabbitmqctl reset

——#rabbitmqctl start_app

——#rabbitmqctl cluster_status

 

(4)从某个节点移除集群中其他节点

 

首先请确保node3节点是stop的;

在node1上:

——#rabbitmqctl forget_cluster_node rabbit@node3

在node3上:

——#rabbitmqctl reset

——#rabbitmqctl start_app

——#rabbitmqctl cluster_status

 

 

【note】:

1. 保证集群中至少有一个磁盘类型的节点以防数据丢失,在更改节点类型时尤其要注意。

2. 若整个集群被停掉了,应保证最后一个 down 掉的节点被最先启动,若不能则要使用 forget_cluster_node 命令将其移出集群

3. 若集群中节点几乎同时以不可控的方式 down 了此时在其中一个节点使用force_boot 命令重启节点

 

 

末学后进,微羽成鳞~