1 haproxy介绍

HAProxy（High Availability Proxy）是一个高性能的负载均衡器和代理服务器，广泛应用于提高网站和应用程序的可用性、性能和安全性。由于其高效、稳定和快速的特性，HAProxy被许多高流量的网站和Web服务所采用。

Java rabbitmq手动创建队列_Java rabbitmq手动创建队列

HAProxy作为一个高效、稳定和灵活的负载均衡解决方案，在现代的IT架构中扮演着重要的角色。无论是在传统的数据中心，还是在动态变化的云环境和微服务架构中，HAProxy都能提供高性能和可靠的服务。通过不断的发展和完善，HAProxy继续保持其在负载均衡领域的领导地位。

1.1 核心功能

  • 负载均衡： HAProxy可以分配客户端请求到多个服务器，提高应用的吞吐量和可用性。它支持多种负载均衡算法，包括轮询（round-robin）、最少连接（least connections）和源地址哈希（source IP hash）等。
  • TCP和HTTP代理： 它可以作为TCP和HTTP层的代理，处理进出的网络流量。
  • 高可用性： HAProxy提供了高可用性支持，可以检测后端服务器的健康状况，并在服务器失效时自动切换到其他服务器。
  • SSL终端： 支持SSL/TLS终端，允许HAProxy解密和加密客户端和服务器之间的通信。
  • 会话保持： 在特定的应用场景中，如购物车数据在电商网站上，HAProxy可以维护用户的会话状态。

1.2 性能优化

HAProxy以其高性能而著称，能够处理数十万并发连接。它使用了多种优化技术，包括：

  • 事件驱动模型： 使用基于事件的模型，有效处理大量并发连接。
  • 单线程和多线程模式： HAProxy可以运行在单线程模式或利用多核处理器的多线程模式。
  • HTTP压缩： 支持对HTTP响应内容的压缩，减少传输数据量。
  • TCP拥塞控制和优化： 实现了先进的TCP算法，以优化网络流量和减少延迟。

1.3 安全性特性

HAProxy提供了一系列安全特性，以保护应用免受各种网络攻击：

  • SSL/TLS支持： 通过对流量进行加密来保护数据的传输。
  • 防止DDoS攻击： 提供防御分布式拒绝服务（DDoS）攻击的机制。
  • 请求限制和过滤： 可以限制请求速率，防止滥用，并过滤恶意请求。
  • 日志记录和监控： 详细的日志记录和监控功能有助于检测和响应安全事件。

1.4 架构和部署

HAProxy可以部署为前端负载均衡器，处理进入应用的流量，或者作为内部负载均衡器，在应用的不同组件之间分配请求。它可以部署在物理硬件上，也可以作为虚拟机或容器运行。

1.5 灵活性和配置

HAProxy的一个显著特点是其配置的灵活性。它提供了丰富的配置选项，允许细粒度地控制负载均衡行为、健康检查、日志记录等。

  • 配置文件： HAProxy的配置通过一个中心配置文件（通常是haproxy.cfg）进行。该文件定义了代理的行为、监听端口、后端服务器列表等。
  • 热重载： 支持不中断服务的情况下重载配置文件。

1.6 应用场景

HAProxy适用于多种应用场景，包括：

  • 网站负载均衡： 在高流量的网站中分配请求，提高性能和可靠性。
  • 微服务架构： 在微服务架构中，作为服务之间的流量分发器。
  • 数据库负载均衡： 在数据库服务器之间分配读取和写入请求。
  • 容器和云环境： 在基于容器的环境和云平台中实现服务的负载均衡和高可用性。

1.7 社区和支持

HAProxy拥有一个活跃的开发和用户社区。社区成员包括来自全球的开发者、系统管理员和技术爱好者。HAProxy网站提供了丰富的文档资源，包括用户手册、最佳实践和配置示例。

2 rabbitmq介绍

RabbitMQ是一款开源的消息代理软件，用于在分布式系统中存储和转发消息。它基于高级消息队列协议（AMQP）实现，支持多种客户端和开发环境，包括Python、Ruby、.NET、Java等。RabbitMQ由Erlang语言编写，这使得它特别适合于处理高并发和高吞吐量的场景。

Java rabbitmq手动创建队列_java_02

RabbitMQ是一个功能强大的消息队列系统，适用于多种应用场景，从简单的任务队列到复杂的分布式系统。它的多种交换器类型、高级路由功能和强大的消息保证机制使得它成为实现可靠消息传递的理想选择。无论是在开发中还是在生产环境中，RabbitMQ都能提供强大的支持，帮助构建高效、可靠的应用程序。

2.1 核心概念

  • 消息代理（Broker）：RabbitMQ作为消息代理，提供了一个平台，用于接收、存储和转发消息。
  • 队列（Queue）：队列是RabbitMQ中存储消息的地方。生产者（Producer）发送消息到队列，消费者（Consumer）从队列接收消息。
  • 交换器（Exchange）：生产者不会直接发送消息到队列。相反，它们发送消息到交换器，交换器决定消息应该发送到哪一个或哪些队列。
  • 绑定（Binding）：绑定是交换器和队列之间的链接。它告诉交换器如何根据路由键（Routing Key）和绑定键（Binding Key）处理消息。
  • 路由键（Routing Key）：生产者在发送消息到交换器时指定的一个值，用于决定消息的路由规则。
  • 消息确认（Acknowledgment）：消费者处理完消息后发送给代理的确认信号，用于确保消息被正确处理。

2.2 交换器类型

  • 直连交换器（Direct Exchange）：消息根据路由键直接路由到绑定的队列。
  • 扇形交换器（Fanout Exchange）：消息路由到所有绑定到该交换器的队列，忽略路由键。
  • 主题交换器（Topic Exchange）：可以根据匹配路由键的模式将消息路由到一个或多个队列。
  • 头交换器（Headers Exchange）：根据消息头而不是路由键来路由消息。

2.3 高级特性

  • 持久化（Persistence）：RabbitMQ可以将队列和消息存储在磁盘上，确保在服务器重启后消息不会丢失。
  • 消息确认和持久性：通过消息确认和消息持久性，可以确保即使在处理消息的过程中发生错误，消息也不会丢失。
  • 高可用性（HA）：RabbitMQ支持集群部署，可以提供高可用性和故障转移能力。
  • 负载均衡：RabbitMQ可以在多个消费者之间平均分配工作负载。
  • 死信队列（Dead Letter Queues）：无法处理的消息可以被重定向到一个“死信队列”，供以后检查和重新处理。

2.4 使用场景

  • 异步处理：在Web应用中用于解耦长时间运行的处理任务。
  • 应用解耦：在微服务架构中，用于实现不同服务间的解耦。
  • 消息通信：在分布式系统中用于各组件间的消息传递。
  • 流量削峰：在高流量事件中，用于暂存消息，平衡系统负载。
  • 事件驱动架构：作为事件驱动架构的核心组件，用于事件的发布和订阅。

2.5 安装和配置

RabbitMQ可以在多种操作系统上运行，包括Linux、Windows和MacOS。它可以通过包管理器安装，也可以从RabbitMQ官网下载安装包进行安装。配置RabbitMQ涉及调整内存限制、配置集群设置、设置用户权限等。

2.6 客户端和API

RabbitMQ提供了多种语言的客户端库，包括Java、.NET、Python、Ruby等。这些客户端库提供了与RabbitMQ交互所需的API，使得在不同的编程环境中集成RabbitMQ变得容易。

2.7 管理和监控

RabbitMQ提供了一个内置的Web管理界面，用于管理和监控RabbitMQ服务器。此外，还有命令行工具和REST API供更高级的管理需求。

3 使用haproxy 配置rabbitmq消息队列主从

Java rabbitmq手动创建队列_Java rabbitmq手动创建队列_03

3.1 创建haproxy的配置文件

sudo vi /etc/haproxy/ha_rabbit.conf

3.2 配置前向业务访问frontend（前置代理）

bind 0.0.0.0:5672                #绑定0.0.0.0的5672端口
    mode tcp                             #方式为tcp
    option    clitcpka
    timeout client  100m
    maxconn 10000
    default_backend  SOA_Rabbitmq_Backend                    #转发到这个配置项

3.3 配置后项业务（实际的rabbitmq服务器）

mode tcp
    timeout queue   100m
    timeout server  300m
    option srvtcpka
    option redispatch
    fullconn 10000
    balance roundrobin
    option tcp-check
    server 240_rabbitmq_disk 192.168.11.240:5672 weight 3 maxconn 10000 check port 5672 inter 1000 rise 1 fall 2 backup
    server 25_rabbitmq_ram 192.168.11.25:5672 weight 3 maxconn 10000 check port 5672 inter 1000 rise 1 fall 2

    注意option要配置成tcp-check，server中带backup的从

3.4 查看统计数据

        http://localhost:1080/stats;st=DONE

        两个rabbit服务器为up状态

完整配置如下：

###########全局配置#########

global
    log 127.0.0.1 local0 #[日志输出配置，所有日志都记录在本机，通过local0输出]
    log 127.0.0.1 local1 notice #定义haproxy 日志级别[error warringinfo debug]
    daemon #以后台形式运行harpoxy
    nbproc 1 #设置进程数量
    maxconn 4096 #默认最大连接数,需考虑ulimit-n限制
    #user haproxy #运行haproxy的用户
    #group haproxy #运行haproxy的用户所在的组
    #pidfile /var/run/haproxy.pid #haproxy 进程PID文件
    #ulimit-n 819200 #ulimit 的数量限制
    #chroot /usr/share/haproxy #chroot运行路径
    #debug #haproxy 调试级别，建议只在开启单进程的时候调试
    #quiet

########默认配置############
defaults
    log global
    mode tcp #默认的模式mode { tcp|http|health  }，tcp是4层，http是7层，health只会返回OK
    option tcplog #httplog #日志类别,采用httplog
    option dontlognull #不记录健康检查日志信息
    retries 3 #两次连接失败就认为是服务器不可用，也可以通过后面设置
    #option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
    option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现
    #option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器，以后将不支持
    option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
    maxconn 4096 #默认的最大连接数
    timeout connect 5000ms #连接超时
    timeout client 30000ms #客户端超时
    timeout server 30000ms #服务器超时
    #timeout check 2000 #心跳检测超时
    #timeout http-keep-alive10s #默认持久连接超时时间
    #timeout http-request 10s #默认http请求超时时间
    #timeout queue 1m #默认队列超时时间
    balance roundrobin #设置默认负载均衡方式，轮询方式
    #balance source #设置默认负载均衡方式，类似于nginx的ip_hash
    #balnace leastconn #设置默认负载均衡方式，最小连接数
########统计页面配置########
listen stats
    bind 0.0.0.0:1080 #设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称
    mode http #http的7层模式
    option httplog #采用http日志格式
    #log 127.0.0.1 local0 err #错误日志记录
    maxconn 10 #默认的最大连接数
    stats refresh 30s #统计页面自动刷新时间
    stats uri /stats #统计页面url
    stats realm XingCloud\ Haproxy #统计页面密码框上提示文本
    stats auth admin:admin #设置监控页面的用户和密码:admin,可以设置多个用户名
    stats auth Frank:Frank #设置监控页面的用户和密码：Frank
    stats hide-version #隐藏统计页面上HAProxy的版本信息
    stats admin if TRUE #设置手工启动/禁用，后端服务器(haproxy-1.4.9以后版本)
########设置haproxy 错误页面#####
#errorfile 403 /home/haproxy/haproxy/errorfiles/403.http
#errorfile 500 /home/haproxy/haproxy/errorfiles/500.http
#errorfile 502 /home/haproxy/haproxy/errorfiles/502.http
#errorfile 503 /home/haproxy/haproxy/errorfiles/503.http
#errorfile 504 /home/haproxy/haproxy/errorfiles/504.http

frontend SOA_Rabbitmq_frontend
    bind 0.0.0.0:5672
    mode tcp
    option    clitcpka
    timeout client  100m
    maxconn 10000
    default_backend  SOA_Rabbitmq_Backend

backend SOA_Rabbitmq_Backend
    mode tcp
    timeout queue   100m
    timeout server  300m
    option srvtcpka
    option redispatch
    fullconn 10000
    balance roundrobin
    option tcp-check
    server 240_rabbitmq_disk 192.168.11.240:5672 weight 3 maxconn 10000 check port 5672 inter 1000 rise 1 fall 2 backup
    server 25_rabbitmq_ram 192.168.11.25:5672 weight 3 maxconn 10000 check port 5672 inter 1000 rise 1 fall 2
########frontend前端配置##############
#frontend main
#　　bind *:80 #这里建议使用bind *:80的方式，要不然做集群高可用的时候有问题，vip切换到其他机器就不能访问了。
#　　acl web hdr(host) -i www.abc.com  #acl后面是规则名称，-i为忽略大小写，后面跟的是要访问的域名，如果访问www.abc.com这个域名，就触发web规则，。
#　　acl img hdr(host) -i img.abc.com  #如果访问img.abc.com这个域名，就触发img规则。
#　　use_backend webserver if web   #如果上面定义的web规则被触发，即访问www.abc.com，就将请求分发到webserver这个作用域。
#　　use_backend imgserver if img   #如果上面定义的img规则被触发，即访问img.abc.com，就将请求分发到imgserver这个作用域。
#　　default_backend dynamic #不满足则响应backend的默认页面
########backend后端配置##############
#backend webserver #webserver作用域
#　　mode http
#　　balance roundrobin #balance roundrobin 负载轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数
#　　option httpchk /index.html HTTP/1.0 #健康检查, 检测文件，如果分发到后台index.html访问不到就不再分发给它
#　　server web1 10.16.0.9:8085 cookie 1 weight 5 check inter 2000 rise 2 fall 3
#　　server web2 10.16.0.10:8085 cookie 2 weight 3 check inter 2000 rise 2 fall 3
#　　#cookie 1表示serverid为1，check inter 1500 是检测心跳频率
#　　#rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

#backend imgserver
#　　mode http
#　　option httpchk /index.php
#　　balance roundrobin
#　　server img01 192.168.137.101:80 check inter 2000 fall 3
#　　server img02 192.168.137.102:80 check inter 2000 fall 3

#backend dynamic
#　　balance roundrobin
#　　server test1 192.168.1.23:80 check maxconn 2000
#　　server test2 192.168.1.24:80 check maxconn 2000


#listen tcptest
#　　bind 0.0.0.0:5222
#　　mode tcp
#　　option tcplog #采用tcp日志格式
#　　balance source
#　　#log 127.0.0.1 local0 debug
#　　server s1 192.168.100.204:7222 weight 1

#　　server s2 192.168.100.208:7222 weight 1