基于Consul+Upsync+Nginx实现动态负载均衡

原创

houxian1103 2022-12-14 18:25:40 博主文章分类：服务器相关 ©著作权

文章标签 nginx Nginx linux 文章分类 运维

©著作权归作者所有：来自51CTO博客作者houxian1103的原创作品，请联系作者获取转载授权，否则将追究法律责任

Consul环境搭建

下载consul_0.7.5_linux_amd64.zip到/usr/local/src目录

cd /usr/local/src
wget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip

解压consul_0.7.5_linux_amd64.zip

需要先确认是否安装了unzip,如果没有安装先安装zip unzip

yum install -y zip unzip
mkdir /usr/local/consul
unzip consul_0.7.5_linux_amd64.zip -d /usr/local/consul

启动consul (IP 地址为本地地址）

/usr/local/consul/consul agent -dev -ui -node=consul-dev -client=192.168.100.121

临时关闭防火墙

systemctl stop firewalld

浏览器访问192.168.100.121:8500

使用PostMan 注册Http服务：http://192.168.100.121:8500/v1/catalog/register

{"Datacenter": "dc1",
 "Node":"tomcat", "Address":"192.168.5.165","Service": {"Id" :"192.168.5.165:8080", "Service": "product","tags": ["dev"], "Port": 8080}}

Datacenter指定数据中心，Address指定服务IP，Service.Id指定服务唯一标识，Service.Service指定服务分组，Service.tags指定服务标签（如测试环境、预发环境等），Service.Port指定服务端口。

nginx-upsync-module简介

Upsync是新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表，并动态更新Nginx的路由信息。此模块不依赖于任何第三方模块。Consul作为Nginx的DB，利用Consul的KV服务，每个Nginx Work进程独立的去拉取各个upstream的配置，并更新各自的路由。

安装nginx1.9.10以上版本，并且安装nginx-upsync-module模块

nginx-upsync-module是新浪微博开源插件，在此作用为：

拉取 consul 的后端 KV的列表，并更新 Nginx 的路由信息。此模块不依赖于任何第三方模块。

consul 作为 Nginx 的 db，利用 consul 的 KV 服务，每个 Nginx work 进程独立的去拉取各个upstream 的配置，并更新各自的路由信息从而达到动态负载均衡，不去重启nginx。

下载nginx:

wget http://nginx.org/download/nginx-1.9.10.tar.gz

下载nginx-upsync-module:

wget https://github.com/weibocom/nginx-upsync-module/archive/master.zip

解压nginx-upsync-module

unzip master.zip

解压nginx

tar -zxvf nginx-1.9.10.tar.gz

配置nginx前置环境目录

groupadd nginx

  useradd -g nginx -s /sbin/nologin nginx

  mkdir -p /var/tmp/nginx/client

  mkdir -p /usr/local/nginx

编译Nginx

./configure   
--prefix=/usr/local/nginx   
--user=nginx   
--group=nginx   
--with-http_ssl_module   
--with-http_flv_module   
--with-http_stub_status_module   
--with-http_gzip_static_module   
--with-http_realip_module   
--http-client-body-temp-path=/var/tmp/nginx/client/   
--http-proxy-temp-path=/var/tmp/nginx/proxy/   
--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   
--http-scgi-temp-path=/var/tmp/nginx/scgi   
--with-pcre --add-module=../nginx-upsync-module-master
make && make install

编译的是报错 ./configure: error: SSL modules require the OpenSSL library. 解决办法

yum -y install openssl openssl-devel


make && make instal

Upstream 动态配置

http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;
    upstream product{
        #用于心跳检测
        server 127.0.0.1:11111;
        #去consul的KV拉取上游服务器信息
        upsync 192.168.100.121:8500/v1/kv/upstreams/itchao 
                   upsync_timeout=6m upsync_interval=500ms 
                   upsync_type=consul strong_dependency=off;
        #存放拉取到的上游服务器信息，/usr/local/nginx/conf/servers  这个目录需要创建
        upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;
    }
    server {
        listen       80;
        server_name  localhost;
        location / {
           # root   html;
           #反向代理配置
           proxy_pass http://product;
           index  index.html index.htm;
        }
    }
}

PUT 请求:

http://192.168.199.10:8500/v1/kv/upstreams/product/192.168.100.1:8080

1.使用linux命令方式发送put请求
curl -X PUT http://192.168.199.10:8500/v1/kv/upstreams/product/192.168.100.1:8080
curl -X PUT http://192.168.199.10:8500/v1/kv/upstreams/product/192.168.100.1:8081


2.使用postmen 发送put请求
http://192.168.199.10:8500/v1/kv/upstreams/product/192.168.100.1:8080
http://192.168.199.10:8500/v1/kv/upstreams/product/192.168.100.1:8081

192.168.100.1:8080   代表需要负载的上游服务器地址以及端