环境准备:

consul:高可用,分布式的服务发现的工具

master主机—docker01:172.16.1.30
node01主机—docker02:172.16.1.31
node02主机—docker03:172.16.1.32

注意:因为是测试环境,所以暂时关闭防火墙,禁用selinux,如果是对外网发布的服务器,是不可以关闭防火墙,可以设置iptables规则。

项目操作:

(1)docker01上部署consul:
下载或上传consul_1.5.1_linux_amd64软件包:

[root@sqm-docker01 ~]# unzip consul_1.5.1_linux_amd64.zip  #使用unzip工具进行一个解压 
[root@sqm-docker01 ~]# mv consul /usr/local/bin/
[root@sqm-docker01 ~]# chmod +x /usr/local/bin/consul
[root@sqm-docker01 ~]# consul  agent -server -bootstrap -ui -data-dir=/var/lib/consul-data \
> -bind=172.16.1.30 \     #docker01本机的ip地址
> -client=0.0.0.0 \
> -node=master

参数解释:
-server:添加一个服务
-bootstrap:一般在server单节点的时候使用,自选举为leader。
-data-dir:指定数据存放的目录
-ui:开启内部的web界面
-bind:指定开启服务的ip
-client:指定服务的客户端
-node:在集群内部通信使用的名称,默认是主机名。

####保持后台运行consul服务:
[root@sqm-docker01 ~]# nohup consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data -bind=172.16.1.30 -client=0.0.0.0 -node=master &

Consul+Registrator+Docker实现服务发现(nginx反向代理)
执行后台运行后,会在当前目录下生成一个文件,生成所有的集群信息都会保存在这个文件内:
Consul+Registrator+Docker实现服务发现(nginx反向代理)
##查看服务端口是否运行:
Consul+Registrator+Docker实现服务发现(nginx反向代理)

8300: 集群节点(对外公布的)
8301: 集群内部访问
8302: 跨数据中心之间的通信
8500: http--UI
8600: dns

##查看consul信息:
[root@sqm-docker01 ~]# consul info
Consul+Registrator+Docker实现服务发现(nginx反向代理)

说明:consul信息中多为一些算法,这些算法保证数据的同步,以及加上-bootstrap自选举为leader,也是通过这些算法来实现的。

##查看集群内部信息:
[root@sqm-docker01 ~]# consul members
Consul+Registrator+Docker实现服务发现(nginx反向代理)

登陆访问web界面:http://172.16.1.30:8500
Consul+Registrator+Docker实现服务发现(nginx反向代理)

(2)docker02上操作:

部署consul服务:
下载progrium/consul镜像:
[root@sqm-docker02 ~]# docker pull myprogrium-consul
Consul+Registrator+Docker实现服务发现(nginx反向代理)

##创建一个consul容器,并且加入consul集群中:
[root@sqm-docker02 ~]# docker run -d --name consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart=always progrium/consul -join 172.16.1.30 -advertise 172.16.1.31 -client 0.0.0.0 -node=node01

解释:
-join:加入的是docker01的集群,所以指定的是docker01的主机地址
-advertise:通告的是本机(docker02)的地址,
-client:表示所以主机访问该节点
-node:自定义节点名称为node01

确保容器已正常运行:
Consul+Registrator+Docker实现服务发现(nginx反向代理)

在网页上查看该节点是否加入:
Consul+Registrator+Docker实现服务发现(nginx反向代理)

(3)在docker03上操作:
同样的下载progrium/consul镜像:
[root@sqm-docker02 ~]# docker pull myprogrium-consul
运行容器并加入集群:
[root@sqm-docker03 ~]# docker run -d --name consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart=always progrium/consul -join 172.16.1.30 -advertise 172.16.1.32 -client 0.0.0.0 -node=node02

#注意需要通告的是自身的ip地址,节点名称为node02

Consul+Registrator+Docker实现服务发现(nginx反向代理)

加入集群后,在docker01上查看集群信息:

[root@sqm-docker01 ~]# consul members

Consul+Registrator+Docker实现服务发现(nginx反向代理)

浏览web界面查看:
Consul+Registrator+Docker实现服务发现(nginx反向代理)
确保node1和node2都已经加入到了集群中

(4)在docker01上安装consul-template:
该软件包可以在github上进行下载,下载路径(可自定义选择版本):https://releases.hashicorp.com/consul-template/

下载后解压,并给予执行权限:

[root@sqm-docker01 ~]# unzip consul-template_0.19.5_linux_amd64.zip 
Archive:  consul-template_0.19.5_linux_amd64.zip
  inflating: consul-template         
[root@sqm-docker01 ~]# mv consul-template /usr/local/bin/
[root@sqm-docker01 ~]# chmod +x /usr/local/bin/consul-template

暂时先安装完,不做其他操作。

(5)部署registrator:

主要用来收集容器运行服务的信息,并且发送给consul。
自动发现docker container提供的服务,并且在后端服务注册中心(数据中心)注册服务。
常见的数据中心有:consul,etcd,zookeeper,相关的技术可以查找相关的技术文档。

在docker02和docker03上部署registrator:

注意:#两台都要部署

docker02:
我导入了一个本地下载好的镜像(在pull进行拉取):
[root@sqm-docker02 ~]# docker load --input myregistrator.tar

运行一个registrator容器:
[root@sqm-docker02 ~]# docker run -d --name registrator -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator consul://172.16.1.31:8500

以上命令的作用是把收集过来容器的信息给本机的8500端口来显示

访问web网页查看是否收集到容器的信息:
url:http://172.16.1.30:8500/
Consul+Registrator+Docker实现服务发现(nginx反向代理)

现在在docker02上运行一个ngnx服务,测试是否能够发现:
[root@sqm-docker02 ~]# docker run -d -P --name test nginx

Consul+Registrator+Docker实现服务发现(nginx反向代理)

docker03:
执行在docker02同样的操作,查看是否能够发现服务:

下载镜像并创建容器:
[root@sqm-docker03 ~]# docker run -d --name registrator -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator consul://172.16.1.32:8500

运行nginx服务:
[root@sqm-docker03 ~]# docker run -d --name test2 -P nginx

确保容器正常运行:
Consul+Registrator+Docker实现服务发现(nginx反向代理)

web网页进行查看:

Consul+Registrator+Docker实现服务发现(nginx反向代理)

确保也能够收集到node2上的nginx容器信息。

(6)在docker01上部署nginx,提供反向代理:
1)安装nginx:

安装依赖:
[root@sqm-docker01 ~]# yum -y install gcc pcre pcre-devel openssl openssl-devel zlib zlib-devel
创建nginx用户
[root@sqm-docker01 ~]# useradd -M -s /usr/sbin/nologin nginx
编译安装:

[root@sqm-docker01 ~]# tar zxf nginx-1.14.0.tar.gz  -C /usr/src/
[root@sqm-docker01 ~]# cd /usr/src/nginx-1.14.0/
[root@sqm-docker01 nginx-1.14.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module --with-http_realip_module --with-pcre --with-http_ssl_module && make && make install

软链接:
[root@sqm-docker01 ~]# ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
Consul+Registrator+Docker实现服务发现(nginx反向代理)
启动nginx:
[root@sqm-docker01 ~]# nginx
Consul+Registrator+Docker实现服务发现(nginx反向代理)

2)现在就开始部署刚才安装完的consul-template插件了

consul-template的作用:把收集到的信息(把registrator收集到容器的信息)写入template模板中,并且最终写入nginx的配置文件中,通过该模板来实现自动化。

##编写consul-template网页:

[root@sqm-docker01 ~]# cd /usr/local/nginx/
[root@sqm-docker01 nginx]# mkdir consul  #在nginx目录下创建存放template网页的目录
[root@sqm-docker01 nginx]# cd consul/
[root@sqm-docker01 consul]# vim nginx.ctmpl

内容如下(以go语言实现):

upstream  http_backend {
  {{range service  "nginx"}}
  server {{.Address}}:{{.Port}};
  {{ end }}
}

server {
  listen 8000;   #监听端口可以自定义,只要不与自己的80端口冲突即可
  server_name localhost;
  location / {
  proxy_pass http://http_backend;
 }
}

##修改nginx配置文件:
[root@sqm-docker01 consul]# vim /usr/local/nginx/conf/nginx.conf
Consul+Registrator+Docker实现服务发现(nginx反向代理)

//根据刚才的模板生成一个.conf文件:

[root@sqm-docker01 consul]# consul-template -consul-addr 172.16.1.30:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx -s reload"

注意:执行命令回车后将会卡在终端,所以接下来我们另开一个终端查看。
也可以将其设置为后台运行:(加上nohup和&参数):
[root@sqm-docker01 consul]# nohup consul-template -consul-addr 172.16.1.30:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx -s reload" &

Consul+Registrator+Docker实现服务发现(nginx反向代理)

Consul+Registrator+Docker实现服务发现(nginx反向代理)

##能看到vhost文件中有node01和node02的地址及端口号,说明nginx代理成功。

(7)实现服务自动发现:

为了验证实现服务发现,在docker02和docker03上创建容器:(基于nginx服务运行)
操作命令如下:
docker02:

mkdir html
echo docker02_web01 > html/index.conf
docker run -itd --name web01 -v /root/html:/usr/share/nginx/html -P nginx

为了更直观的看到,我们运行第二个nginx容器:

docker run -itd --name web02 -P nginx:latest
docker exec  -it web02 /bin/bash
echo docker02_web02 > /usr/share/nginx/html/index.html

docker03:(同样的创建两个容器):

docker run -itd  --name web03  -P  nginx:latest
docker exec -it  web03  /bin/bash
echo docker03-web01 > /usr/share/nginx/html/index.html
docker run -itd --name web04  -P nginx:latest
docker exec -it web04 /bin/bash
echo docker03-web02 > /usr/share/nginx/html/index.htm

最后验证自动发现的nginx页面:

访问的是代理nginx服务器的地址跟上自定义的访问端口8000
URL:http://172.16.1.30:8000/

第一次访问的页面是代理服务器自身的nginx页面:

Consul+Registrator+Docker实现服务发现(nginx反向代理)

第二次访问到的是docker02上的第一个nginx页面:
Consul+Registrator+Docker实现服务发现(nginx反向代理)

第三次访问到的是docker02上的第二个nginx页面:
Consul+Registrator+Docker实现服务发现(nginx反向代理)
docker03上的nginx1页面:
Consul+Registrator+Docker实现服务发现(nginx反向代理)
docker03上的nignx2页面:
Consul+Registrator+Docker实现服务发现(nginx反向代理)

至此在Docker上部署集群,实现服务的一个自动发现,已经搭建并测试完毕。。。。。

———————— 本文至此结束,感谢阅读 ————————