如何启动二进制docker docker启动consul

转载

ganmaobuhaowan 2024-06-26 17:03:04

文章标签 如何启动二进制docker docker consul 微服务 nginx 文章分类 Docker 云计算

文章目录

前言
一、Consul 简介

1. consul 概述
2. consul 的两种模式
3. consul 提供的一些关键特性

二、Consul 容器服务更新与发现
三、Consul 部署

1. 服务器配置
2. consul 服务器

2.1 安装 docker-ce，docker-compose
2.2 建立 consul 服务
2.3 查看群集信息
2.4 通过 http api 获取群集信息

3. registrator 服务器

3.1 安装 Gliderlabs/Registrator
3.2 测试服务发现功能是否正常
3.3 验证 http 和 nginx 服务是否注册到 consul

四、Consul-template

1. consul-template 概述
2. consul-template 的作用
3. 准备 template nginx 模板文件
4. 编译安装 nginx 并启动
5. 编译安装 template 并启动
6. 访问 template-nginx
7. 增加节点，测试配置更新

五、Consul 多节点

前言

服务注册与发现是微服务架构中不可或缺的重要功能。起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构，起初的解决手段是在服务前端负载均衡，这样前端必须要知道所有后端服务的网络位置，并配置在配置文件中。这里就会有几个问题：

如果需要调用后端服务 A-N，就需要配置 N 个服务的网络位置，配置很麻烦
后端服务的网络位置变化，都需要改变每个调用者的配置

既然有这些问题，那么服务注册与发现就是解决这些问题的。后端服务 A-N 可以把当前自己的网络位置注册到服务发现模块，服务发现就以 K-V 的方式记录下来，K 一般是服务名，V 就是 IP:PORT。服务发现模块定时的进行健康检查，轮询查看这些后端服务能不能访问的了。前端在调用后端服务 A-N 的时候，就跑去服务发现模块问下它们的网络位置，然后再调用它们的服务。这样的方式就可以解决上面的问题了，前端完全不需要记录这些后端服务的网络位置，前端和后端完全解耦！

一、Consul 简介

1. consul 概述

consul 是 google 开源的一个使用 go 语言开发的服务管理软件。支持多数据中心、分布式高可用的、服务发现和配置共享。采用 Raft 算法，用来保证服务的高可用。内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value 存储、多数据中心方案，不再需要依赖其他工具（比如 ZooKeeper 等）。服务部署简单，只有一个可运行的二进制的包。每个节点都需要运行 agent，他有两种运行模式 server 和 client。每个数据中心官方建议需要 3 或 5 个 server 节点以保证数据安全，同时保证 server-leader 的选举能够正确的进行。
安装 consul 是用于服务注册，也就是容器本身的一些信息注册到 consul 里面，其他程序可以通过 consul 获取注册的相关服务信息，这就是服务注册与发现。

2. consul 的两种模式

在 client 模式下，所有注册到当前节点的服务会被转发到 server 节点，本身是不持久化这些信息的。
在 server 模式下，功能和 client 模式相似，唯一不同的是，它会把所有的信息持久化到本地，这样遇到故障，信息是可以被保留的。
server-leader 是所有 server 节点的老大，它和其它 server 节点不同的是，它需要负责同步注册的信息给其它的 server 节点，同时也要负责各个节点的健康监测。

3. consul 提供的一些关键特性

服务注册与发现：consul 通过 DNS 或者 HTTP 接口使服务注册和服务发现变的很容易，一些外部服务，例如 saas 提供的也可以一样注册。
健康检查：健康检测使 consul 可以快速的告警在集群中的操作。和服务发现的集成，可以防止服务转发到故障的服务上面。
Key/Value 存储：一个用来存储动态配置的系统。提供简单的 HTTP 接口，可以在任何地方操作。
多数据中心：无需复杂的配置，即可支持任意数量的区域。
基于 Golong 语言，可移植性强。
支持 ACL 访问控制。
与 Docker 等轻量级容器可无缝配合。

二、Consul 容器服务更新与发现

如何启动二进制docker docker启动consul_如何启动二进制docker

两个 nginx 之间做 keepalived，访问的时候通过 httpd 的方式访问 keepalived，访问到 nginx 的主服务器，并且这个主服务器会代理给后端服务器上的 Container，Container 上面可以跑 tomcat/php/apache 等服务。
发现：
Consul 会在 docker 服务器上安插一个眼线（registrator），它会自己去探测当前主机上容器的状态变化（增加和减少），并且可以自己去进行调整。当发现容器变化了以后，会把变化的信息告诉 consul 的 server 端并且注册到 consul 的 server 端，注册以后在 UI 界面可以在 web 网页里面查看节点的变化。
更新：
Consul agent 控制 consul template 模板，使用 template 组件去和 nginx.conf 来进行对接，使用 template 这种方式来构建模板，模板里面都是变量，引用变量的方式去加载后端由 consul 注册到 server 端之后，server 会把这个信息告诉 agent，agent 会和 template 进行对接并写入 template 中，更新完以后它会作为 nginx.conf 的子配置文件被前端的 nginx 所识别，最后 consul agent 会控制 nginx 来进行 reload，reload 后会识别到 nginx.conf 配置文件中 upstream 池和 proxy_pass 信息的变化，也就是说可以识别后端的节点，这样就可以在地址池中动态的调整后端的资源。

三、Consul 部署

1. 服务器配置

服务器	IP 地址	主机名	主要功能
consul 服务器	192.168.10.20	consul	docker-ce,docker-compose,consul,nginx,consul-template
registrator 服务器	192.168.10.30	registrator	docker-ce,registrator,nginx

#两个节点
systemctl disable --now firewalld.service
setenforce 0

#consul 服务器
hostnamectl set-hostname consul
su

#registrator 服务器
hostnamectl set-hostname registrator
su

2. consul 服务器

2.1 安装 docker-ce，docker-compose

[root@consul ~]#curl -SsL http://101.34.22.188/shells/docker.sh > docker.sh
[root@consul ~]#bash docker.sh &> /dev/null
[root@consul ~]#systemctl status docker | grep Active
   Active: active (running) since 一 2021-12-06 12:15:52 CST; 15s ago
[root@consul ~]#wget http://101.34.22.188/docker-compose/docker-compose -P /usr/local/bin/ &> /dev/null
[root@consul ~]#chmod +x /usr/local/bin/docker-compose
[root@consul ~]#docker-compose -v
docker-compose version 1.21.1, build 5a3f1a3

2.2 建立 consul 服务

[root@consul ~]#mkdir /opt/consul
[root@consul ~]#cd /opt/consul/
[root@consul /opt/consul]#wget http://101.34.22.188/consul/consul_0.9.2_linux_amd64.zip &> /dev/null
[root@consul /opt/consul]#unzip consul_0.9.2_linux_amd64.zip &> /dev/null
[root@consul /opt/consul]#mv consul /usr/local/bin/

设置代理，在后台启动 consul 服务端

[root@consul /opt/consul]#consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/lib/consul-data \
-bind=192.168.10.20 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &

-server：以 server 身份启动（默认是 client）。
-bootstrap：用来控制一个 server 是否在 bootstrap 模式，在一个数据中心中只能有一个 server 处于 bootstrap 模式，当一个 server 处于 bootstrap 模式时，可以自己选举为 server-leader。
-bootstrap-expect=2：集群要求的最少 server 数量，当低于这个数量，集群即失效。
-ui：指定开启 UI 界面，这样可以通过 http://localhost:8500/ui 这样的地址访问 consul 自带的 web UI 界面。
-data-dir：指定数据存储目录。
-bind：指定用来在集群内部的通讯地址，集群内的所有节点到此地址都必须是可达的，默认是 0.0.0.0。
-client：指定 consul 绑定在哪个 client 地址上，这个地址提供 HTTP、DNS、RPC 等服务，默认是 127.0.0.1。
-node：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名。
-datacenter：指定数据中心名称，默认是 dc1。

[root@consul /opt/consul]#netstat -natp | grep consul
tcp        0      0 192.168.10.20:8300      0.0.0.0:*               LISTEN      60857/consul        
tcp        0      0 192.168.10.20:8301      0.0.0.0:*               LISTEN      60857/consul        
tcp        0      0 192.168.10.20:8302      0.0.0.0:*               LISTEN      60857/consul        
tcp6       0      0 :::8600                 :::*                    LISTEN      60857/consul        
tcp6       0      0 :::8500                 :::*                    LISTEN      60857/consul

启动 consul 后默认会监听 5 个端口：
8300：replication、leader farwarding 的端口
8301：lan cossip 的端口
8302：wan gossip 的端口
8500：web ui 界面的端口
8600：使用 dns 协议查看节点信息的端口

2.3 查看群集信息

查看 members 状态

[root@consul /opt/consul]#consul members
Node             Address             Status  Type    Build  Protocol  DC
consul-server01  192.168.10.20:8301  alive   server  0.9.2  2         dc1

查看群集状态

[root@consul /opt/consul]#consul operator raft list-peers
Node             ID                  Address             State   Voter  RaftProtocol
consul-server01  192.168.10.20:8300  192.168.10.20:8300  leader  true   2

2.4 通过 http api 获取群集信息

[root@consul /opt/consul]#curl 127.0.0.1:8500/v1/status/peers
["192.168.10.20:8300"]
[root@consul /opt/consul]#curl 127.0.0.1:8500/v1/status/leader
"192.168.10.20:8300"
[root@consul /opt/consul]#curl 127.0.0.1:8500/v1/catalog/services
{"consul":[]}
[root@consul /opt/consul]#curl 127.0.0.1:8500/v1/catalog/nginx
[root@consul /opt/consul]#curl 127.0.0.1:8500/v1/catalog/nodes
[{"ID":"6eac3213-77b3-d578-ab2b-4c4c642e080b","Node":"consul-server01","Address":"192.168.10.20","Datacenter":"dc1","TaggedAddresses":{"lan":"192.168.10.20","wan":"192.168.10.20"},"Meta":{},"CreateIndex":5,"ModifyIndex":6}]

curl 127.0.0.1:8500/v1/status/peers 			#查看集群 server 成员
curl 127.0.0.1:8500/v1/status/leader			#集群 server-leader
curl 127.0.0.1:8500/v1/catalog/services			#注册的所有服务
curl 127.0.0.1:8500/v1/catalog/nginx			#查看 nginx 服务信息
curl 127.0.0.1:8500/v1/catalog/nodes			#集群节点详细信息

3. registrator 服务器

容器服务自动加入 nginx 群集

3.1 安装 Gliderlabs/Registrator

Gliderlabs/Registrator 可检查容器运行状态自动注册，还可注销 docker 容器的服务到服务配置中心。目前支持 Consul、Etcd 和 SkyDNS2。

[root@registrator ~]#docker run -d \
--name=registrator \
--net=host \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
--ip=192.168.10.30 \
consul://192.168.10.20:8500
......
[root@registrator ~]#docker images
REPOSITORY               TAG       IMAGE ID       CREATED       SIZE
gliderlabs/registrator   latest    3b59190c6c80   5 years ago   23.8MB
[root@registrator ~]#docker ps -a
CONTAINER ID   IMAGE                           COMMAND                  CREATED          STATUS          PORTS     NAMES
c3f22213e1df   gliderlabs/registrator:latest   "/bin/registrator --…"   19 seconds ago   Up 19 seconds             registrator

参数说明：

--net=host ：把运行的 docker 容器设定为 host 网络模式。
-v /var/run/docker.sock:/tmp/docker.sock ：把宿主机的 Docker 守护进程默认监听的 Unix 域套接字挂载到容器中。
--restart=always ：设置在容器退出时总是重启容器。
--ip ：刚才把 network 指定了 host 模式，所以我们指定 ip 为宿主机的 ip。
consul ：指定 consul 服务器的 IP 和端口。

3.2 测试服务发现功能是否正常

[root@registrator ~]#docker run -itd -p 81:80 --name test1 nginx
......
ae534c6e3b21c5eb69347883dd2293fe4bb890ab94311e97b2b28f69a0638d3b
[root@registrator ~]#docker run -itd -p 82:80 --name test2 nginx
fd51252a6d2b5f835608da3e54ee299e930773094aba41ba5877e182119d7823
[root@registrator ~]#docker run -itd -p 83:80 --name test3 httpd
......
2c6c64190ec77384a7ee5e0887f2debbd56fa990b814a706137ecca4ba0f5688
[root@registrator ~]#docker run -itd -p 84:80 --name test4 httpd
78c024e77c5cc65bf5c227a1fbbdb59b242dcd823e52b2ada3c2c0849454a995
[root@registrator ~]#docker ps -a
CONTAINER ID   IMAGE                           COMMAND                  CREATED          STATUS          PORTS                               NAMES
78c024e77c5c   httpd                           "httpd-foreground"       3 seconds ago    Up 2 seconds    0.0.0.0:84->80/tcp, :::84->80/tcp   test4
2c6c64190ec7   httpd                           "httpd-foreground"       8 seconds ago    Up 7 seconds    0.0.0.0:83->80/tcp, :::83->80/tcp   test3
fd51252a6d2b   nginx                           "/docker-entrypoint.…"   35 seconds ago   Up 34 seconds   0.0.0.0:82->80/tcp, :::82->80/tcp   test2
ae534c6e3b21   nginx                           "/docker-entrypoint.…"   43 seconds ago   Up 42 seconds   0.0.0.0:81->80/tcp, :::81->80/tcp   test1
c3f22213e1df   gliderlabs/registrator:latest   "/bin/registrator --…"   4 minutes ago    Up 4 minutes                                        registrator

3.3 验证 http 和 nginx 服务是否注册到 consul

浏览器中输入 http://192.168.10.20:8500，在 Web 页面中单击 NODES，然后单击 consul-server01，会出现 5 个服务。

如何启动二进制docker docker启动consul_微服务_02

在 consul 服务器使用 curl 测试连接服务器

[root@consul /opt/consul]#curl 127.0.0.1:8500/v1/catalog/services
{"consul":[],"httpd":[],"nginx":[]}

四、Consul-template

1. consul-template 概述

Consul-Template 是基于 Consul 的自动替换配置文件的应用。Consul-Template 是一个守护进程，用于实时查询 Consul 集群信息，并更新文件系统上任意数量的指定模板，生成配置文件。更新完成以后，可以选择运行 shell 命令执行更新操作，重新加载 Nginx。

2. consul-template 的作用

Consul-Template 可以查询 Consul 中的服务目录、Key、Key-values 等。这种强大的抽象功能和查询语言模板可以使 Consul-Template 特别适合动态的创建配置文件。
例如：创建 Apache/Nginx Proxy Balancers、Haproxy Backends 等。

3. 准备 template nginx 模板文件

在 consul 服务器上操作

[root@consul ~]#cat > /opt/consul/nginx.ctmpl <<EOF
#定义 nginx upstream 一个简单模板
upstream http_backend {
  {{range service "nginx"}}
   server {{.Address}}:{{.Port}};
   {{end}}
}
#定义一个 server，监听 8000 端口，反向代理到 upstream
server {
    listen 8000;
    server_name localhost 192.168.10.20;
#修改日志路径
    access_log /var/log/nginx/test.com-access.log;                                                       
    index index.html index.php;
    location / {
        proxy_set_header HOST $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Client-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://http_backend;
    }
}
EOF

4. 编译安装 nginx 并启动

编译安装

[root@consul ~]#yum -y install pcre-devel zlib-devel gcc gcc-c++ make &> /dev/null
[root@consul ~]#useradd -M -s /sbin/nologin nginx
[root@consul ~]#wget http://101.34.22.188/lnmp_wordpress/nginx-1.12.0.tar.gz -P /opt &> /dev/null
[root@consul ~]#tar xf /opt/nginx-1.12.0.tar.gz -C /opt/
[root@consul ~]#cd /opt/nginx-1.12.0/
[root@consul /opt/nginx-1.12.0]#./configure --prefix=/usr/local/nginx --user=nginx --group=nginx && make -j 4 && make install
......
[root@consul /opt/nginx-1.12.0]#ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

配置并启动 nginx

[root@consul /opt/nginx-1.12.0]#vim /usr/local/nginx/conf/nginx.conf
······
http {
    include       mime.types;
    include       vhost/*.conf;		#添加虚拟主机目录
    default_type  application/octet-stream;
······

#创建虚拟主机
[root@consul /opt/nginx-1.12.0]#mkdir /usr/local/nginx/conf/vhost
#创建日志文件目录
[root@consul /opt/nginx-1.12.0]#mkdir /var/log/nginx
[root@consul /opt/nginx-1.12.0]#nginx
[root@consul /opt/nginx-1.12.0]#netstat -natp | grep nginx
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      63708/nginx: master

5. 编译安装 template 并启动

[root@consul ~]#cd /opt/
[root@consul /opt]#wget http://101.34.22.188/consul/consul-template_0.19.3_linux_amd64.zip &> /dev/null
[root@consul /opt]#unzip consul-template_0.19.3_linux_amd64.zip -d /opt/ &> /dev/null
[root@consul /opt]#mv consul-template /usr/local/bin/

在前台启动 template 服务，启动后不要按 ctrl+c 中止 consul-template 进程

[root@consul /opt]# consul-template --consul-addr 192.168.10.20:8500 \
--template "/opt/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/test.conf:/usr/local/nginx/sbin/nginx -s reload" \
--log-level=info
······

另外打开一个终端查看生成配置文件

[root@consul ~]#cd /usr/local/nginx/conf/vhost/
[root@consul /usr/local/nginx/conf/vhost]#ls
test.conf
[root@consul /usr/local/nginx/conf/vhost]#cat test.conf 
#定义 nginx upstream 一个简单模板
upstream http_backend {
  
   server 192.168.10.30:81;
   
   server 192.168.10.30:82;
   
}
#定义一个 server，监听 8000 端口，反向代理到 upstream
server {
    listen 8000;
    server_name localhost 192.168.10.20;
#修改日志路径
    access_log /var/log/nginx/test.com-access.log;                                                       
    index index.html index.php;
    location / {
        proxy_set_header HOST $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Client-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://http_backend;
    }
}

6. 访问 template-nginx

准备访问页面（registrator 服务器）

[root@registrator ~]#docker exec -it test1 bash
root@ae534c6e3b21:/# echo "this is test1 web" > /usr/share/nginx/html/index.html 
root@ae534c6e3b21:/# exit
exit
[root@registrator ~]#docker exec -it test2 bash
root@fd51252a6d2b:/# echo "this is test2 web" > /usr/share/nginx/html/index.html 
root@fd51252a6d2b:/# exit
exit

浏览器访问 http://192.168.10.20:8000/ 并不断刷新

如何启动二进制docker docker启动consul_如何启动二进制docker_03

如何启动二进制docker docker启动consul_如何启动二进制docker_04

rr 轮询，权重为 1

7. 增加节点，测试配置更新

增加一个 nginx 容器（registrator 节点）

[root@registrator ~]#docker run -itd -p 85:80 --name test5 -h test5 nginx
78e0b2de66c22461870f1982dbaab3c3c3461b53640b7ce36a769c9332bc2b23
[root@registrator ~]#docker ps -a | grep test5
78e0b2de66c2   nginx                           "/docker-entrypoint.…"   11 seconds ago      Up 10 seconds      0.0.0.0:85->80/tcp, :::85->80/tcp   test5

观察 template 服务，会从模板更新 /usr/local/nginx/conf/vhost/test.conf 文件内容，并且重载 nginx 服务（consul 节点）

[root@consul ~]#cat /usr/local/nginx/conf/vhost/test.conf
#定义 nginx upstream 一个简单模板
upstream http_backend {
  
   server 192.168.10.30:81;
   
   server 192.168.10.30:82;
   
   server 192.168.10.30:85;		#新加的服务
   
}
#定义一个 server，监听 8000 端口，反向代理到 upstream
server {
    listen 8000;
    server_name localhost 192.168.10.20;
#修改日志路径
    access_log /var/log/nginx/test.com-access.log;                                                       
    index index.html index.php;
    location / {
        proxy_set_header HOST $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header Client-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://http_backend;
    }
}

五、Consul 多节点

添加一台已有 docker 环境的服务器 192.168.10.40/24 加入已有的群集中

[18:33:32 root@docker_test~]#wget http://101.34.22.188/docker-compose/docker-compose -P /usr/local/bin/ &> /dev/null
[18:38:22 root@docker_test~]#chmod +x /usr/local/bin/docker-compose
[18:38:27 root@docker_test~]#docker-compose -v
docker-compose version 1.21.1, build 5a3f1a3
[18:38:33 root@docker_test~]#mkdir /opt/consul
[18:38:39 root@docker_test~]#cd /opt/consul/
[18:38:44 root@docker_testconsul]#wget http://101.34.22.188/consul/consul_0.9.2_linux_amd64.zip &> /dev/null
[18:38:59 root@docker_testconsul]#unzip consul_0.9.2_linux_amd64.zip &> /dev/null
[18:39:05 root@docker_testconsul]#mv consul /usr/local/bin/
[18:39:10 root@docker_testconsul]#consul agent \
> -server \
> -ui \
> -data-dir=/var/lib/consul-data \
> -bind=192.168.10.40 \
> -client=0.0.0.0 \
> -node=consul-server02 \
> -enable-script-checks=true  \
> -datacenter=dc1  \
> -join 192.168.10.20 &> /var/log/consul.log &
[1] 32276

-enable-script-checks=true ：设置检查服务为可用
 -datacenter : 数据中心名称
 -join ：加入到已有的集群中

查看

[18:39:43 root@docker_testconsul]#consul members
Node             Address             Status  Type    Build  Protocol  DC
consul-server01  192.168.10.20:8301  alive   server  0.9.2  2         dc1
consul-server02  192.168.10.40:8301  alive   server  0.9.2  2         dc1
[18:39:50 root@docker_testconsul]#consul operator raft list-peers
Node             ID                  Address             State     Voter  RaftProtocol
consul-server01  192.168.10.20:8300  192.168.10.20:8300  leader    true   2
consul-server02  192.168.10.40:8300  192.168.10.40:8300  follower  true   2

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：redis 获取 list len redis 获取serversql数据

下一篇：如何把gpu0改为gpu1 怎么把gpu性能调到最佳

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯