概述

docker swarm 是一个非常简单的docker 原生集群部署环境。在docker swarm 出来之前,要搭建一个docker 集群需要复杂的网络运维和配置能力,而docker swarm 把这一切都解放了。
简单来说呢,docker swarm把多个docker节点连接成一个集群,可以认为是一个可以互通的独立局域网,通过服务的方式管理应用的生命周期。例如有一个MyService的微服务,在单机的模式需要你分别在两个节点上启动相应的docker 容器,而docker swarm直接就有“服务”的概念,只要在某一管理节点上执行创建服务命令,同时指定节点数为2,则集群自动找两个节点分别运行你的MyService微服务。当两个节点扛不住的时候,你要增加到4个节点,则只需要执行一个扩展命令就行。

docker 安装

本文基于centos 版本7.2搭建的docker 集群,用的是17.09版本的docker。

节点有192.168.0.37和192.168.0.38 两个节点,分别为管理节点和工作节点。工作节点可以运行服务,管理节点也可以运行服务,但比工作节点多了“管理控制”的功能,即可以创建服务。为了避免脑裂现象,管理节点数量为1,3,5奇数。
分别在0.37和0.38上安装docker。

介质下载

https://download.docker.com/linux/centos/7/x86_64/stable/Packages/wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-17.09.0.ce-1.el7.centos.x86_64.rpm

安装

yum install docker-ce-17.09.0.ce-1.el7.centos.x86_64.rpm

启动

systemctl start docker

开机启动

systemctl enable docker
或者
chkconfig docker on

hostname

vi /etc/hosts 把两个节点的host和ip加上。

搭建和使用 docker hub私有仓库

搭建docker hub私有仓库(0.37)

仓库是用来存放docker镜像的,在创建和启动服务的时候,多个节点需要从仓库中拉取镜像。

sudo docker run -d -p 5000:5000 -v /root/hub:/var/lib/registry --restart=always --name registry2 registry:2

默认情况下,会将仓库存放于容器内的/var/lib/registry目录下,这样如果容器被删除,则存放于容器中的镜像也会丢失,所以我们一般情况下会指定本地一个目录挂载。

https://github.com/docker/docker.github.io/blob/master/registry/index.md

配置拉取镜像认证(0.37/0.38)

客户端访问docker hub拉取镜像,缺省走https的,会报https://192.168.0.37:5000镜像没找到或不存在(No such image: 192.168.0.37:5000/cehome/operation-service:),解决方式一种是通过nginx 添加https代理,我们采用是另一种是非安全方式:

  • 打开
  1. /usr/lib/systemd/system/docker.service
  • 添加(ExecStart=/usr/bin/dockerd 可能已经有,只需要添加insecure参数)
    ExecStart=/usr/bin/dockerd --insecure-registry 192.168.0.37:5000
  • 重载
    systemctl daemon-reload
  • 重启
    service docker restart

集群环境搭建

参考:
https://docs.docker.com/engine/swarm/swarm-mode/https://docs.docker.com/engine/reference/commandline/service/

https://docs.docker.com/engine/swarm/how-swarm-mode-works/nodes/https://docs.docker.com/engine/swarm/how-swarm-mode-works/services/#replicated-and-global-services

关闭防火墙(0.37/0.38)

需要互相访问2377等端口(为方便,直接关闭防火墙,否则可能会有不可意料的事情)

  • 查看

systemctl is-enabled firewalld

  • 关闭

systemctl stop firewalld.service

  • 禁用服务

systemctl disable firewalld

初始化管理节点(0.37)

docker swarm init --advertise-addr 192.168.0.37

( 多ip的情况:docker swarm init --advertise-addr ,一般要加上,否则会有网络问题)

添加其它节点前查看token(0.37)

添加其它节点到集群,必须先在管理节点执行如下命令,它会打印出在其它节点将要执行的包含token的完整脚本。

1)查看如何添加work节点
docker swarm join-token worker
2)查看如何添加manager节点
docker swarm join-token manager

添加work节点(0.38)

通过上面的命令可以查出执行的脚本,然后拷贝到0.38并执行(即来源于0.37上面执行docker swarm join-token worker的打印结果),执行后0.38就加入了集群。
docker swarm join\
--token SWMTKN-1-3jcd5cjgwy8ct1gfyqqy8oqnokz4jjaul7el97h77qii4e6zw3-1vrjlin1bl5k9whzc4fulqfh2 192.168.0.37:2377

查看节点(0.37)

必须在管理节点才能执行:
docker node ls

创建overlay网络

为什么需要overlay 网络?保证多台机器不同容器之间通信!

docker network create --attachable --driver overlay tiejia
--attachable 参数为了兼容单机的容器可以加入此网络。
tiejia是网络名称。

管理节点信息的备份与恢复

由于目前是单管理节点,最好是备份信息,主要步骤是停止docker,备份目录/var/lib/docker/swarm/
参考:https://docs.docker.com/engine/swarm/admin_guide/#back-up-the-swarm

移除节点的命令(这里只是介绍,不要执行)

当你节点不需要的时候可以从集群剥离,
docker swarm leave -f

例子:部署一个nginx 服务

在manager节点0.37上部署nginx服务,服务数量为3个,公开指定端口是8080映射容器80,使用nginx镜像。这里直接会从官网下载nginx镜像,上面部署的私有仓库还用不上。

docker service create --replicas 3 --name nginx --publish 8080:80  nginx

通过 docker service ps nginx 命令查看服务分布情况。