docker多个nginx docker多个容器建立网络连接

转载

梦里忧郁 2023-07-18 14:04:49

文章标签 docker多个nginx docker IP Docker 文章分类 Docker 云计算

一、前言

由于docker技术的火爆，导致现在越来越多的企业都在使用docker这种虚拟化技术。企业中使用docker这种虚拟化技术，其目的就是为了让docker中的容器对外提供服务。因此，我们必须深入了解一下docker的网络知识，以满足更高的网络需求。

二、Docker的原生网络

当你安装Docker时，它会自动创建三个网络。如下：

[root@localhost ~]# docker network ls                      
//查看docker的默认网络
NETWORK ID          NAME                DRIVER              SCOPE
a38bd52b4cec        bridge              bridge               local
624b3ba70637        host                 host                   local
62f80646f707          none                  null                     local

Docker内置这三个网络，运行容器时，你可以使用该“--network”选项来指定容器应连接到哪些网络。如果没有指定则默认使用bridge模式。

比如：

host模式：使用 --net=host 指定；
none模式：使用 --net=none 指定；
bridge模式：使用 --net=bridge 指定（默认设置）；

下面详细介绍一下这几种网络模式：

虽然docker模式提供三种网络模式，但其实是有四种网络模式的！

1.host模式

如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。

使用场景：

网络配置与docker宿主机完全一样，性能较好，但是不便之处就是灵活性不高，容易和宿主机出现端口冲突的问题。最好是单个容器时使用，一般情况下不建议使用。

创建使用host网络模式的容器示例：

[root@localhost ~]# docker run -it --name host --network host busybox:latest 
//使用busybox镜像创建一个名为host的容器，网络采用host模式
/ # ip a 
//进入容器后可以看出容器中的网络与docker主机的网络一模一样
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000
    link/ether 00:0c:29:66:72:13 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.1/24 brd 192.168.1.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::9f3:b94e:5f5d:8070/64 scope link 
       valid_lft forever preferred_lft forever
3: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue qlen 1000
    link/ether 52:54:00:e1:82:15 brd ff:ff:ff:ff:ff:ff
    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
       valid_lft forever preferred_lft forever
4: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast master virbr0 qlen 1000
    link/ether 52:54:00:e1:82:15 brd ff:ff:ff:ff:ff:ff
5: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue 
    link/ether 02:42:3c:06:f8:1d brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever

2.none模式

在none模式下，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。也就是说，这个Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网卡、配置IP等。

使用场景：

none模式被称为隔离的网络，隔离便意味着安全，不能与外部通信，同样外部也不可以访问到使用none模式的容器，使用这种网络模式的容器可以运行于关于安全防面的验证码、校验码等服务。
一般用于对安全性要求较高的场景中！

创建使用none网络模式的容器示例：

[root@localhost ~]# docker run -it --name none --network none busybox:latest 
//使用busybox镜像创建一个名为none的容器，网络采用none模式
/ # ip a            //可以看到容器中只有一个lo网卡
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever

3.bridge模式

bridge模式是Docker默认的网络设置，此模式会为每一个容器分配Network Namespace、设置IP等，并将一个主机上的Docker容器连接到一个虚拟网卡上。当Docker server启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配IP了，Docker会从RFC1918所定义的私有IP网段中，选择一个和宿主机不同的IP地址和子网分配给docker0，连接到docker0的容器就从这个子网中选择一个未占用的IP使用。如一般Docker会使用172.17.0.0/16这个网段，并将172.17.0.1/16分配给docker0网桥。

[root@localhost ~]# ifconfig docker0
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 172.17.255.255
        ether 02:42:3c:06:f8:1d  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
[root@localhost ~]# brctl show             //查看桥接网络
bridge name bridge id       STP enabled interfaces
docker0     8000.02423c06f81d   no      
//如果没有创建桥接模式的容器，默认是空的。

创建使用bridge网络模式的容器示例：

[root@localhost ~]# docker run -itd --name bridge busybox:latest /bin/sh
//创建一个名为bridge的容器，如果没有指定网络模式，默认便是bridge模式
[root@localhost ~]# docker exec -it bridge /bin/sh
//进入bridge容器中
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
6: eth0@if9: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
//可以看出eth0@if9这块虚拟网卡上的地址与docker宿主机的docker0网络属于同一网段
[root@localhost ~]# brctl show
bridge name bridge id       STP enabled interfaces
docker0     8000.02423c06f81d   no      veth811d20c
//可以看到桥接模式的接口下出现了一个新的接口，当创建一个容器便会出现一个接口
//这个接口便是容器在docker宿主机创建一个虚拟网卡，用于容器与docker通信
[root@localhost ~]# ifconfig veth811d20c           //查看这个虚拟网卡是否存在
veth811d20c: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet6 fe80::c035:95ff:febf:978b  prefixlen 64  scopeid 0x20<link>
        ether c2:35:95:bf:97:8b  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 8  bytes 648 (648.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

当使用bridge网络模式，docker的工作步骤大致为：
（1）在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备；
（2）Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0。另一端放在主机中，以veth811d20c这样类似的名字命名，并将这个网络设备加入到docker0网桥中，可以通过brctl show命令查看（上述实例已经验证）；
（3）从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关；

4.container模式

这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的容器共享IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。

创建使用container网络模式的容器示例：

[root@localhost ~]# docker run -it --name container --network container:a172b832b531 busybox:latest 
//a172b832b531是bridge容器的ID号
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
8: eth0@if9: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
//可以看出container容器的IP地址与bridge容器的IP地址一模一样

关于这四种网络模式推荐使用默认的bridge网络模式！

3.自定义bridge网络

细心一点可以发现，创建的容器默认情况IP地址为172.17.0.0/16网段，那么我们可不可以自定义一个网段供容器使用呢？答案肯定是可以的，方法如下：

[root@localhost ~]# docker network create -d bridge my_net
//创建一个桥接网络，名称为my_net，如果没有指定网段，默认是172.18.0.0/16，按docker0的网段自动递增
[root@localhost ~]# docker network ls         //查看docker支持的网络类型
NETWORK ID          NAME                DRIVER              SCOPE
9fba9dc3d2b6        bridge              bridge              local
624b3ba70637        host                host                local
74544573aa67        my_net              bridge              local
62f80646f707        none                null                local
//可以看出，刚才创建的my_net已经出现在列表中
[root@localhost ~]# docker run -itd --name test1 --network my_net busybox:latest /bin/sh
[root@localhost ~]# docker run -itd --name test2 --network my_net busybox:latest /bin/sh
//使用刚才创建的网络模式创建两个容器
[root@localhost ~]# docker exec -it test1 /bin/sh
//进入test1
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
11: eth0@if12: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:12:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.18.0.2/16 brd 172.18.255.255 scope global eth0
       valid_lft forever preferred_lft forever
//查看其IP地址，发现确实是172.18.0.0/16网段的
/ # ping test2             //测试通过容器名称ping test2容器
PING test2 (172.18.0.3): 56 data bytes
64 bytes from 172.18.0.3: seq=0 ttl=64 time=0.079 ms
64 bytes from 172.18.0.3: seq=1 ttl=64 time=0.175 ms
[root@localhost ~]# ifconfig br-74544573aa67
//这张虚拟网卡就是我们创建my_net网络时产生的
br-74544573aa67: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.18.0.1  netmask 255.255.0.0  broadcast 172.18.255.255
        inet6 fe80::42:50ff:fec2:7657  prefixlen 64  scopeid 0x20<link>
        ether 02:42:50:c2:76:57  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
//通过IP地址网段就可看出

自定义网络的优点：
可以通过容器的名称进行通信；
自定了ContainerDNSserver功能；

以上方法按照默认的方式创建一个桥接模式的网络，可以发现网段地址并不是我们自定义的。

接下来我们通过指定具体网段的方式创建网卡。方法如下：

[root@localhost ~]# docker network create -d bridge --subnet 200.0.0.0/24 --gateway 200.0.0.1 my_net2
//自定义网络模式的地址时，必须要明确指定其IP网段及网关信息
[root@localhost ~]# ifconfig br-0ca6770b4a10
//这张虚拟网卡便是我们创建my_net2网络时产生的
br-0ca6770b4a10: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 200.0.0.1  netmask 255.255.255.0  broadcast 200.0.0.255
        ether 02:42:05:ba:8b:fc  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
//可以看出其IP地址就是我们指定的IP地址
[root@localhost ~]# docker run -itd --name test3 --network my_net2 --ip 200.0.0.100 busybox:latest 
[root@localhost ~]# docker run -itd --name test4 --network my_net2 --ip 200.0.0.200 busybox:latest 
//基于刚才创建的网络创建出两个容器并指定其固定的IP地址
[root@localhost ~]# docker exec -it test3 /bin/sh
//进入test3容器
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
16: eth0@if17: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:c8:00:00:64 brd ff:ff:ff:ff:ff:ff
    inet 200.0.0.100/24 brd 200.0.0.255 scope global eth0
       valid_lft forever preferred_lft forever
//发现其IP地址确实我们刚才指定的IP地址           
/ # ping test4                //测试发现确实是可以和test4通信的
PING test4 (200.0.0.200): 56 data bytes
64 bytes from 200.0.0.200: seq=0 ttl=64 time=0.156 ms
64 bytes from 200.0.0.200: seq=1 ttl=64 time=0.178 ms
/ # ping test1
ping: bad address 'test1'
//发现无法与第一次创建的网络进行通信

使用相同的网络创建的容器是可以相互通信的，但是发现无法与其他容器进行通信，这主要是因为iptables规则的原因，创建docker网络时，iptables规则就会随着自动添加的。

举例说：尝试把iptables规则清空，是可以实现我们想要的效果的。但是这种命令的作用不亚于“rm -rf /*”，显然在现实环境中是不可以使用的！

那么就需要使用下面的方法来实现了，方法如下：

[root@localhost ~]# docker network connect my_net2 test1
//这条命令就是在test1容器中添加一块虚拟网卡（my_net2分配的）
[root@localhost ~]# docker exec -it test1 /bin/sh
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
11: eth0@if12: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:12:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.18.0.2/16 brd 172.18.255.255 scope global eth0
       valid_lft forever preferred_lft forever
20: eth1@if21: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:c8:00:00:02 brd ff:ff:ff:ff:ff:ff
    inet 200.0.0.2/24 brd 200.0.0.255 scope global eth1
       valid_lft forever preferred_lft forever
//可以查询到确实多了一块虚拟网卡，网段确实和my_net2属于同一网段             
/ # ping test3
PING test3 (200.0.0.100): 56 data bytes
64 bytes from 200.0.0.100: seq=0 ttl=64 time=0.171 ms
64 bytes from 200.0.0.100: seq=1 ttl=64 time=0.237 ms
^C
--- test3 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.171/0.204/0.237 ms
/ # ping test4
PING test4 (200.0.0.200): 56 data bytes
64 bytes from 200.0.0.200: seq=0 ttl=64 time=0.097 ms
^C
--- test4 ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.097/0.097/0.097 ms
//测试与test3、test4通信，通信正常

注意：此时test2容器并不可以与test3、test4进行通信！如果需要其通信，还需给test2添加虚拟my_net2网卡地址（使用案例中的命令即可）！