虚拟化部署向容器化部署迁移容器虚拟化

转载

mob64ca13fd9f8e 2024-02-10 21:19:39

文章标签 虚拟化部署向容器化部署迁移容器网络 docker IP 文章分类 虚拟化云计算

docker容器虚拟化网络

一、虚拟化网络

1.1 单节点容器间通信
1.2 不同节点容器间通信

二、docker 网络
三、docker网络的四种模式

3.1 bridge模式
3.2 container模式
3.3 host模式
3.4 none模式

一、虚拟化网络

Linux 容器（Linux Containers，缩写为 LXC）。
Linux 容器不是模拟一个完整的操作系统，而是对进程进行隔离。
有了容器，就可以将软件运行所需的所有资源打包到一个隔离的容器中。
容器与虚拟机不同，不需要捆绑一整套操作系统，只需要软件工作所需的库资源和设置。
系统因此而变得高效轻量并保证部署在任何环境中的软件都能始终如一地运行。

Network Namespace 是 Linux 内核提供的功能，是实现网络虚拟化的重要功能，它能创建多个隔离的网络空间，它们有独自网络栈信息。不管是虚拟机还是容器，运行的时候仿佛自己都在独立的网络中。而且不同Network Namespace的资源相互不可见，彼此之间无法通信。

假如我们的物理机有4块物理网卡，我们要创建4个名称空间，而这些设备是可以单独关联至某个单独的名称空间使用的

虚拟化部署向容器化部署迁移容器虚拟化_IP

如上图所示，把第一块网卡分配给第一个名称空间，第二块分给第二个名称空间，第三块分给第三个名称空间，第四块分给第四个名称空间。此时其它名称空间都是看不见当前所在名称空间的，因为一个设备只能属于一个名称空间。

这种方式使得每一个名称空间都能配置IP地址，并且与外部网络直接通信，因为它们使用的是物理网卡。

但如果我们所拥有的名称空间数量超过物理网卡数量呢？此时我们可以使用虚拟网卡设备，用纯软件的方式来模拟一组设备来使用。Linux内核级支持2种级别设备的模拟，一种是二层设备，一种是三层设备。

Linux内核模拟的二层设备，每个网络接口设备是成对出现的，可以模拟为一根网线的两端，其中一端模拟主机的虚拟网卡，另一端模拟虚拟交换机，就相当于让一个主机连到一个交换机上去。Linux内核原生支持二层虚拟网桥设备，即用软件虚拟交换机的功能。如下图所示：

虚拟化部署向容器化部署迁移容器虚拟化_虚拟化部署向容器化部署迁移_02

那么此时如果再有一个名称空间，它有创建了一对虚拟网卡，一端连接名称空间，一端连接虚拟交换机，此时就相当于两个名称空间连接到了同一个交换机网络中，此时如果两个名称空间的网卡地址配置在同一网段，那么很显然他们之间是可以互相通信的。如下图所示：

虚拟化部署向容器化部署迁移容器虚拟化_IP_03

从网络通信的物理设备到网卡都是用纯软件的方式来实现，这种实现方式就叫做虚拟化网络。

1.1 单节点容器间通信

如果在同一个物理机上的两个容器想通信，我们的办法就是在这台主机上建立一个虚拟交换机，而后让两个容器各自用纯软件的方式创建一对虚拟网卡，一半在容器上，一半在虚拟交换机上，从而实现通信。如下图所示：

虚拟化部署向容器化部署迁移容器虚拟化_docker_04

这就是单节点上两个容器间的通信方式。单节点上两个容器之间的通信也有一些复杂情况，比如我们期望构建的容器要跨交换机通信呢？

虚拟化部署向容器化部署迁移容器虚拟化_docker_05

我们做两个虚拟交换机，两个交换机上各自连接不同的容器，如上图所示，此时如果要C1和C3通信又该如何实现呢？其实我们可以通过名称空间创建一对网卡，一端连SW1，另一端连SW2，这样一来两个交换机就连起来了，照理说这样一来C1和C3这两个处于不同交换机的容器就可以实现通信了，但是这样一来又存在另一个问题，那就是如果C1和C3在不同网络呢？如果不在同一网络我们就必须要通过路由转发才能使其通信，也就是我们得在两台交换机之间加一个路由器，其实Linux内核本身就是支持路由转发的，只需要我们将路由转发功能打开即可。此时我们可以再启动一个容器，这个容器里面就跑一个内核，并将其转发功能打开，这样一来就模拟了一台路由器，通过这台路由器来实现路由转发。

虚拟化部署向容器化部署迁移容器虚拟化_IP_06

1.2 不同节点容器间通信

虚拟化部署向容器化部署迁移容器虚拟化_IP_07

如上图所示，此时如果C1要与C5进行通信又该如何实现呢？如果我们采用桥接的方式，很容易产生广播风暴，因此，在大规模的虚拟机或容器的场景中，使用桥接的方式无疑是自取灭亡，所以我们不应该使用桥接的方式来实现通信。

如果一来，我们既不能桥接，又需要与外部来实现通信，那就只能使用NAT技术了。通过DNAT将容器的端口暴露到宿主机上，通过访问宿主机的端口来实现访问容器内部的目的，而在请求端我们需要做SNAT将数据包通过宿主机的真实网卡转发出去。但这样做的话，因为要进行两次NAT转换，所以效率会比较低。

此时我们可以采用一种叫做Overlay Network（叠加网络）的技术来实现不同节点间容器的相互通信功能。

虚拟化部署向容器化部署迁移容器虚拟化_IP_08

Overlay Network会将报文进行隧道转发，也就是在报文发出去之前要为其添加一个IP首部，也就是上图的1.1和1.2这部分，这里的1.1是源，1.2是目标，当宿主机2收到报文后解封装发现要找的目标容器是C2，于是把包转发给C2。

二、docker 网络

当你安装Docker时，它会自动创建三个网络。你可以使用以下docker network ls命令列出这些网络

[root@localhost ~]# docker network ls
NETWORK ID     NAME      DRIVER    SCOPE
d8c25caeb0db   bridge    bridge    local
6ceb6009fa51   host      host      local
722f6ab96f26   none      null      local

Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。

三、docker网络的四种模式

网络模式	配置	说明
Host	–network host	容器和宿主机共享Network namespace
Container	–network container:NAME_OR_ID	容器和另外一个容器共享Network namespace
None	–network none	容器有独立的Network namespace，但并没有对其进行任何网络设置，如分配veth pair 和网桥连接，配置IP等
Bridge	–network bridge	默认模式

虚拟化部署向容器化部署迁移容器虚拟化_docker_09

3.1 bridge模式

当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。

从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备，Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0（容器的网卡），另一端放在主机中，以vethxxx这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过brctl show命令查看。
使用docker run运行一个容器查看

[root@docker ~]# docker images
REPOSITORY   TAG       IMAGE ID       CREATED        SIZE
httpd        latest    bd17c88403e3   2 hours ago    143MB
tomcat       latest    904a98ea375e   2 hours ago    680MB
nginx        latest    ea3253fbf7ab   2 hours ago    141MB
centos       latest    5240da3c9764   2 hours ago   231MB

[root@docker ~]# docker run -d --name httpd httpd:latest
ex12f9946f962129e5d36771660e4ef42e8c9383106a4a0726471b22218e9de1

[root@docker ~]# docker inspect ex12f9946f962129e5d36
......省略n行
"Gateway": "172.17.0.1",   网关为 docker0 网卡ip
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.2", 容器ip
.......
[root@docker ~]# ip a    //在本机上查看网卡信息
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:b7:b0:df brd ff:ff:ff:ff:ff:ff
    inet 192.168.47.161/24 brd 192.168.58.255 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::ca43:3f86:3176:184c/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:d8:12:14:0a brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:d8ff:fe12:140a/64 scope link 
       valid_lft forever preferred_lft forever
7: veth64a7345@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether 86:01:71:78:7d:f0 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::8401:71ff:fe78:7df0/64 scope link 
       valid_lft forever preferred_lft forever
       
[root@docker ~]# ping 172.17.0.2    //使用ping测试网络连通性
PING 172.17.0.4 (172.17.0.4) 56(84) bytes of data.
64 bytes from 172.17.0.4: icmp_seq=1 ttl=64 time=0.212 ms
64 bytes from 172.17.0.4: icmp_seq=2 ttl=64 time=0.153 ms
64 bytes from 172.17.0.4: icmp_seq=3 ttl=64 time=0.345 ms

bridge模式是docker的默认网络模式，不写–network参数，就是bridge模式。使用docker run -p时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL查看。

bridge模式如下图所示：

虚拟化部署向容器化部署迁移容器虚拟化_容器_10

假设上图的docker2中运行了一个nginx，大家来想几个问题：

同主机间两个容器间是否可以直接通信？比如在docker1上能不能直接访问到docker2的nginx站点？
在宿主机上能否直接访问到docker2的nginx站点？
在另一台主机上如何访问node1上的这个nginx站点呢？DNAT发布？
Docker网桥是宿主机虚拟出来的，并不是真实存在的网络设备，外部网络是无法寻址到的，这也意味着外部网络无法通过直接Container-IP访问到容器。如果容器希望外部访问能够访问到，可以通过映射容器端口到宿主主机（端口映射），即docker run创建容器时候通过 -p 或 -P 参数来启用，访问容器的时候就通过[宿主机IP]:[容器端口]访问容器。

3.2 container模式

这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。

container模式如下图所示：

虚拟化部署向容器化部署迁移容器虚拟化_IP_11

[root@docker ~]# docker run -it --name by busybox    
Unable to find image 'busybox:latest' locally
latest: Pulling from library/busybox
3aab638df1a9: Pull complete 
Digest: sha256:1c834d27a8e1bcc82194f914af52817dece4cfe26f58e6d50afad5a101234ef1
Status: Downloaded newer image for busybox:latest

/ # ip a   //查看网卡信息 
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
14: eth0@if15: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:06 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.4/16 brd 172.17.255.255 scope global eth0 // ip
       valid_lft forever preferred_lft forever

[root@docker ~]# docker run -it --name by1 --rm --network container:by busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
14: eth0@if15: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:06 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.5/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

3.3 host模式

如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。

使用host模式的容器可以直接使用宿主机的IP地址与外界通信，容器内部的服务端口也可以使用宿主机的端口，不需要进行NAT，host最大的优势就是网络性能比较好，但是docker host上已经使用的端口就不能再用了，网络的隔离性不好。

Host模式如下图所示：

虚拟化部署向容器化部署迁移容器虚拟化_网络_12

3.4 none模式

使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。也就是说，这个Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网卡、配置IP等。

这种网络模式下容器只有lo回环网络，没有其他网卡。none模式可以在容器创建时通过–network none来指定。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。

应用场景：

启动一个容器处理数据，比如转换数据格式
一些后台的计算和处理任务

none模式如下图所示：

虚拟化部署向容器化部署迁移容器虚拟化_网络_13

[root@localhost ~]# docker network inspect bridge     #查看bridge网络的详细配置
[
    {
        "Name": "bridge",
        "Id": "d8c25caeb0dbe25c13b481f67d5ee5e32631d60d4331b83b8c0c523959b7a522",
        "Created": "2021-12-03T16:21:46.824918252+08:00",
        "Scope": "local",
        "Driver": "bridge",
        "EnableIPv6": false,
        "IPAM": {
            "Driver": "default",
            "Options": null,
            "Config": [
                {
                    "Subnet": "172.17.0.0/16",
                    "Gateway": "172.17.0.1"
                }
            ]
        },
        "Internal": false,
        "Attachable": false,
        "Ingress": false,
        "ConfigFrom": {
            "Network": ""
        },
        "ConfigOnly": false,
        "Containers": {
            "111c56820bfb328dd67748d7cb85c102823a307200b6f8dbc5b3706ae9ae0503": {
                "Name": "nginx",
                "EndpointID": "8a228657c0927f786a0913428541744dcfb1bc475fa63dc5109827bd9c6de659",
                "MacAddress": "02:42:ac:11:00:03",
                "IPv4Address": "172.17.0.3/16",
                "IPv6Address": ""
            },
            "1ea950782ea25b6efa86423ccd451cc56b63db99e21ad2d326870bd6ef729aa9": {
                "Name": "centos01",
                "EndpointID": "9ef290f37ca8fb359fa52ab0afb368d186a7b4c235b52c3719f19c7520564059",
                "MacAddress": "02:42:ac:11:00:02",
                "IPv4Address": "172.17.0.2/16",
                "IPv6Address": ""
            }
        },
        "Options": {
            "com.docker.network.bridge.default_bridge": "true",
            "com.docker.network.bridge.enable_icc": "true",
            "com.docker.network.bridge.enable_ip_masquerade": "true",
            "com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",
            "com.docker.network.bridge.name": "docker0",
            "com.docker.network.driver.mtu": "1500"
        },
        "Labels": {}
    }
]

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。