https://www.hi-linux.com/posts/30481.html

flannel架构介绍

flannel默认使用8285端口作为UDP封装报文的端口，VxLan使用8472端口

docker 配置filebeat7 logging配置段 docker flannel配置_docker

那么一条网络报文是怎么从一个容器发送到另外一个容器的呢？

  1. 容器直接使用目标容器的ip访问，默认通过容器内部的eth0发送出去。
  2. 报文通过veth pair被发送到vethXXX。
  3. vethXXX是直接连接到虚拟交换机docker0的，报文通过虚拟bridge docker0发送出去。
  4. 查找路由表，外部容器ip的报文都会转发到flannel0虚拟网卡，这是一个P2P的虚拟网卡，然后报文就被转发到监听在另一端的flanneld。
  5. flanneld通过etcd维护了各个节点之间的路由表，把原来的报文UDP封装一层，通过配置的iface发送出去。
  6. 报文通过主机之间的网络找到目标主机。
  7. 报文继续往上，到传输层，交给监听在8285端口的flanneld程序处理。
  8. 数据被解包，然后发送给flannel0虚拟网卡。
  9. 查找路由表，发现对应容器的报文要交给docker0。
  10. docker0找到连到自己的容器，把报文发送过去。

flannel安装配置

环境准备

一共三台机器：一个etcd集群，三台机器安装flannel和Docker。

节点名称

IP地址

软件环境

etcd1

192.168.2.210

etcd、flannel、docker

etcd2

192.168.2.211

etcd、flannel、docker

etcd3

192.168.2.212

etcd、flannel、docker

安装etcd:参考上面的blog

1. 安装flannel

三个节点都需安装配置flannel，这里以etcd1节点为例。

flannel和etcd一样，直接从官方下载二进制执行文件就可以用了。当然，你也可以自己编译

下载 https://github.com/coreos/flannel/releases  flannel flannel-v0.10.0-linux-amd64.tar.gz

2. 解压缩 tar xzf flannel-v0.10.0-linux-amd64.tar.gz  -C /local/flannel

解压后主要有flanneld、mk-docker-opts.sh这两个文件，其中flanneld为主要的执行文件，sh脚本用于生成Docker启动参数。

3. 配置flannel 

由于flannel需要依赖etcd来保证集群IP分配不冲突的问题，所以首先要在etcd中设置 flannel节点所使用的IP段。

etcdctl --endpoints "http://172.20.72.55:2379" \
set /coreos.com/network/config '{"NetWork":"10.0.0.0/16", "SubnetMin": "10.0.1.0", "SubnetMax": "10.0.200.0","Backend": {"Type": "vxlan"}}'

flannel预设的backend type是udp，如果想要使用vxlan作为backend，可以加上backend参数，flannel backend为vxlan比起预设的udp性能相对好一些。

在一台机器上设置后，在其他机器上都能看到

查看设置的：

etcdctl --endpoints "http://172.20.72.55:2379"  get /coreos.com/network/config

etcdctl --endpoints "http://172.20.72.48:2379"  get /coreos.com/network/config

4. 启动flannel

1> 命令行方式运行

flanneld --etcd-endpoints="http://172.20.72.55:2379,http://172.20.72.50:2379,http://172.20.72.48:2379" --ip-masq=true >> /local/flannel/log/flanneld.log 2>&1 &
 

2> 后台服务方式运行

给flannel创建一个systemd服务，方便以后管理。创建flannel配置文件:

cat <<EOF | sudo tee /etc/systemd/system/flanneld.service
[Unit]
Description=Flanneld
Documentation=https://github.com/coreos/flannel
After=network.target
Before=docker.service

[Service]
User=root
ExecStart=/opt/flannel/flanneld \
--etcd-endpoints="http://etcd1.hi-linux.com:2379,http://etcd2.hi-linux.com:2379,http://etcd3.hi-linux.com:2379" \
--iface=192.168.2.210 \
--ip-masq
Restart=on-failure
Type=notify
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

参数为要绑定的网卡的IP地址，请根据实际情况修改。

启动flannel服务 systemctl start flanneld

flannel启动过程解析

flannel服务需要先于Docker启动。flannel服务启动时主要做了以下几步的工作：

  • 从etcd中获取network的配置信息。
  • 划分subnet，并在etcd中进行注册。
  • 将子网信息记录到/run/flannel/subnet.env中。

验证flannel网络

在etcd1节点上看etcd中的内容

etcdctl  --endpoints "http://172.20.72.55:2379" ls /coreos.com/network/subnets

查看flannel0的网络情况

ifconfig

flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.0.20.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::cce3:3aff:feaa:3eaf  prefixlen 64  scopeid 0x20<link>
        ether ce:e3:3a:aa:3e:af  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0

可以看到flannel0网卡的地址和etcd中存储的地址一样，这样flannel网络配置完成。

配置Docker

在各个节点安装好以后最后要更改Docker的启动参数，使其能够使用flannel进行IP分配，以及网络通讯。

flannel运行后会生成一个环境变量文件，包含了当前主机要使用flannel通讯的相关参数。

  • 查看flannel分配的网络参数
$ cat /run/flannel/subnet.env

FLANNEL_NETWORK=10.0.0.0/16
FLANNEL_SUBNET=10.0.2.1/24
FLANNEL_MTU=1472
FLANNEL_IPMASQ=true
  • 创建Docker运行参数
  • 使用flannel提供的脚本将subnet.env转写成Docker启动参数，创建好的启动参数位于/run/docker_opts.env文件中。
     
$ /opt/flannel/mk-docker-opts.sh -d /run/docker_opts.env -c

$ cat /run/docker_opts.env
DOCKER_OPTS=" --bip=10.0.2.1/24 --ip-masq=false --mtu=1472"
  • 修改Docker启动参数

修改docker的启动参数，并使其启动后使用由flannel生成的配置参数，修改如下:

# 编辑 systemd service 配置文件
$ vim /lib/systemd/system/docker.service
# 在启动时增加flannel提供的启动参数
ExecStart=/usr/bin/dockerd $DOCKER_OPTS
# 指定这些启动参数所在的文件位置(这个配置是新增的，同样放在Service标签下)
EnvironmentFile=/run/docker_opts.env

然后重新加载systemd配置，并重启Docker即可

$ systemctl daemon-reload
$ systemctl restart docker

此时可以看到docker0的网卡ip地址已经处于flannel网卡网段之内。

docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 10.0.20.1  netmask 255.255.255.0  broadcast 0.0.0.0
        inet6 fe80::42:7aff:fef8:cc8f  prefixlen 64  scopeid 0x20<link>
        ether 02:42:7a:f8:cc:8f  txqueuelen 0  (Ethernet)
        RX packets 8  bytes 536 (536.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 8  bytes 648 (648.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 1.1.1.1  netmask 255.255.252.0  broadcast 172.20.75.255
        inet6 fe80::f816:3eff:fe3c:edb  prefixlen 64  scopeid 0x20<link>
        ether fa:16:3e:3c:0e:db  txqueuelen 1000  (Ethernet)
        RX packets 692165330  bytes 233649765548 (217.6 GiB)
        RX errors 0  dropped 4  overruns 0  frame 0
        TX packets 688307647  bytes 264840991343 (246.6 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.0.20.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::cce3:3aff:feaa:3eaf  prefixlen 64  scopeid 0x20<link>
        ether ce:e3:3a:aa:3e:af  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0

到此节点etcd1的flannel安装配置完成了，其它两节点按以上方法配置完成就行了。

测试flannel

三台机器都配置好了之后，我们在三台机器上分别开启一个docker容器，测试它们的网络是否可相互联通的。

  • 从容器到到跨宿主机容器
  • 查看容器的ip cat /etc/hosts
  • PING 10.0.5.2 (10.0.5.2): 56 data bytes