kubernetes网络方案 kubernetes网络权威指南

转载

网线小游侠 2023-08-14 13:44:07

文章标签 kubernetes网络方案运维操作系统后端 Pod 文章分类 kubernetes 云计算

1 Kubernetes网络模型

基本原则：每个Pod都拥有一个独立IP，而且假定所有Pod都在一个可以直接连通的、扁平的网络空间中。

基于基本原则，用户不需要额外考虑如何建立Pod之间的连接，也不需要考虑容器端口映射到主机端口等问题
同一个Pod内部的所有容器共享一个网络堆栈即网络命名空间，Pod内的所有容器的端口是共享的
Kubernetes对集群网络要求：

所有容器都可以在不用NAT的方式下同别的容器通信
所有节点都可以在不用NAT的方式下同所有容器通信，反之亦然
容器的地址和别人看到的地址是同一个

2 Docker的网络基础

2.1 网络命名空间

Linux在网络栈中引入网络命名空间(Network Namespace)为了支持网络协议栈的多个实例，处于不同命名空间的网络栈是完全隔离的
Linux的网络命名空间内可以有自己独立的路由表及独立的Iptables/Netfilter设置来提供转发、NAT及IP包过滤等功能
需要纳入命名空间的元素有进程、套接字、网络设备等

2.1.1 网络命名空间的实现

linux实现网络命名空间的核心是让网络栈的全局变量变成一个Net Namespace变量的成员，然后协议栈的函数调用加入一个Namespace的参数
网络空间链表连接所有网络空间，所有网络栈变量都放入到网络空间
所有的网络设置都只能属于一个命名空间，通常物理设置只能关联到root这个命名空间
网络命名空间代表是一个独立的协议栈，所以他们之间是相互隔离的彼此无法通信协议栈内部看不到对方

2.1.2 网络命名空间的操作

使用iproute2系列配置工具中的ip命令操作

ip netns add <name>     #创建一个命名空间

ip netns exec <name> <command>  #在命名空间内执行命令

ip netns exec <name> bash   #执行多个命令先进入sh

2.2 Veth设备对

Veth设备都是成对出现的，可以实现不同网络命名空间之间进行通信

在Veth设置的一端发送数据时它会将数据直接发送到另一端，并触发另一端的接收操作

2.2.1 Veth操作命令

ip link add veth0 type veth peer name veth1     #创建veth设备对

ip link show    #查看所有网络接口

ip link set veth1 netns netns1  #将veth1挂载到netns1命名空间下

ip link set dev veth1 up    #启动veth1设备

2.2.2 Veth设备对如何查看对端

使用ethtool工具查看

ip netns exec netns1 ethtool -S veth1   #查询netns1下的veth1的对端，看peer_ifindex

ip netns exec netns2 ip link    #查看peer_ifindex对应的值

2.3 网桥

网桥是一个二层网络设备，可以解析收发报文，读取目标MAC地址信息和自己记录的MAC表结合，来决策报文转发端口
Linux中多网卡可以通过网桥提供这些设备之间相互转发数据
网桥处理转发和丢弃报文外还可以将报文发送到上层(网络层)

2.3.1 Linux网桥的实现

Linux内核通过一个虚拟网桥设备(Net Device)来实现桥接，其可以绑定若干个以太网接口设备，从而将它们桥接起来
Net Device可以有一个IP

3 Docker的网络实现

docker的4类网络模式：

1. host
2. container
3. none
4. bridge，默认设置

只介绍bridge模式

Docker Daemon第一次启动时将创建一个虚拟网桥默认名为docker0，同时给其分配一个子网
针对Docker中的容器都会创建一个Veth设备对，一端关联网桥一端使用Linux的网络命名空间映射到容器内的eth0设备，然后从网桥的地址段内给eth0分配一个IP
为了让容器跨主机通信就必须在主机的地址上分配端口，然后通过这个端口路由或代理到容器上

4 Kubernetes的网络实现

4.1 容器到容器的通信

同一个Pod内的容器共享同一个网络命名空间，直接使用localhost即可

4.2 Pod之间的通信

每个Pod都有一个真实的全局IP，每个Node内的不同Pod之间可以直接采用对方Pod的Ip通信

4.2.1 同一Node内Pod通信

同一Node内的Pod通过Veth设备对连接到同一个docker0网桥上，Pod的IP也都是该网桥分配的
Pod内的默认路由都是docker0的地址，所有数据都通过docker0转发

4.2.2 不同Node的Pod通信

Pod的地址是与docker0在同一个网段内，而docker0网段与宿主机网卡的IP网段完全不同，而通信只能走宿主机的网卡，因此通信必须通过宿主机IP来进行寻址和通信
Kubernetes会记录所有正在运行Pod的IP分配信息，并将其写入etcd作为Service的Endpoint
支持不同Node之间Pod的通信条件：

整个Kubernetes集群中Pod的IP不能冲突
能将Pod的IP与Node的IP关联起来，通过这个关联实现相互访问

解决：

Kubernetes部署时多docker0的IP地址进行规划保证每个Node上的docker0地址不冲突
通信时先找到Node的IP将数据发送到这个网卡上，然后让宿主机将相应数据转到具体docker0上

4.3 Pod到Service的通信

k8s在创建服务时为服务分配一个虚拟IP，客户端通过该IP访问服务，服务则负责将请求转发到后端Pod上
Service是通过kube-proxy服务进程实现，该进程在每个Node上均运行可以看作一个透明代理兼负载均衡器
对每个TCP类型Service，kube-proxy都会在本地Node上建立一个SocketServer来负责接受请求，然后均匀发送到后端Pod默认采用Round Robin负载均衡算法
Service的Cluster IP与NodePort等概念是kube-proxy通过Iptables的NAT转换实现，kube-proxy进程动态创建与Service相关的Iptables规则
kube-proxy通过查询和监听API Server中Service与Endpoints的变化来实现其主要功能，包括为新创建的Service打开一个本地代理对象，接收请求针对针对发生变化的Service列表，kube-proxy会逐个处理，处理流程：