一、k8s网络规划
（一）、k8s网络设计
1、每个Pod都拥有一个独立IP地址，Pod内所有容器共享一个网络命名空间。
2、集群内所有pod都在一个直接联通的扁平网络中，可通过IP直接访问。
（1）所有的Pod之间可以在不使用NAT网络地址转换的情况下相互通信。
（2）所有的Node之间可以在不使用NAT网络地址转换的情况下相互通信
（3）每个pod自己看到的自己的IP和其他pod看到的一致
（二）、k8s网络要求
k8s对网络的要求总的来说主要有两个基本要求，分别是：
（1）要能够为每一个node上的pod分配互相不冲突的IP地址
（2）要所有Pod之间能够互相访问
（三）K8s网络规范
CNI是由coreos提出的一个容器网络规范。已采纳规范的包括apache mesos,cloud foundry,kuberne,另外contiv networking,project calico和weave这些项目也为CNI提供插件。
CNI(容器网络接口)：
这是k8s中提供一种通用网络标准规范，因为K8s本身不提供网络解决方案。目前比较知名的网络解决方案有:
flannel
calico
canel
kube-router
.......
（四）k8s网络规范
（1）隧道方案
隧道方案在Iaas层的网络中应用也比较多，将Pod分布在一个大二层的网络规范下。网络拓扑简单，但随着节点规范的增长复杂度会提升。
weave:UDP广播，本机建立新的BR，通过PCAP互通
open vswitch(OVS)：基于Vxlan和GRE协议，但是性能方面损失比较严重
Flannel:UDP广播，Vxlan
Racher:IPsec
（2）路由方案
路由方案一般是从3层或者2层实现隔离和跨主机容器互通的，出了问题也很容易排查
Calico:基于BGP协议的路由方案，支持很细致的ACL控制，对混合云亲和度比较高。
Macvlan: 从逻辑和kernel层来看隔离性和性能最优的方案，基于二层隔离，所以二层路由器支持。大多数云服务商不支持，所以混合云上比较难以实现
- （五）k8s pod网络创建流程
（1）每个Pod除了创建时指定的容器外，都有一个kubelet启动时指定的基础容器
（2）kubelet创建基础容器，生成network namespace
（3）kubelet调用网络CNI drive,由它根据配置调用具体CNI插件（eg:calico,flannel）
（4）CNI插件给基础容器配置网络
（5）pod中其他的容器共享使用基础容器的网络
二、K8S网络
前言：K8S有三种网络三种IP
（一）k8s的网络通信问题：
1、容器间通信问题：即同一个pod内多个容器间通信，通常使用loopback来实现。
2、pod间通信：k8s要求，pod和pod之间通信必须使用pod-ip“直接”访问另一个pod-ip
3、pod与service通信：即pod-ip去访问clusterip,当然，clusterip实际上是IPVS或iptables规则的虚拟IP，是没有TCP/IP协议栈支持的。但不影响pod访问它。
4、service与集群外部client的通信，即k8s中提供的服务必须能被互联网上的用户所访问到。
（二）pod网络与service网络的初步认识
k8s为pod和service资源对象分别使用了各自的专用网络，pod网络由k8s的网络插件配置实现；而service的网络则由k8s集群给予实现。
为了提供更灵活的解决方案，k8s的网络模型需要借助外部插件实现，它要求任何实现机制都必须满足以下要求：
1）所有Pod之间均可不通过NAT机制而直接通信
2）所有节点均可不结果NAT机制而直接与所有容器通信。
3）容器自己使用的IP地址也是其他容器或节点直接看到的地址。换句话说，所有pod对象都位于同一个平面网络中，而且可以使用pod自身的地址直接通信
k8s使用的网络插件必须能为pod提供满足以上的要求，它需要为每个Pod配置至少一个特定的地址，即pod ip。
（1）IP是否存在于网卡上
pod ip地址实际存在于某个网卡（可以是虚拟设备）上；而service的地址却是一个虚拟IP地址，没有任何网络接口，在将其调度至后端pod对象。service的IP地址是集群提供服务的接口，也称为cluster ip。
（2）IP由哪个插件配置
pod网络机器IP由k8s的网络插件负责配置和管理，具体使用的网络地址可在管理配置插件时指定，如10.244.0.0/16网络；而cluster网络和IP则是由k8s集群负责配置和管理，如10.96.0.0/12网络
（3）总结：
总结起来，k8s集群至少应该包含三个网络，如下图所示。一个是各主机（master、node和etcd等）自身所属的网络，其地址配置与主机的网络接口，用于各主机之间的通信，例如，master与个node之间的通信。
此地址配置与k8s集群构建之前，它并不能由k8s管理，管理员需要于集群构建之前自行确定其地址配置及管理方式。
第二个是k8s集群上赚用于pod资源对象的网络，它是一个虚拟网络，用于为各pod对象设定IP地址等网络参数，其地址配置与pod中容器的网络接口之上。pod网络需要借助k8s插件或NCI插件实现，改插件可独立于部署于k8s集群之外，亦可托管于k8s之上，它需要在构建k8s集群时由管理员定义，而后在创建pod对象时由其自动完成各网络参数的动态配置。
第三个是专用与service资源对象的网络，它也是一个虚拟网络，用于为k8s集群之中的service配置IP地址，但此地址并不配置于任何主机或容器的网络接口之上，而是通过node之上的kube-proxy配置为iptables或ipvs规则，（际上是IPVS或iptables规则的虚拟IP）从而将发往此地址的所有流量调度至其后端的各pod对象之上。service网络在k8s集群创建时给予指定，而各service地址则在用户创建service时给予配置。
- 三种IP的定义与理解
三种IP定义：
1、node ip：node节点的IP地址，即物理机（虚拟机）的IP地址。
2、pod ip: pod的IP地址，即docker容器的IP地址（由flannel提供），此为虚拟IP地址
3、cluster ip：service的IP地址，此为虚拟IP地址。
三种IP的理解：
（1）node ip: 是物理机IP（或虚拟机ip）。每个service都会在node节点上开通过一个端口，外部可以通过http://nodeip:nodeport即可访问service里的pod提供的服务。
（2）cluster ip：是service的IP地址，此为虚拟ip地址，外部网络无法ping通，只有k8s集群内部访问使用；cluster ip仅仅作用于k8s service这个对象，并由k8s管理和分配IP地址；cluster ip无法被ping，他没有一个“实体网络对象”。单独的cluster ip不具备通信的基础，并且他们属于k8s集群这样一个封闭的空间；在不同service的pod节点在集群间相互访问可以通过cluster ip。
（3）pod ip：是每个pod的IP地址，一般由网络插件提供配置（flannel）,通常是一个虚拟的二层网络。同service下的pod可以直接根据podip相互通信；不同service下的pod在集群间pod通信要借助于cluster ip;
pod和集群通信，要借助于node ip。
（四）k8s的网络中pod的通信
1、通一个pod内的容器间通信：
因为pause容器提供pod内网络共享，所以容器直接可以使用localhost(lo,loopback，环回侦听端口)访问其他容器。
2、各pod彼此之间的通信（两个pod在一台主机上面，两个pod分布在不同主机之上）
1）两个pod在一台主机上面：通过dockere默认的docker网桥互联容器（docker0）
2）两个pod分布在不同主机之上：通过CNI插件实现，eg: flannel,calico
3、pod与service之间的通信
service分配的IP叫做cluster ip,是一个虚拟IP（相对固定，除非删除service），ip只能在k8s集群内部使用（clusterip模式）；如果service需要对外提供，只能使用nodeport方式映射到主机上，使用主机的ip和端口对外提供服务（nodeport模式）。
节点上面有个kube-proxy进程，这个进程会从master apiserver、etcd获取信息，感知service和endpoint（用来记录一个service对应的所有pod的访问地址。）的创建，然后做两个事：
1）为每个service在集群中每个节点上面创建一个随机端口，任何此端口上面的连接会代理到相应的pod。
2）集群中每个节点安装iptables/ipvs规则，用于clusterip+port路由到上一步定义的随机端口上。
所以集群中每个Node节点都有service的转发规则：iptables -L -n -t filter
备注：
Linux网络名词的解释：
（1）网络的命名空间：Linux在网络栈中引入网络命名空间，将独立的网络协议栈隔离到不同的命名空间中，彼此间无法通信。
（2）veth设备对（v+eth）:veth设备对的引入实现在不同网络命名空间的通信。
（3）iptable/netfilter: netfilter负责在内核中执行各种挂接的规则（过滤、修改、丢弃等），运行在内核模式中；iptables模式是在用户模式下运行的进程，负责协助维护内核中netfileter的各种规则表；通过两者的配合来实现整个linux网络协议中灵活的数据包处理机制。
（4）网桥：网桥是一个二层网络设备，通过网桥可以将Linux支持的不同端口连接起来，并实现类似交换机那样的多对多的通信。
（5）路由：linux系统包含一个完整的路由功能，当IP层在处理数据发送或转发的时候，会使用路由表来决定发往哪里。
