腾讯云容器服务 TKE 推出新一代零损耗容器网络

精选原创

腾讯云原生 2020-11-19 11:06:56 ©著作权

文章标签 kubernetes 容器服务容器网络独立网卡云计算 文章分类 云服务云计算

©著作权归作者所有：来自51CTO博客作者腾讯云原生的原创作品，请联系作者获取转载授权，否则将追究法律责任

随着容器技术的发展成熟，越来越多的组件迁移到容器，在技术迁移过程中，数据库，游戏，AI 这些组件对容器网络性能（时延，吞吐，稳定性）提出了更高的要求。为了得到更优的时延和吞吐表现，各大云厂商都在致力于缩短节点内容器的网络访问链路，让数据包能尽可能快地转发到容器网卡。

腾讯云容器服务 TKE 借助智能网卡推出下一代容器网络方案，该方案实现了一个 Pod 独占一张弹性网卡，不再经过节点网络协议栈（default namespace），极大缩短了容器访问链路，缩短了访问时延，并使 PPS 可以达到整机上限。该方案实现了短链接场景下 QPS 相比之前容器网络方案（策略路由方案，网桥方案）提升 50%-70%；长链接场景下 QPS 提升 40%-60%。

由于不再经过节点网络协议栈，传统基于 iptables 和 IPVS 的 ClusterIP service 访问方案不能直接适用于该方案。为了实现该方案下 Pod 可以直接访问 ClusterIP service，TKE 推出 share-NS IPVS 方案，使得在容器网络命名空间下也可以访问到节点网络协议栈的 IPVS 规则，同时配合 CLB 直通 Pod，实现了完整意义上的弹性网卡直通。

该方案实现了针对 ClusterIP service 短链接场景下 QPS 相比 iptables 方案提升 40%-60%，IPVS 方案提升 70%-90%；长链接场景下 QPS 相比 iptables 方案提升 30%-50%，IPVS 方案提升 50%-70%。

新一代容器网络方案推出背景

在介绍新一代容器网络方案前，先和大家介绍一下 TKE 现有网络方案，和现有网络方案面临的挑战，以及客户新诉求。

现有网络方案介绍

腾讯云容器服务 TKE 目前提供了两种容器网络模式可供用户选择使用。

**GlobalRouter 模式：**基于 vpc 实现的全局路由模式，目前是 TKE 默认网络方案。该模式依托于 vpc 底层路由能力，不需要在节点上配置 vxlan 等 overlay 设备，就可以实现容器网络和 vpc 网络的互访，并且相比于 calico/flannel 等网络方案，因为没有额外的解封包，性能也会更好。

VPC-CNI 模式： TKE 基于 CNI 和 VPC 弹性网卡实现的容器网络能力，适用于 Pod 固定 IP，CLB 直通 Pod，Pod 直绑 EIP 等场景。该网络模式下，容器与节点分布在同一网络平面，容器 IP 为 IPAMD 组件所分配的弹性网卡 IP。

GlobalRouter 和 VPC-CNI 模式目前已服务 TKE 上万企业用户，两种网络模式也存在一定使用限制见：如何选择TKE网络模式，随着客户使用场景的丰富， TKE 的客户对容器网络又提出了更高的要求。

客户对 TKE 网络方案的新需求

除了在为腾讯外部 TKE 客户提供容器网络能力之外，腾讯云容器服务 TKE 作为腾讯内部业务云原生的底座，在支持腾讯内部自研业务上云如 QQ、腾讯会议、游戏、CDB、大数据等业务的过程中也收到以下的需求点：

在 VPC-CNI 模式的基础上进一步降低资源损耗，降低网络时延，提高网络吞吐（关键点）
支持 Pod 级别的安全隔离
支持 CLB 直通Pod，不再经过 NodePort 转发，提升转发性能并拥有统一的负载均衡视图

基于以上场景，TKE 团队联合底层腾讯云 VPC 团队、虚拟化团队推出了新一代的独立网卡的 VPC-CNI 方案。

TKE新一代网络方案介绍

TKE 新一代网络方案在原有 VPC-CNI 模式单网卡多 IP 模式的基础上，进阶为容器直接独享使用弹性网卡，无缝对接腾讯云私有网络产品的全部功能，同时在性能做了极大的提升（详情见下文性能介绍）。

压测数据说明

为了得到不同网络方案下的 QPS，这里控制变量，让不同网络方案的 nginx Pod 运行在同一个节点，使用 wrk 分别压测不同 Pod，并让服务端节点的 cpu 接近100%。
为了得到不同 Service 方案下的 QPS，这里控制变量，让 kube-proxy 和 wrk Pod 运行在同一节点，压测相同后端，并让客户端节点的 cpu 接近100%。