7.3 Multi-PoD场景和设计

7.3.1 Multi-PoD方案的应用场景

7.3.1.1 Multi-PoD集群跨数据中心部署

集群服务分部在不同的数据中心,对外提供统一的访问接口业务IP由VIP取代。
服务器集群方案对数据中心网络有如下要求:

  • 低时延:RTT时延要求,对部署距离有限制
  • 二层互联:要求二层互联,对互联时延有限制
  • 网络高可靠:互联网络高可靠,避免脑裂发生

7.3.1.2 Multi-PoD虚拟机跨数据中心迁移

虚拟机跨数据中心热迁移对网络有如下要求:

  • 二层互联:IP/MAC地址配置,TCP会话状态等不发生改变
  • 低时延:虚拟机状态同步,要求低时延
  • 大带宽:虚拟机迁移要求高的带宽,保证状态数据和存储数据的快速迁移

    由于应用直接由虚拟机提供服务,因此无法借助SLB进行资源调配,只能将虚拟机迁到更空闲的物理机上运行

7.3.1.3 Multi-PoD网络级主备容灾

服务器集群跨数据中心部署的场景下:

  • 提供一个VIP接入服务
  • 各个数据中心的网关构成容灾关系

业务的虚拟机跨数据中心迁移的场景下:

  • 虚拟机网关要跨数据中心部署
  • 如若需要南北向业务安全,防火墙也需要跨数据中心部署

网络级主备容灾对网络有如下需求:

  • 主备出口
  • 主备防火墙

7.3.2 Multi-PoD方案的具体设计

7.3.2.1 Multi-PoD方案架构

Multi-PoD主要的场景就是在同城近距离部署数据中心,网络层面提供网络容灾功能

SDN 云网络数据中心架构 云数据中心的网络部署_数据中心


主要特征:

  • 单Domain关里面容灾:多个数据中心属于同一个资源池,在一个VXLAN域内
  • VPC跨数据中心部署
  • VPC出口跨数据中心主备容灾
  • VPC内防火墙数据中心主备部署:AC管理域向多个防火墙同时下发配置和策略
  • 当SDN控制器集群需要和管理平台对接时,管理平台可以拉远管理多个控制器下的数据中心。

7.3.2.2 Multi-PoD网络级容灾

Multi-PoD管理面容灾

配置主备SDN控制器

如果两个数据中心间的链路DOWN,则系统分裂,此时需要依赖仲裁服务,仲裁设备会判断脑裂的发生,依据预配置好的优先级,决定哪个SDN集群作为主集群,以防止双主集群的情况发生

SDN 云网络数据中心架构 云数据中心的网络部署_分布式_02

Multi-PoD主备出口

不同的VPC可以选择任何一种主备关系外网,两个数据中心的出口可实现基于VPC的负载分担

SDN 云网络数据中心架构 云数据中心的网络部署_网络_03

7.3.2.3 Multi-PoD安全策略同步设计

Multi-PoD方案推荐的防火墙部署方式是每个数据中心内的一组防火墙进行主备镜像,两个数据中心部署两组防火墙,SDN控制器向两组防火强下发相同的配置和策略

SDN 云网络数据中心架构 云数据中心的网络部署_分布式_04

7.3.2.4 Multi-PoD转发面

在控制面上,Leaf1和Leaf4之间的VXLAN隧道彼此为对方的下一跳,它们之间是通过BGP EVPN互相发布路由建立起隧道关系的。转发面的行为并没有特殊之处,请参考单数据中心的转发过程


SDN 云网络数据中心架构 云数据中心的网络部署_云网络_05

7.3.3 推荐的部署方案

1. 基础网络

Multi-PoD场景下对基础网络的主要诉求就是可以将基础网络拉通为一个端到端的VXLAN

SDN 云网络数据中心架构 云数据中心的网络部署_数据中心_06


企业单数据中心网络模型分为业务区,管理区和存储区3中,Multi-PoD网络的划分也是如此,业务区的网络采用的Spine-Leaf架构的SDN,管理区和存储区的网络为星型组网的传统网络。

业务网络平面

Spine-Leaf模型组网,服务器业务口双归到Server Leaf,防火墙和LB设备旁挂Service Leaf

管理网络平面

包括业务控制与网络管理,云平台,AC,VMM,网管等双归到管理接入交换机,仲裁服务器部署在第三站点(仲裁数据中心),仲裁数据中心核心交换机分别与两个数据中心内的管理核心交换机光纤(波分)直连。

存储网络平面

存储网络连接Server和存储,属于传统的网络

推荐两个数据中心的业务区Spine设备,两个数据中心的管理核心,两个数据中心的存储区核心通过光纤(波分)直连

2. 管理网络设计

管理区主要是部署云平台和SDN控制器

由于云平台要求DC1和DC2之间需要二层打通,所以两个数据中心的核心交换机需要配置VRRP,以保证两个数据中心的管理区服务器能够二层互通

SDN 云网络数据中心架构 云数据中心的网络部署_数据中心_07

3. 业务区Underlay路由设计

Underlay网络推荐采用划分区域的OSPF,区域划分如图所示:

SDN 云网络数据中心架构 云数据中心的网络部署_分布式_08

4. 业务区Overlay路由设计

Overlay网络主要考虑BGP网络的构建

偶遇两个数据中心是在一个BGP EVPN域,所以同单数据中心,所有主机和网段路由均可通过BGP扩散到两个数据中心,Spine作为RR扩散数据中心内的路由

Border Leaf与外部PE之间部署EBGP动态路由,根据External Network预配置的主备关系,预配置路由引入的优先级,实现对外部发布主备路由。主备路由通过BGP的其中一种属性实现

SDN 云网络数据中心架构 云数据中心的网络部署_云网络_09