1 项目背景
1.1 项目背景
某股份有限公司是一家拥有一万多人的大型企业，拥有多个数据中心核心机房，由于建设的数据中心周期时间较久，核心机房的设备已经运作时间较长，而且设备硬件偏旧。已经无法 支持未来的生产系统、业务系统部署需求。无法支撑核心业务快速上线时间，整个数据中心机房需要进行转型化升级改造来适应未来数字化业务的发展。
1.2 项目目标
基于以上项目背景和需求，本次数据中心网络建设设计需要满足未来较长一段时期的基础设施部署需求，并借助数据中心网络部署的独立性，运用 VXLAN 、 SDN 主流技术对当前数据中心网络结构进行优化，以适应未来网络架构的发展需求。本项目的具体目标如下：
1、数据中心机房网络基础设施。
2、数据中心网络至少需要支持未来的生产系统、业务系统部署需求。业务上线时间由原先的平均 30 天，缩短到分钟级别。
3、结合 XX 大型 IT 总体的规划，对数据中心的网络结构进行必要的优化，以适应新时期的业务部署、安全运行、提高 IT 管理水平的需求，网络方案要保持一定的先进性。
4、采用先进的数据中心设计理念，能够支持新一代应用架构，适用于未来 5-7 年的 IT 技术发展，可以最大程度的保护数据和业务连续性。
1.3 项目需求
1.3.1 业务需求
如何更加快速地部署业务应用，为企业业务系统提供更及时、更便利的网络服务，提升企业的运行效率与竞争实力，也是当前企业数据中心使用中面临的挑战之一。因此，当前数据中心的建设必须考虑如何实现快速上线业务、快速响应需求、提高部署效率。
1.3.2 网络需求
服务器虚拟化使高效利用 IT 资源，降低企业运营成本成为可能。服务器内多虚拟机之间的交互流量，传统网络设备无法感知，也不能进行流量监控和必要的策略控制。虚拟机的灵活部署和动态迁移需要网络接入侧做相应的调整，在迁移时保持业务不中断。虚拟机迁移的物理范围不应过小，否则无法充分利用空闲的服务器资源。迁移后虚拟机的 IP 地址不改变，以保持业务不中断，因此对数据中心网络提出了大二层的需求。
1.3.3 安全需求
数据中心对网络安全性的需求是最基本的需求。安全性设计包括物理空间的安全控制及网络的安全控制。系统设计从整体方案上需要考虑端对端的安全，保证安全、绿色的使用资源。
1.3.4 运维需求
高效的运维是数据中心运营成功的基础。数据中心网络设备和 IT 资源呈现数量大、厂商多、运行配置复杂的特点，如何简化企业数据中心的运维管理、降低人工运维成本，是当前企业数据中心发展面临的重要挑战。
在采用虚拟化技术后，数据中心网络延伸到服务器内部，如何对包括虚拟设备在内的多类设备进行统一管理、实现网络流量的精细化管理和网络故障的快速定位，都是对云计算时代数据中心运维的基本需求。
在数据中心业务场景中，面向应用的运维管理目前正变得越来越迫切，如应用间 / 内的交互数据统计，带宽占用情况，数据转发路径链路质量，会话连接故障分析等精细化运维管理正成为用户广泛的诉求，上述运维手段的实现将对减轻人工运维压力，快速故障响应，提升用户业务体验等方面都将获得显著效果。
随着企业业务的快速扩展需求， IT 做为基础设施，快速部署和减少投入成为主要需求，云计算可以提供可用的、便捷的、按需的资源提供，成为当前企业 IT 建设的常规形态，而在云计算中大量采用和部署的虚拟化几乎成为一个基本的技术模式。部署虚拟机需要在网络中无限制地迁移到目的物理位置，虚机增长的快速性以及虚机迁移成为一个常态性业务。服务器虚拟化在经过多年的发展后已经越来越成熟，被应用的领域也越来越广泛。它有效降低了成本，提高了资源利用率和可用性，同时使运维效率也得到了较大提升，进而缓解了信息化建设所面对的诸多压力。虽然服务器虚拟化的普及彻底改变了应用的调配和管理，但是，这些动态工作负载所连接的网络却未能跟上它的发展步伐。网络调配仍然极其缓慢，甚至一个简单的拓扑结构的创建也需要数天或数周时间。
传统的网络已经不能很好满足企业迈向云时代的这种需求，面临着如下挑战：
2.1 业务规划与网络架构紧耦合
传统数据中心业务规划分区分域， IP 地址网段划分则一般以 POD 为单位，一个 POD 内为一个网段，规划部署同一种业务。此种网络架构规划清晰，维护简单，但是不足之处就是业务扩容受限，假设业务 1 部署在 POD1 内，如果 POD1 内无法扩容，需要把业务部署在其他的机架上时则要求 POD1 与其他机架二层 Trunk 互通，要对网络做大量的配置更改。
2.2 东西流量受到传统网络架构限制
传统网络架构以三层为主，主要是以控制南北数据流量为主，由于数据中心虚拟机的大规模使用，虚拟机迁移的特点以东西流量为主，在迁移后需要其 IP 地址、 MAC 地址等参数保持不变，如此则要求业务网络是一个二层网络。但已有二层技术存在下面问题：
生成树 (STP Spaning Tree Protocol) 技术，部署和维护繁琐，网络规模不宜过大，限制了网络的扩展。
各厂家私有的 IRF/vPC/ 等网络虚拟化技术，虽然可以简化部署、同时具备高可靠性，但是对于网络的拓扑架构有严格要求，同时各厂家不支持互通，在网络的可扩展性上有所欠缺，只适合小规模网络部署，一般只适合数据中心内部网络。
大二层网络技术 TRILL/SPB/FabricPath 等，虽然能支持二层网络的良好扩展，但对网络设备有特殊要求，网络中的设备需要软硬件升级才能支持此类技术，带来部署成本的上升。
2.3 业务规模受网络设备规格限制
云业务中虚拟机的大规模部署，使二层地址（ MAC ）表项的大小限制了云计算环境下虚拟机的规模，特别是对于接入设备而言，二层地址表项规格较小，限制了整个云计算数据中心的业务规模。
2.4 传统安全部署模式的限制
传统模式下的安全部署都是基于路径基于拓扑的安全策略部署，安全业务必须根据业务的要求配置好 VLAN 、 IP 、引流策略，而且这些策略都是手工配置的，如果业务变更，那么安全策略的配置也必须跟着重新配置。另外传统安全都是基于物理硬件设备部署的，导致在业初期由于业务量小使设备利用率很低造成资源浪费，而且业务后期随着业务量的增量可能又会出现性能不够用的情况，安全设备的性能无法根据业务的要求而动态的扩展性能或者释放资源。
2.5 不能适应大规模租户部署
云业务需要大量租户之间的隔离，当前的主流二层网络隔离技术为 VLAN ，但是在大量租户部署时会有两大限制：一是 VLAN 可用的数量为 4K 左右，远远不能满足公有云或大型私有云的部署需求；二是如果在大规模数据中心部署 VLAN ，会使得所有 VLAN 在数据中心都被允许通过，会导致任何一个 VLAN 的广播数据会在整个数据中心内泛滥，大量消耗网络带宽，同时带来维护的困难。
3.1 数据中心演进节奏
DC1.0 是传统数据中心所采用模块化、层次化的建设模式，针对不同类型及批次的业务进行分区分期建设。这种 “ 烟囱式 ” 的建设方式存在着重复投资、资源利用率低、建设及交付周期长、网络规划复杂僵化、业务扩容困难等问题。
随着计算虚拟化技术的普及应用，数据中心实现了计算资源池化，不同业务可以按需申请计算资源；同时，为了满足计算虚拟化对网络技术提出的大二层互通等新需求，开始应用 VxLAN 等网络虚拟化技术，数据中心建设进入了 DC2.0 。在这个阶段， IT 各部门负责前期统一规划建设和定期扩容，业务部门按需申请池化资源配额，项目建设及扩容不再和业务部门具体项目强相关。计算和网络虚拟化技术的融合，有效提高了资源利用率，缩短了资源交付周期。
随着云计算技术的发展，数据中心跨入 DC3.0 时代。云平台作为面向业务部门的用户界面，统一整合了对数据中心的计算、存储、网络池化资源，同时提供实时自助申请界面，帮助业务部门将业务开通时间缩短到分钟级别，真正实现了面向应用的自动化。
3.2 数据中心解决方案架构组成
3.3 数据中心解决方案特点
新 IT 业务平面和运维平面无缝融合，支撑面向应用的自动化
Fabric Director 作为面向监控运维的基础架构管理平面，负责数据中心物理资源的部署、纳管，物理及虚拟资源的运维和监控；云平台作为面向交付的云 & 租户管理平面，负责数据中心虚拟资源部署，同时为 PaaS 及 SaaS 层面的应用自动化部署提供支持。两者以数据中心资源生命周期管理为轴，实现了无缝融合。
开放、自动化、可编程的下一代网络架构，适用多种典型场景
1、SDN 场景：SDN 控制器承上启下，北向提供完整的 Restful API ，通过 Neutron 插件与 OpenStack 对接，同时支持各类第三方云平台对接；南向纳管 Openflow 及 EVPN 两种组网形式；是当前数据中心解决方案的主打场景
2、OpenStack Plugin 场景：无 SDN 控制器，由网元上运行的 Comware 平台直接对接 OpenStack Neutron 组件
3、第三方自动化软件场景：针对特定用户需求，支持 Ansible 、 Puppet 等第三方自动化软件，为用户业务提供更多灵活性
完整的软件定义网络模型 SDN ＋，助力用户自描述网络
用户通过云平台申请计算资源、存储资源、租户虚拟网络，其中的计算和存储资源是业务部署需要，而虚拟网络负责将计算和存储资源连接起来。为了满足不同业务的网络互通及隔离需求，必须支持完整的软件定义网络模型，包括：
1、提供完整的网络抽象模型
具备完整网络描述能力，抽象端口、 L2 、 L3 网络、 L4~L7 层网络服务。
2、基于网络抽象模型，用户自描述 / 自定义网络
租户虚拟网络根据自身需求可灵活自定义，而物理网络可保持不变。
3、分配、管控、呈现以及运维自定义网络
网络资源可基于租户、租户不同业务进行细分；支持查看租户虚拟网络拓扑和物理网络拓扑的映射关系，并基于该统一拓扑进行运维和排障。
VCF Fabric 网络架构在实现完整的软件定义网络模型的同时，还提供了多样化的网络转发控制平面模型和 Overlay 组网方式，充分满足用户各类网络场景需求。
4.1 方案设计原则
某大型企业数据中心项目从业务实际需求出发，充分利用信息技术优势，从大处着眼，小处着手，与用户共同建设一个目标明确、管理清晰、执行顺利、平稳运行的项目，在系统的建设和管理过程中，我们将遵循以下原则：
1 、注重顶层设计、统筹规划，分步实施原则
在项目的整体规划和总体设计阶段做好统一设计、统一标准、统一规范，然后分层、分阶段、逐步建设，关注每个阶段的产出和成果，在统一的目标下逐步完成整个项目的策略、需求、分析、设计、研发、测试、部署、试运行、培训、运维等工作。同时充分发挥各类项目相关人的知识能动性，提供信息化建设的咨询指导。
2 、强化应用建设，突出应用，关注实用原则
数据中心建设项目的建设效果和建设思路直接体现了建设项目最直接的产出。因此，我们在建设项目过程中，将重点突出项目的应用目的，关注实用价值，以应用和需求为主导，并在建设的过程中基于业务服务的要求、 IT 技术的发展，边建设、边开发、边应用、边完善，让应用的实际效果作为项目直接驱动要素。
3 、追求架构先进、技术成熟，扩展性强原则
项目建设中所采用的技术架构，在一定程度上影响着项目的稳定性，也影响到项目未来的发展。因此在实施过程中我们将放眼长远，在保证可靠的基础上，尽量采用先进的网络技术、应用平台和开发工具，使数据中心系统建设项目具有较长的生命周期。
4 、经济实用、节约成本原则
无论在产品的选型、技术的选择中，我们都要考虑成本的约束，其中不仅考虑当前采购的经济性，还要考虑系统长期运维的经济性，即系统的总拥有成本，尽力选择既经济可行又长期保障的产品和技术。
5 、确保安全、保护隐私原则
在系统建设中要充分考虑到系统安全性以及敏感信息的隐私性，避免数据出现在共享信息里，从网络系统、硬件子系统、软件子系统的设计都要充分考虑安全保密，采用安全可靠的技术，保证建成的系统稳定运行。
6 、重视资源、强调成长原则
在项目建设的过程中，注重信息资源和人力资源的管理，在数据资源方面，注重网络资源共享的效率性，实现网络互连、信息互通、资源共享，应用交互与协同的网络环境，同时注重各级人力资源配置的合理性，做好培训工作，与甲方的工作人员共同成长，充分发挥资源效能。
7 、保护投资、充分利旧原则
在本项目建设过程中，充分利用现有资源，防止新铺摊子和重复建设，所有建设内容都依托现有条件和队伍进行建设，充分利用现有的资源、成果、设备，不搞重复建设。
8 、先进性和成熟性
遵守先进性、可行性、成熟性，以保证系统的互操作性、兼容性、可维护性、可扩展性，并对前期投资有较好的保护。
9 、一致性和复用性
本项目建设应充分考虑业务需求，要最大限度利用已有的资源，以减少重复投资，提高投资收益率。
10 、实施有序性
统筹协调，建立相关管理制度，加强管理和指导，确保协调推进，有序实施，保证项目能够顺利、按时完成。
4.2 整体组网设计
典型的 ADDC 组网图如上图所述，在这个图中，转发层的设备包括 vswitch 虚拟交换机、 vxlan 二层网关、 vxlan 三层网关、 vFW 、 vLB 、其他普通的路由交换设备。控制层设备为 VCF 控制器。管理层设备为 VCFD （ ADDC Director ）。控制层设备和管理层设备可以集中部署在网络管理区。物理设备由 Director 进行管理，可一键完成基础 underlay 网络、服务器和存储的自动化部署；在业务网络层面，通过 VXLAN 技术构建的 Overlay 网络可以实现与物理网络的解耦，大大提高网络的灵活性。VXLAN 网络通过 SDN 控制器采用下发流表的方式指导数据转发；
对于一个用户的数据中心来说，服务器包含两种类型，即虚拟化服务器和非虚拟化服务器，虚拟化的服务器可以采用 vswitch 作为 vtep ，物理服务器则采用支持 Vxlan 的物理交换机作为 vtep 。控制平面借助高可靠的 SDN Controller VCFC 集群实现管理和配置， VCFC 控制器集中控制 vtep 和 vxlan 二层网关、 vxlan 三层网关。Fabric 区域网络的所有设备由 SDN 控制器 +VCFD 通过标准协议集中管理， VCFC 负责控制平面， VCFD 负责管理平面，减少了传统设备管理的复杂性。同时当用户业务扩展时，通过集中管理用户可以方便快速的部署网络设备，完成 Overlay 和 Underlay 网络的自动化交付，便于网络的扩展和管理。
核心 Spine 设备核心系列交换机主要提供 VXLAN 三层网关功能，网关之间可以采用堆叠方式部署；支持 VXLAN 报文的封装与解封装，并根据内层报文的 IP 头部进行三层转发，支持跨 VXLAN 之间的转发，支持 VXLAN 和传统 VLAN 之间的互通。
如果采用网络 Overlay 方式部署，即 VXLAN 协议由物理网络交换机处理，作为 vSwith 下的 VM 或物理服务器的接入设备；采用该方式可以最大利用硬件交换机的芯片高速转发，对于新建的数据中心推荐或增加新的业务单元模块时推荐使用。
如果采用主机 Overlay 方式部署，即 VXLAN 协议由虚拟网络交换机处理，虚拟交换机可以提供 VXLAN 协议封装、解封装功能，支撑 VM 接入到 SDN 的 Overlay 网络。用该方式可以最大利用现有的网络交换机进行部署，无需更换，对于已建成的数据中心 SDN 改造场景可以采用。
服务链功能主要是用来提供租户内东西向流量的安全服务，此功能由硬件安全设备或基于 NFV 形态的软件安全设备来承担；控制器支持集中控制整个服务链的构建与部署，将 NFV 形态或硬件形态的的服务资源抽象为统一的服务资源池，数据需要按照业务逻辑所定义的顺序，依次经过这些服务节点，实现服务链的自定义和统一编排。
4.3 数据中心 SDN 网络基础架构
Overlay 网络的基础架构如下图所示：
Overlay 网络的基础架构
VM（ Virtual Machine ，虚拟机）
在一台服务器上可以创建多台虚拟机，不同的虚拟机可以属于不同的 VXLAN 。属于相同 VXLAN 的虚拟机处于同一个逻辑二层网络，彼此之间二层互通。
两个 VXLAN 可以具有相同的 MAC 地址，但一个段不能有一个重复的 MAC 地址。
VTEP（ VXLAN Tunnel End Point ， VXLAN 隧道端点）
VXLAN 的边缘设备，进行 VXLAN 业务处理：识别以太网数据帧所属的 VXLAN 、基于 VXLAN 对数据帧进行二层转发、封装 / 解封装 VXLAN 报文等。
VXLAN 通过在物理网络的边缘设置智能实体 VTEP ，实现了虚拟网络和物理网络的隔离。VTEP 之间建立隧道，在物理网络上传输虚拟网络的数据帧，物理网络不感知虚拟网络。VTEP 将从虚拟机发出 / 接受的帧封装 / 解封装，而虚拟机并不区分 VNI 和 VXLAN 隧道。
VNI (VXLAN Network Identifier ， VXLAN 网络标识符 )
VXLAN 采用 24 比特标识二层网络分段，使用 VNI 来标识二层网络分段，每个 VNI 标识一个 VXLAN ，类似于 VLAN ID 作用。VNI 占用 24 比特，这就提供了近 16M 可以使用的 VXLANs 。VNI 将内部的帧封装（帧起源在虚拟机）。使用 VNI 封装有助于 VXLAN 建立隧道，该隧道在第 3 层网络之上覆盖率第二层网络。
VXLAN 隧道
在两个 VTEP 之间完成 VXLAN 封装报文传输的逻辑隧道。业务入隧道进行 VXLAN 头、 UDP 头、 IP 头封装后，通过三层转发透明地将封装后的报文转发给远端 VTEP ，远端 VTEP 对其进行出隧道解封装处理。
VSI（ Virtual Switching Instance ，虚拟交换实例）
VTEP 上为一个 VXLAN 提供二层交换服务的虚拟交换实例。
4.4 详细设计内容
4.4.1 Overlay
Overlay 基础概念
Overlay 在网络技术领域，是一种网络架构上叠加的虚拟化技术模式，其大体框架是对基础网络不进行大规模修改的条件下，实现应用在网络上的承载，并能与其它网络业务分离，并且以基于 IP 的基础网络技术为主。
Overlay 网络是指建立在已有网络上的虚拟网，逻辑节点和逻辑链路构成了 Overlay 网络。
Overlay 网络是具有独立的控制和转发平面，对于连接在 overlay 边缘设备之外的终端系统来说，物理网络是透明的。
Overlay 网络是物理网络向云和虚拟化的深度延伸，使云资源池化能力可以摆脱物理网络的重重限制，是实现云网安融合的关键。
Overlay 网络概念图
Overlay 技术标准
IETF 在 Overlay 技术领域提出 VXLAN 、 NVGRE 、 STT 三大技术方案。大体思路均是将以太网报文承载到某种隧道层面，差异性在于选择和构造隧道的不同，而底层均是 IP 转发。VXLAN 和 STT 对于现网设备而言对流量均衡要求较低，即负载链路负载分担适应性好，一般的网络设备都能对 L2-L4 的数据内容参数进行链路聚合或等价路由的流量均衡，而 NVGRE 则需要网络设备对 GRE 扩展头感知并对 flow ID 进行 HASH ，需要硬件升级；STT 对于 TCP 有较大修改，隧道模式接近 UDP 性质，隧道构造技术属于革新性，且复杂度较高，而 VXLAN 利用了现有通用的 UDP 传输，成熟性极高。
所以总体比较， VLXAN 技术具有更大优势，而且当前 VLXAN 也得到了更多厂家和客户的支持，已经成为 Overlay 技术的主流标准，所以本文的后续介绍均以 VXLAN 技术作为标准进行介绍， NVGRE 、 STT 则不再赘述。
VXLAN （ Virtual eXtensible LAN ，可扩展虚拟局域网络）是基于 IP 网络、采用“ MAC in UDP ”封装形式的二层 VPN 技术，具体封装的报文格式如图 2 所示。VXLAN 可以基于已有的服务提供商或企业 IP 网络，为分散的物理站点提供二层互联功能，主要应用于数据中心网络。
VXLAN 具有如下特点：
使用 24 位的标识符，最多可支持 16M 个 VXLAN ，解决了传统二层网络 VLAN 资源不足的问题。
基于 IP 网络组建大二层网络，使得网络部署和维护更加容易，并且可以好地利用现有的 IP 网络技术，例如利用等价路由负载分担。
只有边缘设备需要进行 VXLAN 处理， VXLAN 业务对网络中间设备透明，只需根据 IP 头转发报文，降低了网络部署的难度和费用。
VXLAN 工作原理
VXLAN 是一个网络封装机制，它从两个方面解决了移动性和扩展性：
它是 MAC in UDP 的封装，允许主机间通信通过一个 Overlay 网络，这个 Overlay 网络可以横跨多个物理网络。这是一个独立于底层物理网络的逻辑网络，虚机迁移时不再需要改动物理设备的配置。
VXLAN 用 24-bit 的标识符，表示一个物理网络可以支持 1600 万个逻辑网段。数量级大大超过数据中心 VLAN 的限制（ 4094 ）
在 ADDC 体系结构中，封装工作在 VTEP 上执行， VTEP 可以是 vswitch ，或者是物理设备。这样， VXLAN 对主机和底层三层网络来说都是透明的。VXLAN 和 非 VXLAN 主机（例如，物理服务器或 Internet 路由器）之间的网关服务由 VXLAN 三层网关设备执行。Vxlan 三层网关将 VXLAN 网段 ID 转换为 VLAN ID ，因此非 VXLAN 主机可以与 VXLAN 虚拟服务器通信。
Overlay 网络分为 2 个平面，数据平面和控制平面。
Overlay 数据平面提供
提供数据封装，基于承载网络传输 ， VXLAN 使用 MAC over UDP 封装
Overlay 控制平面提供
1 、服务发现（ Service Discovery ）
Overlay 边缘设备如何发现彼此，以便建立 Overlay 隧道关系
2 、地址通告和映射（ Address Advertising and Mapping ）
Overlay 边缘设备如何交换其学习到的主机可达性信息（包括但不限于 MAC 地址、或 IP 地址、或其他地址信息）
Overlay 边缘设备到主机的可达性问题，物理网络和 Overlay 网络地址映射
3 、隧道管理（ Tunnel Management ）
ADDC 1.0 强控解决方案 VXLAN 的控制平面是通过 SDN 控制器学习 , 由于控制器了解整 网的拓扑结构， VM 管理器知道虚拟机的位置和状态，这样，通过控制器与 VM 管理器的联动，就可以很容易实现基于控制器完成控制平面的地址学习，然后通过标准 OpenFlow 协议下发到网络设备。控制器支持多个节点集群，提供了高可靠性和极强的扩展性。
4.4.2 主机部署与物理位置解耦和
通过使用 MAC-in-UDP 封装技术， VXLAN 为虚拟机提供了位置无关的二层抽象， Underlay 网络和 Overlay 网络解耦合。终端能看到的只是虚拟的二层连接关系，完全意识不到物理网络限制。
更重要的是，这种技术支持跨传统网络边界的虚拟化，由此支持虚拟机可以自由迁移，甚至可以跨越不同地理位置数据中心进行迁移。如此以来，可以支持虚拟机随时随地接入，不受实际所在物理位置的限制。
所以 VXLAN 的位置无关性，不仅使得业务可在任意位置灵活部署，缓解了服务器虚拟化后相关的网络扩展问题；而且使得虚拟机可以随时随地接入、迁移，是网络资源池化的最佳解决方式，可以有力地支持云业务、大数据、虚拟化的迅猛发展。
4.4.3 Overlay 网络流表路由
ARP 代答
对于虚拟化环境来说，当一个虚拟机需要和另一个虚拟机进行通信时，首先需要通过 ARP 的广播请求获得对方的 MAC 地址。由于 VXLAN 网络复杂，广播流量浪费带宽，所以需要在控制器上实现 ARP 代答功能。即由控制器对 ARP 请求报文统一进行应答，而不创建广播流表。
ARP 代答的大致流程：控制器收到 OVS 上送的 ARP 请求报文，做 IP-MAC 防欺骗处理确认报文合法后，从 ARP 请求报文中获取目的 IP ，以目的 IP 为索引查找全局表获取对应 MAC ，以查到的 MAC 作为源 MAC 构建 ARP 应答报文，通过 Packetout 下发给 OVS 。
4.4.4 强控方案模式主机迁移策略跟随
在虚拟化环境中，虚拟机故障、动态资源调度功能、服务器主机故障或计划内停机等都会造成虚拟机迁移动作的发生。虚拟机的迁移，需要保证迁移虚拟机和其他虚拟机直接的业务不能中断，而且虚拟机对应的网络策略也必须同步迁移。
网络管理员通过虚拟机管理平台下发虚拟机迁移指令，虚拟机管理平台通知控制器预迁移，控制器标记迁移端口，并向源主机和目的主机对应的主备控制器分布发送同步消息，通知迁移的 VPort ，增加迁移标记。同步完成后，控制器通知虚拟机管理平台可以进行迁移了。
虚拟机管理平台收到控制器的通知后，开始迁移，创建 VM 分配 IP 等资源并启动 VM 。启动后目的主机上报端口添加事件，通知给控制器，控制器判断迁移标记，迁移端口，保存新上报端口和旧端口信息。然后控制器向目的主机下发网络策略。
源 VM 和目的执行内存拷贝，内存拷贝结束后，源 VM 关机，目的 VM 上线。源 VM 关机后，迁移源主机上报端口删除事件，通知给控制器，控制器判断迁移标记，控制器根据信息删除旧端口信息并同时删除迁移前旧端口对应的流表信息。
主控制器完成上述操作后在控制器集群内进行删除端口消息的通知。其他控制器收到删除端口信息后，也删除本控制器的端口信息，同时删除对应端的流表信息。源控制器需要把迁移后新端口通知控制器集群的其他控制器。其他控制器收到迁移后的端口信息，更新端口信息。当控制器重新收到 Packet-in 报文后，重新触发新的流表生成。
4.4.5 安全服务链部署
传统的安全防护流量走向依赖于拓扑结构，各种的手工配置方式，静态、分散的配置方式，设备处理能力不可复用，单设备纵向扩展。这种防护模式不适应云计算时代对于安全防护的要求。
云计算时代，计算资源池化，计算资源可以自由调度、动态扩展，网络资源通过 VXLAN 技术池化，那么安全作为一种重要的网络服务是不是也能够弹性资源化，能够实现与拓扑无关的自动化部署与管理？
服务链的定义由 VCF 控制器来统一定义规划，实现安全资源与拓扑无关。带来的好处有：
1、安全服务基于 Overlay 逻辑网络，无须手工配置及引流，服务自动化部署。给用户带来业务快速上线，业务迁移服务自动跟随的好处。
2、服务资源池化 按需使用、线性扩展 形态多样、位置无关。使得业务成本降低，业务可扩展性强。
3、服务节点与转发节点分离，一次流分类。可实现按业务需求对服务进行编排。
4.5 单 Fabric 组网设计
1 ） 整网架构采用 Spine+Leaf 两层结构设计 ,Leaf 分为 Border Leaf （出口）， Server Leaf （ TOR 服务器接入）、 Service Leaf （安全资源池接入），将支持 MP-BGP EVPN 功能的交换机作为数据中心架构中的 Spine 交换设备；
2 ） TOR 接入区分为计算资源接入和安全资源池接入。
3 ） 控制平面采用 MP-BGP EVPN 协议，数据平面采用 VXLAN 。
4 ） Underlay 采用 OSPF 路由协议， Spine 为 iBGP RR 角色；
5 ） Overlay VXLAN L3/L2 网关部署在 LEAF 节点， LEAF 采用 40G 上行接入 SPINE 节点。同时 LEAF 可以为服务器提供 1G/10G/25G 服务器接入能力。
6 ） 东西向安全，利用安全资源池为逻辑区域间访问提供安全控制和 LB 服务。
7 ） 运维管理区部署 VCF Director （ VCFD ） 、 SDN 控制器（ VCFC ）、云平台等。VCFD 实现对数据中心基础设施自动化部署及 Overlay 网络运行维护监控， VCFC 控制器实现对 Overlay 网络的调度管理，通过带外管理方式管理业务区，其中 SDN 控制器可以与原生标准 OpenStack 云平台对接，对于其他非 Openstack 云平台或非原生 Openstack 云平台（经过二次开发），可以通过控制器 Restful Api 方式进行对接，需要评估开发工作量。
4.6 方案主要功能
SDN 、 EVPN 、 VXLAN ：通过 SDN 、 EVPN 和 VXLAN 技术，支持业务应用系统运行自虚拟网络环境中，使得业务网络不再受限于物理网络设备位置限制，实现业务网络按需自动化部署。
服务链：当通过服务链，用户可以依据自身业务需求，自定义业务的安全访问路径。这样使得用户可以对业务应用系统灵活的实施安全防护策略。
VPC 租户：在云平台为租户提供私有云环境，这样使得租户间从逻辑上完全隔离。从而保证租户间业务应用系统相互没有任何影响。例如，租户间业务应用 IP 地址重叠了，也不会互相影响。
第三方安全设备东西向引流，可纳管第三方安全设备，目前实施项目中已经对接过的厂商有 F5 、山石、迪普等，对于在 Openstack 社区中提供安全设备插件接口的其他厂家，同样可以纳管。
支持多层级端口绑定特性，突破 4K VXLAN 限制特性，可对接 Openstack VLAN 组网和 Openstack VXLAN 组网。
Underlay 自动化支持路由协议包含 OSPF 、 ISIS 。
Overlay 自动化支持配置按需下发。
5. 下一代 SDN 数据中心的优势
方案以 Overlay 技术为支撑：
（ 1 ）兼容第三方设备的全网络虚拟化能力，构建“一网一设备”的交换矩阵。基于 IP 网络构建 Fabric 。无特殊拓扑限制， IP 可达即可；承载网络和业务网络分离；对现有网络改动较小，保护用户现有投资。
（ 2 ）丰富的云特性，业界最佳的将“计算、存储、网络和安全资源”统一灵活部署的多租户方案。
（ 3 ）基于 SDN 架构的高度自动化运维能力。
（ 4 ）支持 VMware 、 Microsoft Hyper-V 、 CAS 、 KVM 和 XEN 等主流虚拟化平台。
（ 5 ）原生的灾备建设能力。
（ 6 ）网络配置一次成型，业务扩容与变更无需改动网络，大幅度减少网络运维工作量。网络简化、安全。虚拟网络支持 L2 、 L3 等，无需运行 LAN 协议，骨干网络无需大量 VLAN Trunk 。
（ 7 ）简化网络 IP 地址的规划，用于设备互连的 IP 网段和用于业务通信的 IP 网段互相不重叠。
（ 8 ）加快应用部署速度，应用可以在任意位置部署，配置好自己的 IP 地址即可实现通信，无需变更网络，应用部署速度从以周计缩短为以天计。
（ 9 ）转发优化和表项容量增大。消除了 MAC 表项学习泛滥， ARP 等泛洪流量可达范围可控，且东西向流量无需经过网关。
5.1 整网设计架构开放、标准、兼容
1 、 L4-L7 层开放兼容，可以纳管第三方安全品牌的设备、 F5 的设备，对于第三方安全设备纳管采用 openstack 标准的 FWaas/LBaas 等安全云插件形式，提升异构厂商组网的开放能力和标准化程度 ;
2 、北向接口开放，不同于传统 SDN 控制器只提供 Rest API ， VCF Controller 可以同时提供 Rest API 和 JAVA API ，给用户更多灵活的选择。理论上可以对接任何品牌的云平台、客户自身的应用 APP ，但实际部署中主要考虑基于 Openstack 平台的商用产品，有标准的插件进行对接；
3 、南向接口开放，有利于基础设施层设备纳管，不会被绑定，即使需要管理第三方品牌的交换机，也可以考虑定制化；
4 、 Overlay 网络的控制层面采用标准 RFC 定义的 EVPN 协议，不掺杂私有协议；
5 、可视化采集使用 SNMP 、 NETCONF 等标准协议，不掺杂厂商私有协议，可以有效的监控数据中心除网络设备、 SDN 控制器之外的，服务器、存储等运行状态。
5.2 可靠性保证
新型数据中心承载者用户 80% 以上的核心业务，对于企业的重要程度不言而喻。其可靠性需要全方位保证方案提供从设备级到方案级的各层次可靠性保证机制。
leaf 采用虚拟化技术，保证设备和链路的冗余可靠；
Spine 设备部互联， underlay 进行动态路由部署，采用 ECMP 提升业务转发的可靠性；
Border 设备采用对称式和非对称结合部署，保证出口区设备的冗余可靠性；
SDN 控制器提供集群机制，集群内通过 region 机制，既保证 SDN 网络规模的可持续增加，也保证了 SDN 控制器侧的稳定可靠，同时为了保证 SDN 控制器的安全性，可提供基于本地认证或者 AAA 认证的方式，同时基于角色来控制权限，区分前端权限和后端权限，保证用户灵活使用的同时，把安全做到最极致。
采用三平面分离架构设计，采用 MP-BGP EVPN 作为 VxLAN 控制面的弱控组网模型，管理面由 SDN 控制器承担，进行业务驱动的流量调度；数据转发面依赖 underlay 强壮的 IP 网络完成。
安全设备类型丰富，可以包含防火墙、 WAF 、 LB 、 IPS 等设备；
安全设备形态多样，可以用硬件的设备，也可以用 NFV （软件，基于 SDN 理念设计）的设备；
可以做细颗粒度的安全引流和防护 , 可以进行第三方安全资源纳管，实现东西向防护的引流和策略端到端自动化配置和打通；
整网安全设计考虑数据中心以及业务等保建设要求，同时结合后续云环境下的安全建设要求设计，满足未来上云计算的安全需求。
5.3 安全融合，符合等保建设要求
1 、安全设备类型丰富，可以包含防火墙、 WAF 、 LB 、 IPS 等设备；
2 、安全设备形态多样，可以用硬件的设备，也可以用 NFV （软件，基于 SDN 理念设计）的设备；
3 、可以做细颗粒度的安全引流和防护 , 可以进行第三方安全资源纳管，实现东西向防护的引流和策略端到端自动化配置和打通；
4 、整网安全设计考虑数据中心以及业务等保建设要求，同时结合后续云环境下的安全建设要求设计，满足未来上云计算的安全需求。
5.4 架构弹性设计
Fabric 弹性设计
1 、单一位置单 Fabric 部署：控制器集群 1:1 纳管 fabric
2 、单一位置多 Fabric 部署：
• 控制器集群 1:N 纳管 fabric
• fabric 多出口
• 同一地理位置 DC 内邻近楼层或房间分区部署网络的场景，控制器单机房部署避免少数派问题
3 、多物理位置多 Fabric 部署：
• 控制器集群 N ：M 纳管 fabric
• DC 内 fabric 多出口， DC 间二层互通
• 不同地理位置部署网络的场景，控制器多地集群部署
出口弹性设计
1 、出口设计多 border 多出口非对称部署模型，每一个 border 采用组内对称式部署，面向业务，关联不同的出口，互不影响；
2 、出口任何故障，影响范围小；
3 、出口调整，不会影响骨干网；
4 、单个出口的可靠性，会通过组内对称式部署保证。
资源弹性设计
租户内的计算资源池 VPC 可横向扩展， DC 中的接入设备组 VDS 可横向扩展，网络出口和接入资源可以 1 ：N 扩展， N ：1 扩展， N ：M 扩展：
1、1 ：N 扩展：
1）多个计算资源池，独立接入网络，用户规划多个 Fabric
2）多个资源池公用一个外部网络出口
3）出口边界设备组与接入设备组 (VDS) 为1:N关系
2、N ：1 扩展：
1）单一计算资源池，单一接入网络，用户规划一个 Fabric
2）资源池中不同租户分别有各自外部网络出口
3）出口边界设备组与接入设备组 (VDS) 为N:1关系
3、N ：M 扩展
1）多个计算资源池，独立接入网络，用户规划多个 Fabric
2）资源池中不同租户分别有各自外部网络出口
3）出口边界设备组与接入设备组 (VDS) 为N:M关系
5.5 端到端全流程自动化
告别传统的 CLI 命令行配置方式，打造端到端全路程自动化配置，有效提升项目部署周期，简化部署过程，提升业务上线的效率。
1 、 Underlay 层面，借助 VCF Director ，面向运维，自动完成设备管理 IP 获取、版本获取加载、配置信息下发，到 underlay 收敛完成；
2 、 Overlay 层面，借助 VCF Controller ，面向运营，对接云管理平台，完成 Overlay 配置的自动化关联和下发；
3 、业务层面，联动云平台，完成租户业务指令的自动化下发。
5.6 可视化运维管理便捷
VCF Director 提供可视化的资源、容量、健康度展示，分析呈现，帮助故障检测、运维和决策，包括但不限于对于链路状态监控、流量监管、硬件使用率展示、配置列表管理、策略模板创建一键下发等功能。
6.1 Underlay 自动化
Fabric 规划
开始自动化部署之前，需要先根据用户需求完成准备工作，包括以下步骤：
1、物理设备连线，安装 Director 软件，通过带外管理交换机将 Director 和物理设备管理口接入三层可达的管理网络。
2、根据用户需求完成 Underlay 网络规划，包括 IP 地址、可靠性、路由部署规划等，规划完成后，自动生成 Spine-Leaf 规划拓扑。
3、通过 Director 完成 Underlay 自动化预配置
1）通过 Director 完成 DHCP 服务器、 TFTP 服务器的部署和参数设置
2）基于 Spine/Leaf 角色，通过 Director 完成设备软件版本和配置模板文件的准备
3）指定 Fabric 的 RR 、 Border 角色，支持指定多个 Spine/Leaf 作为 Border
自动配置
Underlay 网络自动配置的目的是为 Overlay 自动化提供一个 IP 路由可达的三层网络，包括以下步骤：
1、设备上电，基于 Spine/Leaf 角色，自动获取管理 IP 、版本文件、配置模板
2、根据拓扑动态生成配置
3、自动配置 IRF
4、自动配置 Underlay 路由协议，可选 OSPF 、 ISIS
可视化部署
Director 根据 IP 地址段扫描已经上线的设备，生成 Underlay 自动化过程中的动态拓扑，并在该拓扑上实时呈现自动化状态和进度：
1、自动化开始
设备根据角色加载版本，并获取配置文件模板，开始自动化配置过程，进入设备自动化开始状态。
2、查看实时 IRF 状态
设备加入 IRF 时，支持上报设备 IRF 开始；设备加入 IFR 完成后，支持上报设备 IRF 结束；设备出现故障等导致 IRF 分裂，支持上报设备离开 IRF 。
3、查看实时拓扑状态
支持上报设备互连接口 UP 、 DOWN 状态；设备互连接口获取 IP ，路由收敛后，支持上报设备间 Spine 和 Leaf 链路三层连通性状态；设备互连接口获取 IP ，路由收敛后，支持上报链路连通状态的整网检测结果。
4、自动化结束
支持 Fabric 自动化过程结束状态上报。
资源纳管
Underlay 网络自动化完成后，所有参与自动化的物理网络设备自动被 Director 纳管。
6.2 Overlay 自动化 – 独立 Fabric 场景
软件定义网络模型
3.0 方案所使用的 SDN 控制器 VCFC 支持 OpenStack Neutron 标准网络模型，用户可以选择通过云平台或 VCFC 界面配置虚拟网络模型，实现相同的功能。
Overlay 配置下发到设备
VCFC 将虚拟网络模型转换为具体配置后，向纳管网元下发，配置类型有：
VPN 实例配置
L3VNI 配置
VSI 接口配置
VSI 配置
AC 配置（含 VxLAN-VLAN 映射关系）
VCFC 下发配置的方式，按下发配置的时机，分为以下两种：
配置预先下发
在 VCFC 上配置完成后，立刻下发到网元，此时通常主机还未上线，并不需要使用相关配置，属于配置预先下发。
配置按需下发（部分）
AC 配置在主机上线时下发，其他配置预先下发。
Fabric 接入
如果将 VCF Fabric 整体看成一台虚拟网络设备，数据中心的所有软硬件资源，包括计算及存储资源、数据中心出口的外部网络，都必须接入到 Fabric 的某个端口，才能正常使用。
当前方案支持接入的资源包括：
支持 VM 接入：VM 通过 ARP/DHCP 报文上线、 VM 迁移时支持配置及策略随迁
支持外部网络接入：通过配置 Border vRouter （无安全纳管）或服务网关组（安全纳管）实现
支持第三方防火墙接入：通过控制器下发引流策略
6.3 云网安关键特性
南北向安全纳管
ADDC 方案的基础组网是 EVPN 分布式网关组网，该组网基于全硬件网络 Overlay Spine-Leaf 两层架构，在 Leaf 设备上部署分布式网关，具备可靠性高、性能最优、扩展性强等特点。
在此组网基础上，为了满足用户在 Fabric 出口的安全需求，在 border 设备上增加了云网安联动的南北向安全纳管模型，为租户提供 FW 安全控制和 LB 负载分担服务。
实现原理：通过 openstack 标准模型中的 FWaas 和 LBaas 实现对 FW 和 LB 的业务部署；通过 Neutron 实现整网租户网络、南北安全节点 FW/LB 的网络对接部署。
根据 FW 外网口直连外网路由器还是 Border ，又可以分为 FW 串接和旁观两种部署方式。
南北向 FW 串接模型
此模型中， border 和外网路由器没有直连的逻辑接口， Border 的外网接口连接 FW ， FW 的外网接口直连外网路由器，所有进出 Fabric 的流量都必须经过 FW 再直达外网路由器。
云联动控制器在 border 直连的物理 FW 上为租户创建 vFW ， vFW 的内网口和租户网络建立三层连接， vFW 的外网口和外部网络路由器建立路由连接关系，使得租户网络的服务器可以为外网提供服务，再通过 FW 的安全控制策略实现对租户和外网之间的访问控制（包括租户之间的访问控制）
南北向 FW 旁挂模型
为更灵活地支持租户网络的外接，让部分租户没有防火墙也可以访问外网，也可以设置 FW 旁挂 Border ，让 Border 有直连外网路由器的接口，此时， FW 的外网口挂接在 Border 上。
此时， vFW 的内网口和租户网络建立三层连接， vFW 的外网口和 border 上的外部网络接口建立路由连接关系。对于有 vFW 的租户流量来讲，逻辑上依然是 vFW 串接外部网络的模式，也即租户和外部网络的流量必须经过 vFW 再出给 Border 上的外网网络，再由 Border 转发给外部网络的路由器。
服务链
网安融合方案支持通过服务链实现租户内跨网段的安全访问控制，同时也可以通过服务链支持南北向的访问控制，并可以按需选择跨租户的互访控制。
对于有多个服务需求的情况，可以将多个不同的服务节点串成服务链，使得指定的流量依次通过指定的服务节点，例如：主机 1--FW—IPS—LB— 主机 2 。
实现原理：通过在主机上线的流分类 leaf 上针对特定的流下发 PBR 策略，打上对应的服务链的标签，并重定向到指定的第一个服务节点。如果此服务节点指定的服务链还有下一个服务节点，则对此服务节点返回进入 leaf 的流量再次做 PBR 重定向到下一个服务节点。以此类推直至尾服务节点，尾节点进来的流量可以直接查路由转发不再需要走服务链 PBR 。
安全资源池的负载分担
为支持更多的租户，提供更多的虚墙，控制器在为租户创建虚服务时可以将租户的虚墙分别在不同的硬件资源上创建，实现对硬件安全资源的负载分担。
软件安全资源池天然就支持为不同的租户选择不同的物理服务器创建虚服务实现负载分担。
第三方安全引流
对于不受纳管的第三方 FW ，支持云网联动实现引流，也即可以通过 service-leaf 接入第三方安全设备，云可以通过简单的拖曳 GUI 界面实现将租户和外网之间的互访流量通过路由转发到第三方 FW ，由第三方 FW 实现对租户和外网之间的访问控制。
对于第三方安全设备，也可以通过服务链形式实现业务引流。
