1.5G+云上智慧工厂整体网络拓扑

某某公司5G+云上智慧工厂项目整体网络拓扑,如图1所示:

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络

图1. 5G+云上智慧工厂整体网络拓扑

数据中心:数据中心位于某某公司办公大楼三楼机房,建设内容包括基于超融合技术的本地云资源池、数据中心网络、UPS电源以及机柜,为大数据系统以及业务系统提供承载环境;

移动5G专网:基站采用BBU+AAU拉远方式建设,组网方式为5G SA独立组网,建设内容包括在某某公司厂区部署AAU、在某县移动机房部署BBU、在某市移动机房部署MEC,从MEC到数据中心直接部署云专线实现业务流量回传,从MEC通过传输网接入某省会移动机房5G GC实现非业务流量上公网。

5G接入网:5G接入网的关键设备是5G智能网关,建设内容包括在5G信号覆盖的厂区,部署5G智能网关,5G智能网关上行链路通过5G空口接入5G基站,下行链路通过LAN口或接入工控机/工业一体机做数采,或接入看板系统做回传。

办公监控网:办公监控网为某某公司的既有网络,在5G+云上智慧工厂项目中需要做一定的网络改造,以便实现办公监控网的AI监控终端以及作业终端与数据中心互联互通。改造内容包括在办公监控网出口增加智能网关,采用V-P-N隧道与数据中心互联互通。

AI监控终端:AI监控终端部署在办公监控网,在某某区域、某某区域以及某某区控制室部署AI高清摄像头,AI高清摄像头做数采,然后通过办公监控网的智能网关回传至数据中心的AI后台。

既有作业终端:办公监控网的一些作业终端,如销售经理终端、原料经理终端以及生产经理终端,需要访问数据中心的业务后台,通过办公监控网的智能网关V-P-N通道访问数据中心业务后台。

2.数据中心建设

 某某公司5G+云上智慧工厂项目的数据中心建设,主要包括数据中心物理网络、数据中心UPS电源、数据中心虚拟化平台、数据中心虚拟网络、业务子网隔离、数据中心与办公监控互联等,如图2所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_02

图2. 5G+云上智慧工厂数据中心

数据中心物理网络:在物理网络结构上,采用“路由器+核心交换机”极简二层网络结构,服务器直接接入到核心交换机,提升转发效率。

数据中心UPS电源:一方面数据中心运行着某某公司的核心应用系统和数据系统,另一方面,某某公司强电电力不稳定,经常发生跳闸,所以数据中心UPS电源保护方案不可或缺。

数据中心虚拟化平台:基于PVE虚拟化技术,实现对2台物理服务器的计算资源、存储资源及网络资源进行虚拟化,在虚拟资源池的基础之上,按需提供虚拟机服务,实现一机多跑业务,实现资源灵活配置。

数据中心虚拟网络:虚拟网关、虚拟交换机、虚拟防火墙运行在虚拟化平台之上,5G智能网关则分布在各个分支节点,5G智能网关和数据中心之间配置虚拟网络实现互联互通。

业务子网隔离:SDWAN路由器与数据中心之间,针对业务子网配置***隧道进行加密,从而确保业务数据安全性。

数据中心与办公监控网互联:考虑到办公监控网的上网行为的复杂性,数据中心与办公监控网互联互通需要做好安全控制。在办公监控网的出口部署1台智能网关,通过智能网关建立到数据中心之间的危屁恩隧道,并做好IP访问控制。

2.1.数据中心建设

在物理网络结构上,采用“路由器+核心交换机”极简二层网络结构,服务器直接接入到核心交换机,提升转发效率。数据中心物理网络拓扑如图3所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_03

图3. 数据中心物理网络拓扑

数据中心物理网络介绍如下:

  • 使用2台华三的S5048PV3-EI交换机做为核心交换机,利用S5048PV3-EI提供二层网络环境,以满足资源灵活调度的需求。
  • 使用1台华为AR101W-S路由器做为数据中心外部网关出口,AR101W-S既是二层网络的网关,又是WAN出口,是数据中心与业务子网互联互通必不可少的设备。

S5048PV3-EI-01的配置实例举例如下:

  • 建立VLAN120、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130、VLAN130-255。并将端口加入相对应的VLAN ID。

[H3C_SW1]vlan 120

[H3C_SW1-vlan120] port GigabitEthernet1/0/1 to GigabitEthernet1/0/4

[H3C_SW1-vlan120]quit

  • 端口设置为TRUNK模式,只允许特定VLAN ID透传。

[H3C_SW1] interface GigabitEthernet1/0/35

[H3C_SW1-GigabitEthernet1/0/35]port link-type trunk

[H3C_SW1-GigabitEthernet1/0/35]port trunk permit vlan 110 120 130 140 150 160 251 to 255

[H3C_SW1-GigabitEthernet1/0/35]undo port trunk permit vlan 1  #缺省vlan1可透传trunk,容易产生环路,关闭掉vlan1。

[H3C_SW1-GigabitEthernet1/0/35]quit

  • 配置VLAN255的IP地址

[H3C_SW1]interface Vlan-interface 255

[H3C_SW1-vlan-interface255]ip address 10.129.255.11 255.255.255.0

[H3C_SW1-vlan-interface255]quit

华三S5048PV3-EI的完整配置、华为路由器AR101W-S完整配置,详见《工程实施》的相关文档。

2.2.数据中心UPS电源建设

UPS电源保护方案,确保数据中心在停电之后,电力可续航两个小时,防止突然断电而导致的数据丢失和设备非正常关机导致的性能损坏。续航两个小时的UPS电源保护方案,设备选型如表1所示。

表1. 机房UPS电源蓄电池

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_04

 续航两个小时的UPS电源保护方案,网络拓扑如图4所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_05

图4. UPS电源保护方案

2.3.数据中心虚拟化平台

本项目中,服务器在硬件上,采用两台浪潮服务器NF5280M5做为服务器节点,在软件上,采用PVE虚拟化平台套件,基于超融合技术,实现对2台物理服务器的计算资源、存储资源及网络资源进行虚拟化,在虚拟资源池的基础之上,按需提供虚拟机服务,实现一机多跑业务,实现资源灵活配置。

2.3.1.服务器硬件平台

本项目中,服务器硬件采用的是浪潮通用服务器NF5280M5,NF5280M6是浪潮一款2U双路高端旗舰机架式服务器,以强劲的计算性能,完善的生态兼容,极致的空间扩展能力,满足各行业应用配置需求,适用于数据分析处理、深度学习分布式存储等多种应用场景。浪潮通用服务器NF5280M5如图5所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_06

图5. 浪潮通用服务器NF5280M5

浪潮通用服务器NF5280M5的技术规格如表2所示:

表2. NF5280M5的技术规格

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_07

2.3.2.服务器硬件平台

本项目中,服务器软件采用的是PVE虚拟化平台,PVE采用超融合的虚拟化架构,将计算、存储和网络全部实施在一个主机之上,并且支持主机级别的集群功能,无论是对中小型企业还是对规模较大的中型企业,都是一个非常适合的虚拟化平台产品。PVE管理界面如图6所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_08

图6. PVE管理界面

2.3.3.超融合解决方案架构

PVE超融合虚拟化软件安装在浪潮服务器上,PVE采用超融合虚拟化架构,将计算、存储、网络和安全进行虚拟化,聚合成一个统一的虚拟资源池,为上层平台提供虚拟主机资源服务,然后通过在虚拟机上安装应用所需要的操作系统,就可以在虚拟机上运行业务应用系统。

在本项目中,超融合解决方案架构如图7所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_09

图7. 超融合解决方案架构

2.4.数据中心虚拟网络

数据中心虚拟网络的核心是在超融合平台上配置虚拟防火墙(RT0)、虚拟路由器(GW1-6)、虚拟交换机1-3。VM7~VM15这9个虚拟机接入虚拟路由器(GW1),VM16虚拟机接入虚拟路由器(GW2),VM18虚拟机接入虚拟路由器(GW6),所有的虚拟路由器接入虚拟交换机1,并通过虚拟防火墙(RT0)进行转发。数据中心虚拟网络的逻辑结构如图8所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_10

图8. 数据中心虚拟网络逻辑结构

2.4.1.虚拟网络IP地址及VLAN划分

数据中心虚拟网络的IP地址及端口映射表,如表3、表4所示。

表3. 数据中心虚拟网络IP地址及端口映射表-1

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_11

表4. 数据中心虚拟网络IP地址及端口映射表-2

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_12

数据中心虚拟主机的IP地址及端口映射表,如表5所示。

表5. 数据中心虚拟主机IP地址及端口映射表

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_13

虚拟路由器网卡与虚拟主机网卡要进行虚拟连接,必须通过虚拟交换机,即将虚拟路由器的网卡与虚拟主机的网卡捆绑到虚拟主机的某个VLAN 中,那么这两个网卡即可实现虚拟连接,实现数据通信。

虚拟交换机(网桥)实现二层MAC 转发,虚拟路由器实现三层IP 转发。不同虚拟交换机之间无法通信,需要通过虚拟路由器进行三层IP 转发才能通信。

根据图8所示以及表3、表4、表5所示,nda节点的vm103(bg1)业务数据走向路径为:

nda:vm103(bg1):eth0→nda:vmbr1:vlan110→nda:GW1:ens18→nda:GW1:ens19→nda:vmbr1:vlan251→nda:ens41f1→S5048P-02:G1/0/38→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/38→ndb:ens41f1→ndb:vmbr1:vlan251→ndb:RT0:ens19→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→S5048P-02:G1/0/37→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/1→AR101W-S:GE0→AR101W-S:GE1。

ndb节点的vm104(bg2)业务数据走向路径为:

ndb:vm104(bg2):eth0→ndb:vmbr1:vlan110→ndb:ens41f1→S5048PV3-01:G1/0/38→S5048PV3-01:G1/0/35→S5048PV3-02:G1/0/35→S5048PV3-02:G1/0/38

→nda:ens41f1→nda:vmbr1:vlan110→nda:GW1:ens18→nda:GW1:ens19→nda:vmbr1:vlan251→nda:ens41f1→S5048PV3-02:G1/0/38→S5048PV3-02:G1/0/35

→S5048PV3-01:G1/0/35→S5048PV3-01:G1/0/38→ndb:ens41f1→ndb:vmbr1:vlan251→ndb:RT0:ens19→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0

→S5048PV3-02:G1/0/37→S5048PV3-02:G1/0/35→S5048PV3-01:G1/0/35→S5048PV3-01:G1/0/1→AR101W-S:GE0→AR101W-S:GE4。

从数据走向路径可以发现,假如nda节点出现故障或者nda节点的ens41f1出现故障,将会导致一部分虚拟主机无法使用。这个时候,vm103(bg1)虚拟机迁移到ndb之后,这个故障就可以解决,因为两个节点的网桥配置是相同的,迁移到ndb之后,vm103(bg1)就等于是ndb节点。如果网桥配置不同,如名称不同,vlan也不同,vm103(bg1)绑定nda节点网桥的配置就会与ndb网桥的配置不同,从而导致无法通信。vm103(bg1)迁移到ndb之后(假设其他GW1也一起迁过来),那么vm103(bg1)数据走向路径为:

ndb:vm103(bg1):eth0→ndb:vmbr1:vlan110→ndb:GW1:ens18→ndb:GW1:ens19→ndb:vmbr1:vlan251→ndb:RT0:ens19→ndb:RT0:ens18→ndb:vmbr0:vlan255→ndb:ens41f0→S5048P-02:G1/0/37→S5048P-02:G1/0/35→S5048P-01:G1/0/35→S5048P-01:G1/0/1→AR101W-S:GE0→AR101W-S:GE1。

从这里可以看出来,nda:vmbr0与ndb:vmbr0互为“备份”,当nda的虚拟机迁移到ndb上,可以直接使用ndb:vmbr0,起到一种灾备作用。

同理,假如nda:ens41f1发生故障,nda:GW1没有迁移到ndb的话,那么整个“110”网段的虚拟主机都无法转发,从而导致“110”网段虚拟主机网络故障。

同理,假如ndb:ens41f1发生故障,ndb:vmbr1:vlan110无法透传,而从导致ndb的“110”网段的虚拟主机无法转发,从而导致ndb的“110”网段虚拟主机网络故障。

2.4.2.虚拟网络IP地址及VLAN配置

  • 虚拟交换机IP 地址及VLAN 配置

Open vSwitch(OVS)是运行在BVE 虚拟化平台上的虚拟交换机,OVS 自身可以依靠MAC地址学习实现二层数据包转发功能。每个物理服务器有2 张业务网卡(BMC 不属于业务网卡),只需要创建2 个虚拟交换机(网桥)即可。虚拟交换机IP 地址及VLAN 配置步骤如下所示:

第一步:在节点nda中,创建1个名称为“vmbr0”的虚拟交换机,并捆绑物理网卡ens41f0(OVS Port)和虚拟网卡br0mgnt(OVS IntPort)

选择“数据中心→nda→网络→创建→OVS Bridge”,弹出界面如图9 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_14

图9. 创建vmbr0虚拟交换机

虚拟交换机配置信息如图9 所示。ens41f0是物理网卡,将ens41f0桥接到虚拟交换机vmbr0 上,实现物理网卡ens41f0与虚拟交换机vmbr0 的捆绑,从而实现vmbr0 数据转发。

第二步:在节点nda中,创建1个名称为“br0mgnt”的虚拟网卡,并捆绑虚拟网卡br0mgnt(OVS IntPort)到vmbr0中

选择“数据中心→nda→网络→创建→OVS IntPort”,弹出界面如图10所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_15

图10. 创建br0mgnt虚拟网卡

虚拟网卡名称输入“br0mgnt”,所属网桥OVS Bridge输入“vmbr0”,IP地址及子网掩码输入“10.129.255.10/24”,网关输入“10.129.255.1”,VLAN标签输入“255”,br0mgnt虚拟网卡配置IP地址,该IP地址用于nda节点的管理。

由图9和图10所示,vmbr0中捆绑了1个物理网卡ens41f0和1个虚拟网卡br0mgnt,其中br0mgnt所属vlan为vlan255。而根据规划,物理网络ens41f0需要透传vlan252、vlan253、vlan254、vlan255,因此进一步配置物理网络ens41f0的透传属性,如图11所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_16

图11. 物理网卡ens41f0透传属性

可以发现,br0mgnt属于vlan255,而ens41f0可以透传vlan252、vlan253、vlan254、vlan255,所以ens41f可以透传br0mgnt。

第三步:在节点nda中,创建1个名称为“vmbr1”的虚拟交换机,并捆绑物理网卡ens41f1

选择“数据中心→nda→网络→创建→OVS Bridge”,弹出界面如图12 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_17

图12. 创建vmbr1虚拟交换机

根据规划,ens41f1需要透传vlan110、vlan120、vlan130、vlan140、vlan150、vlan160、vlan170、vlan180、vlan190、vlan251,因此需要进一步配置ens41f1的vlan属性,如图13所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_18

图13. 配置ens41f1的vlan属性

以上的配置是节点nda的物理网卡ens41f0、虚拟网卡br0mgnt、虚拟网桥vmbr0以及vmbr1的属性配置。

节点ndb的物理网卡ens41f0、虚拟网卡br0mgnt、虚拟网桥vmbr0以及vmbr1的属性配置与nda的类似。

 

第四步:在节点ndb中,创建1个名称为“vmbr0”的虚拟交换机,并捆绑物理网卡ens41f0(OVS Port)和虚拟网卡br0mgnt(OVS IntPort)

选择“数据中心→ndb→网络→创建→OVS Bridge”,弹出界面如图13 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_19

图13. 创建vmbr0虚拟交换机

虚拟交换机配置信息如图13 所示。ens41f0是物理网卡,将ens41f0桥接到虚拟交换机vmbr0 上,实现物理网卡ens41f0与虚拟交换机vmbr0 的捆绑,从而实现vmbr0 数据转发。

第五步:在节点ndb中,创建1个名称为“br0mgnt”的虚拟网卡,并捆绑虚拟网卡br0mgnt(OVS IntPort)到vmbr0中

选择“数据中心→nda→网络→创建→OVS IntPort”,弹出界面如图14所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_20

图14. 创建br0mgnt虚拟网卡

虚拟网卡名称输入“br0mgnt”,所属网桥OVS Bridge输入“vmbr0”,IP地址及子网掩码输入“10.129.255.20/24”,网关输入“10.129.255.1”,VLAN标签输入“255”,br0mgnt虚拟网卡配置IP地址,该IP地址用于nda节点的管理。

由图13和图14所示,vmbr0中捆绑了1个物理网卡ens41f0和1个虚拟网卡br0mgnt,其中br0mgnt所属vlan为vlan255。而根据规划,物理网络ens41f0需要透传vlan252、vlan253、vlan254、vlan255,因此进一步配置物理网络ens41f0的透传属性,如图15所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_21

图15. 物理网卡ens41f0透传属性

可以发现,br0mgnt属于vlan255,而ens41f0可以透传vlan252、vlan253、vlan254、vlan255,所以ens41f可以透传br0mgnt。

第六步:在节点ndb中,创建1个名称为“vmbr1”的虚拟交换机,并捆绑物理网卡ens41f1

选择“数据中心→nda→网络→创建→OVS Bridge”,弹出界面如图16 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_22

图16. 创建vmbr1虚拟交换机

根据规划,ens41f1需要透传vlan110、vlan120、vlan130、vlan140、vlan150、vlan160、vlan170、vlan180、vlan190、vlan251,因此需要进一步配置ens41f1的vlan属性,如图17所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_23

图17. 配置ens41f1的vlan属性

  • 虚拟网络设备IP 地址及VLAN 配置

虚拟网络设备包括节点nda中的虚拟路由器(GW1)、虚拟路由器(GW3)、虚拟路由器(GW5),节点ndb中的虚拟防火墙(RT0)、虚拟路由器(GW2)、虚拟路由器(GW4)、虚拟路由器(GW6)。

节点ndb的虚拟防火墙(RT0)的IP地址及VLAN配置步骤如下所示:

第一步:将虚拟防火墙(RT0)的ens18捆绑到vmbr0:vlan255,ens19捆绑到vmbr1:vlan251,并分别配置虚拟网卡IP地址

虚拟防火墙(RT0)的虚拟网卡ens18和ens19 在捆绑到vmbr1 之前,先确认网卡ens18和ens19 的MAC 地址,因为网卡需要通过MAC 地址进行识别。

虚拟防火墙(RT0)的虚拟网卡ens18和ens19的MAC 地址如图18所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_24

图18. 虚拟防火墙(RT0)的网卡MAC地址

选择“数据中心→ndb→VM100(RT0)→硬件→网络设备(net0) →编辑”,弹出界面如图19所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_25

图19. 虚拟防火墙(RT0)的网卡ens18与vmbr0捆绑

选择“数据中心→ndb→VM100(RT0)→硬件→网络设备(net1) →编辑”,弹出界面如图20所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_26

图20. 虚拟防火墙(RT0)的网卡ens19与vmbr1捆绑

接下来,为虚拟防火墙(RT0)的虚拟网卡ens18 配置IP 地址,如图21 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_27

图21. 虚拟防火墙(RT0)的网卡ens18的IP地址配置

接下来,为虚拟防火墙(RT0)的虚拟网卡ens19 配置IP 地址,如图22 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_28

图22. 虚拟防火墙(RT0)的网卡ens19的IP地址配置

节点ndb的虚拟路由器(GW2)的IP地址及VLAN配置步骤如下所示:

第一步:将虚拟路由器(GW2)的ens19捆绑到vmbr1:vlan251,ens18捆绑到vmbr1:vlan120,并分别配置虚拟网卡IP地址

虚拟路由器(GW2)的虚拟网卡ens18和ens19 在捆绑到vmbr1 之前,先确认网卡ens18和ens19 的MAC 地址,因为网卡需要通过MAC 地址进行识别。

虚拟路由器(GW2)的虚拟网卡ens18和ens19的MAC 地址如图23所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_29

图23. 虚拟路由器(GW2)的网卡MAC地址

选择“数据中心→ndb→VM102(GW2)→硬件→网络设备(net1) →编辑”,弹出界面如图24所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_30

图24. 虚拟路由器(GW2)的网卡ens19与vmbr1捆绑

选择“数据中心→ndb→VM102(GW2)→硬件→网络设备(net0) →编辑”,弹出界面如图25所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_31

图25. 虚拟路由器(GW2)的网卡ens18与vmbr1捆绑

接下来,为虚拟路由器(GW2)的虚拟网卡ens19 配置IP 地址,如图26 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_32

图26. 虚拟路由器(GW2)的网卡ens19的IP地址配置

接下来,为虚拟路由器(GW2)的虚拟网卡ens18 配置IP 地址,如图27 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_33

图27. 虚拟路由器(GW2)的网卡ens18的IP地址配置

节点ndb的虚拟路由器(GW6)的IP地址及VLAN配置步骤如下所示:

第一步:将虚拟路由器(GW6)的ens19捆绑到vmbr1:vlan251,ens18捆绑到vmbr1:vlan160,并分别配置虚拟网卡IP地址

虚拟路由器(GW6)的虚拟网卡ens18和ens19 在捆绑到vmbr1 之前,先确认网卡ens18和ens19 的MAC 地址,因为网卡需要通过MAC 地址进行识别。

虚拟路由器(GW6)的虚拟网卡ens18和ens19的MAC 地址如图28所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_34

图28. 虚拟路由器(GW6)的网卡MAC地址

选择“数据中心→ndb→VM121(GW6)→硬件→网络设备(net1) →编辑”,弹出界面如图29所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_35

图29. 虚拟路由器(GW6)的网卡ens19与vmbr1捆绑

选择“数据中心→ndb→VM121(GW6)→硬件→网络设备(net0) →编辑”,弹出界面如图30所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_36

图30. 虚拟路由器(GW6)的网卡ens18与vmbr1捆绑

接下来,为虚拟路由器(GW6)的虚拟网卡ens19 配置IP 地址,如图31 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_37

图31. 虚拟路由器(GW6)的网卡ens19的IP地址配置

接下来,为虚拟路由器(GW6)的虚拟网卡ens18 配置IP 地址,如图32 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_38

图32. 虚拟路由器(GW6)的网卡ens18的IP地址配置

节点nda的虚拟路由器(GW1)的IP地址及VLAN配置步骤如下所示:

第一步:将虚拟路由器(GW1)的ens19捆绑到vmbr1:vlan251,ens18捆绑到vmbr1:vlan110,并分别配置虚拟网卡IP地址

虚拟路由器(GW1)的虚拟网卡ens18和ens19 在捆绑到vmbr1 之前,先确认网卡ens18和ens19 的MAC 地址,因为网卡需要通过MAC 地址进行识别。

虚拟路由器(GW1)的虚拟网卡ens18和ens19的MAC 地址如图33所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_39

图33. 虚拟路由器(GW1)的网卡MAC地址

选择“数据中心→nda→VM101(GW1)→硬件→网络设备(net1) →编辑”,弹出界面如图34所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_40

图34. 虚拟路由器(GW1)的网卡ens19与vmbr1捆绑

选择“数据中心→nda→VM101(GW1)→硬件→网络设备(net0) →编辑”,弹出界面如图35所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_41

图35. 虚拟路由器(GW1)的网卡ens18与vmbr1捆绑

接下来,为虚拟路由器(GW1)的虚拟网卡ens19 配置IP 地址,如图36 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_42

图36. 虚拟路由器(GW1)的网卡ens19的IP地址配置

接下来,为虚拟路由器(GW1)的虚拟网卡ens18 配置IP 地址,如图37 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_43

图37. 虚拟路由器(GW1)的网卡ens18的IP地址配置

  • 虚拟主机设备IP 地址及VLAN 配置

虚拟主机设备包括节点nda中的VM103(bg1)、VM107(bg3)、VM109(bg5)、VM123(AI),节点ndb中的VM104(bg2)、VM108(bg4)、VM110(bg6)、VM115(bg8)、VM122(视频)、VM124(AIZY)、VM116(bg9)、VM119(nms)。配置步骤只演示VM103(bg1)、VM116(bg9)、VM119(nms),其余配置类似,不再演示。

节点nda的虚拟主机VM103(bg1)的IP地址及VLAN配置步骤如下所示:

第一步:将虚拟主机VM103(gb1)的eth0捆绑到vmbr1:vlan110,并配置虚拟网卡IP地址

虚拟主机VM103(bg1)的虚拟网卡eth0在捆绑到vmbr1 之前,先确认网卡eth0的MAC 地址,因为网卡需要通过MAC 地址进行识别。

虚拟主机VM103(bg1)的虚拟网卡eth0的MAC 地址如图38所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_44

图38. 虚拟主机VM103(bg1)的网卡MAC地址

选择“数据中心→nda→VM103(bg1)→硬件→网络设备(net0) →编辑”,弹出界面如图39所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_45

图39. 虚拟主机VM103(bg1)的网卡eth0与vmbr1捆绑

 接下来,为虚拟主机VM103(bg1)的虚拟网卡eth0配置IP 地址,如图40 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_46

图40. 虚拟主机VM103(bg1)的虚拟网卡eth0的IP地址配置

节点ndb的虚拟主机VM116(bg9)的IP地址及VLAN配置步骤如下所示:

第一步:将虚拟主机VM116(gb9)的eth0捆绑到vmbr1:vlan120,并配置虚拟网卡IP地址

虚拟主机VM116(bg9)的虚拟网卡eth0在捆绑到vmbr1 之前,先确认网卡eth0的MAC 地址,因为网卡需要通过MAC 地址进行识别。

虚拟主机VM116(bg9)的虚拟网卡eth0的MAC 地址如图41所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_47

图41. 虚拟主机VM116(bg9)的虚拟网卡MAC地址

选择“数据中心→ndb→VM116(bg9)→硬件→网络设备(net0) →编辑”,弹出界面如图42所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_48

图42. 虚拟主机VM116(bg9)的网卡eth0与vmbr1捆绑

接下来,为虚拟主机VM116(bg9)的虚拟网卡eth0配置IP 地址,如图43 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_49

图43. 虚拟主机VM116(bg9)的虚拟网卡eth0的IP地址配置

节点ndb的虚拟主机VM119(nms)的IP地址及VLAN配置步骤如下所示:

第一步:将虚拟主机VM119(nms)的ens18捆绑到vmbr1:vlan160,并配置虚拟网卡IP地址

虚拟主机VM119(nms)的虚拟网卡ens18在捆绑到vmbr1 之前,先确认网卡ens18的MAC 地址,因为网卡需要通过MAC 地址进行识别。

虚拟主机VM119(nms)的虚拟网卡ens18的MAC 地址如图44所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_50

图44. 虚拟主机VM119(nms)的虚拟网卡MAC地址

选择“数据中心→ndb→VM119(nms)→硬件→网络设备(net0) →编辑”,弹出界面如图45所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_51

图45. 虚拟主机VM119(nms)的网卡ens18与vmbr1捆绑

接下来,为虚拟主机VM119(nms)的虚拟网卡ens18配置IP 地址,如图46 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_52

图46. 虚拟主机VM119(nms)的虚拟网卡ens18的IP地址配置

2.4.3.虚拟网络IP路由配置

综合《2.4.2.虚拟网络IP地址及VLAN 配置》内容以及图8的数据中心虚拟网络逻辑结构图,得到虚拟网络IP 结构图,如图47所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_53

图47. 数据中心虚拟网络IP结构图

为了尽量保持各个项目的虚拟网络结构的一致性和规范性,在本项目中,虚拟防火墙(RT0)和虚拟路由器(GW)采用NAT工作模式,其内网结构与其他项目的保持一致性和规范性,以利于交付和运维,其外网结构则根据各项目的实际场景进行交付。

  • 网关AR101W-S的IP路由配置

华为AR101W-S作为某某公司生产网出口网关,外网口接入移动专线与互联网互联,内网口与核心交换机S5048PV3-E1-01连接。

第一步:华为AR101W-S的广域网配置如图48所示。(略)

第二步:华为AR101W-S的局域网配置如图49所示。(略)

第三步:华为AR101W-S的局域网DHCP禁用配置如图50所示。(略)

  • 核心交换机S5048PV3-E1-01/02的IP路由配置

华为AR101W-S作为某某公司生产网出口网关,外网口接入移动专线与互联网互联,内网口与核心交换机S5048PV3-E1-01连接。

核心交换机S5048PV3-E1-01和S5048PV3-E1-02无需三层转发,只需配置二层VLAN即可,即按照表4所示,对相关端口配置VLAN属性即可。

  • 虚拟防火墙(RT0)的IP路由配置

如图47所示,虚拟防火墙(RT0)只有南北流量,没有东西流量,即只需要配置南北路由即可。北向路由通往互联网,因此需要在虚拟防火墙(RT0)上配置一条静态默认路由,如图53所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_54

图53. 虚拟防火墙(RT0)北向路由配置

如图47所示,虚拟路由器(GW)的工作模式是NAT 模式,虚拟路由器(GW)的所有内网IP 都要进行NAT 转化,内网地址不会暴露到外网口,所以虚拟防火墙(RT0)无需配置南向静态路由指向内网段。但是考虑到网络的复杂性,还要先配置好所有的南向静态路由,然后在启用虚拟路由器(GW)的NAT工作模式。

虚拟防火墙(RT0)的南向静态路由配置,如图54所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_55

图54. 虚拟防火墙(RT0)南向路由配置

虚拟防火墙(RT0)的IP 路由配置完成之后,登录到命令行界面查看当前路由表,静态默认路由以及静态路由已生效,如图55 所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_56

图55. 虚拟防火墙(RT0)的静态路由生效

  • 虚拟路由器(GW1)的IP路由配置

如图47所示,虚拟路由器(GW1)只有南北流量,没有东西流量,即只需要配置南北路由即可。虚拟路由器(GW)采用NAT工作模式,各个虚拟路由器(GW)的内网并没有对外暴露,因此各个虚拟路由器(GW)要实现东西访问,则需要在各个虚拟路由器(GW)中做NAT静态映射。

各虚拟路由器(GW)之间采用NAT工作模式的另外一个好处是,不同的虚拟路由器(GW)的内网是相互隔离的,也就是说不同网段的各业务虚拟机是被隔离的,这就增加了业务安全性。

虚拟路由器(GW1)的北向路由通往互联网,因此需要在虚拟路由器(GW1)上配置一条静态默认路由,如图56所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_57

图56. 虚拟路由器(GW1)的北向路由配置

如图47所示,虚拟路由器(GW1)的南向接口ens18接入的是业务虚拟主机,不再接入网络设备,因此虚拟路由器(GW1)的南向路由无需配置,如图57所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_58

图57. 虚拟路由器(GW1)的南向路由配置

虚拟路由器(GW1)的IP 路由配置完成之后,登录到命令行界面查看当前路由表,静态默认路由以及静态路由已生效,如图58所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_59

图58. 虚拟路由器(GW1)的静态路由生效

  • 虚拟路由器(GW2)的IP路由配置

如图47所示,虚拟路由器(GW2)只有南北流量,没有东西流量,即只需要配置南北路由即可。虚拟路由器(GW)采用NAT工作模式,各个虚拟路由器(GW)的内网并没有对外暴露,因此各个虚拟路由器(GW)要实现东西访问,则需要在各个虚拟路由器(GW)中做NAT静态映射。

各虚拟路由器(GW)之间采用NAT工作模式的另外一个好处是,不同的虚拟路由器(GW)的内网是相互隔离的,也就是说不同网段的各业务虚拟机是被隔离的,这就增加了业务安全性。

虚拟路由器(GW2)的北向路由通往互联网,因此需要在虚拟路由器(GW2)上配置一条静态默认路由,如图59所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_60

图59. 虚拟路由器(GW2)的北向路由配置

如图47所示,虚拟路由器(GW2)的南向接口ens18接入的是业务虚拟主机,不再接入网络设备,因此虚拟路由器(GW2)的南向路由无需配置,如图60所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_61

图60. 虚拟路由器(GW2)的南向路由配置

虚拟路由器(GW2)的IP 路由配置完成之后,登录到命令行界面查看当前路由表,静态默认路由以及静态路由已生效,如图61所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_62

图61. 虚拟路由器(GW2)的静态路由生效

  • 虚拟路由器(GW6)的IP路由配置

如图47所示,虚拟路由器(GW6)只有南北流量,没有东西流量,即只需要配置南北路由即可。虚拟路由器(GW)采用NAT工作模式,各个虚拟路由器(GW)的内网并没有对外暴露,因此各个虚拟路由器(GW)要实现东西访问,则需要在各个虚拟路由器(GW)中做NAT静态映射。

各虚拟路由器(GW)之间采用NAT工作模式的另外一个好处是,不同的虚拟路由器(GW)的内网是相互隔离的,也就是说不同网段的各业务虚拟机是被隔离的,这就增加了业务安全性。

虚拟路由器(GW6)的北向路由通往互联网,因此需要在虚拟路由器(GW6)上配置一条静态默认路由,如图62所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_63

图62. 虚拟路由器(GW6)的北向路由配置

如图47所示,虚拟路由器(GW6)的南向接口ens18接入的是业务虚拟主机,不再接入网络设备,因此虚拟路由器(GW6)的南向路由无需配置,如图63所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_64

图63. 虚拟路由器(GW6)的南向路由配置

虚拟路由器(GW6)的IP 路由配置完成之后,登录到命令行界面查看当前路由表,静态默认路由以及静态路由已生效,如图64所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_65

图64. 虚拟路由器(GW6)的静态路由生效

  • 虚拟主机VM103(bg1)的IP路由配置

如图47所示,虚拟主机VM103(bg1)是一个接入虚拟主机设备,只有南北流量,没有东西流量,配置IP地址以及网关即可,如图65所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_66

图65. 虚拟主机VM103(bg1)的北向路由配置

虚拟主机VM103(bg1)的IP 路由配置完成之后,登录到命令行界面查看当前路由表,静态默认路由以及静态路由已生效,如图66所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_67

图66. 虚拟主机VM103(bg1)的静态默认路由

  • 虚拟主机VM116(bg9)的IP路由配置

如图47所示,虚拟主机VM116(bg9)是一个接入虚拟主机设备,只有南北流量,没有东西流量,配置IP地址以及网关即可,如图67所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_68

虚拟主机VM116(bg9)的IP 路由配置完成之后,登录到命令行界面查看当前路由表,静态默认路由以及静态路由已生效,如图68所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_69

图68. 虚拟主机VM116(bg9)的静态默认路由

  • 虚拟主机VM119(nms)的IP路由配置

如图47所示,虚拟主机VM119(nms)是一个接入虚拟主机设备,只有南北流量,没有东西流量,配置IP地址以及网关即可,如图69所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_Proxmox VE_70

图69. 虚拟主机VM119(nms)的北向路由配置

虚拟主机VM116(bg9)的IP 路由配置完成之后,登录到命令行界面查看当前路由表,静态默认路由以及静态路由已生效,如图70所示。

Proxmox VE车间生产场景——多节点多业务vlan的虚拟网络项目实战_虚拟网络_71

图70. 虚拟主机VM116(bg9)的静态默认路由

2.4.4.虚拟网络iptables转发规则

  • 虚拟主机VM103(bg1)的iptables转发规则

略,原理可参阅《Proxmox VE视觉AI场景》和《Proxmox VE订单系统场景》两篇文章。

  • 虚拟主机VM119(nms)的iptables转发规则(略)

略,原理可参阅《Proxmox VE视觉AI场景》和《Proxmox VE订单系统场景》两篇文章

  • 虚拟路由器(GW1)的iptables转发规则(略)

略,原理可参阅《Proxmox VE视觉AI场景》和《Proxmox VE订单系统场景》两篇文章

  • 虚拟路由器(GW2)的iptables转发规则(略)

略,原理可参阅《Proxmox VE视觉AI场景》和《Proxmox VE订单系统场景》两篇文章

  • 虚拟路由器(GW6)的iptables转发规则

略,原理可参阅《Proxmox VE视觉AI场景》和《Proxmox VE订单系统场景》两篇文章

  • 虚拟防火墙(RT0)的iptables转发规

略,原理可参阅《Proxmox VE视觉AI场景》和《Proxmox VE订单系统场景》两篇文章

  • 华为AR101W-S网关的防火墙转发规则

略,原理可参阅《Proxmox VE视觉AI场景》和《Proxmox VE订单系统场景》两篇文章