一、部署环境:

1、ESXI6.7主机1台
2、创建有多台vm server,并已安装好系统
3、工业环境的物理链路已经搭建好
4、一张光口网卡(4端口万兆)

本文主要解决:管理网络与业务网络分离;让物理网络充分发挥其性能。

二、物理网络环境部署:

1、万兆光口链路up

(1)两端(ESXI主机与物理交换机)使用10Gbps光模块,同为单模双芯,LC——LC的单模双芯光纤4条,本次工业环境为华为S9706核心交换机与ESXI上安装好的intel x710-da4网卡,具体如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_网络


esxi x710万兆网卡驱动 esxi支持的万兆网卡_网络_02

esxi x710万兆网卡驱动 esxi支持的万兆网卡_运维_03


(2)intel x710-da4网卡端使用的是intel的10Gbps光模块,核心交换机端使用的是华为10Gbps的光模块

(3)核心交换机的主控板为EH1BS9706E00-16端口万兆光接口和16端口千兆光接口板

(4)up状态如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_运维_04

2、物理端口配置不同的VLAN,以适应不同业务的需求

(1)vlan90为NTP与流媒体服务。NTP服务为不同的监控网络设备与网络摄像头提供统一时间,当监控机运行期间自动校验时间,使各区域的摄像头录制的视频保持时间上的同步,而不会出现时间差。流媒体服务为不同的网络终端从网络调取监控时,使重复的流量不占用更多带宽。

(2)vlan158为管理网络为平时管理员监控与协调网络的运行。

(3)vlan128为直播运营、数据化运营等教学网络服务。

(4)物理端口的配置如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_运维_05

三、常见业务实例配置

1、网络设备的NTP服务,(交换机、路由器、防火墙等)

使各网络设备运行的时间同步,一旦出现故障等,可根据日期与时间核实日志信息。
(1)NTP服务端:[华为网络设备]
system-view #进入系统视图
vlan batch 90 128 #创建用于NTP管理的VLAN,90用于NTP,128用于DHCP给终端
分配ip地址

interface vlan 90 #进入VLAN的接口视图
 ip address 172.16.11.254 24 #配置VLAN的ip地址与子网掩码,该ip地址作为NTP与流媒体服务
 vlan的网关
 quit #返回到系统视图
 undo ntp-service server disable #使能NTP服务器功能
 ntp-service refclock-master 2 #设置本地时钟作为NTP主时钟
 save #保存

(2)NTP客户端:

system-view
 vlan batch 90 128
 undo ntp-service server disable
 ntp-service unicast-server x.x.x.x
 quit
 save

2、配置win server的NTP服务,使各监控机与几百个网络摄像头时间同步。

(1)启用NTP服务器,打开注册表编辑器,找到对应路径,修改键值Enabled为1,如下图:

\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer

esxi x710万兆网卡驱动 esxi支持的万兆网卡_esxi x710万兆网卡驱动_06


(2)以本机的时间作为可靠的时间源,把AnnounceFlags默认值10改为5,5的意思就是本机为可靠的时间源,如下图:

\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Config

esxi x710万兆网卡驱动 esxi支持的万兆网卡_链路_07


(3)管理工具中的服务,windows time如何使它开机自动启动

如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_华为_08

以管理员身份运行命令提示符,执行:

sc config W32Time start= AUTO

注意命令中的大小写与空格

esxi x710万兆网卡驱动 esxi支持的万兆网卡_网络_09


下次重启server后,windows time服务则乖乖的自动运行中。

3、监控网络流媒体服务器与防火墙端口配置

本例监控网络的流媒体服务器以海康威视为例,

(1)为避免网络中多处调用监控网络,而致使网络中出现重复的带宽流量,配置一台流媒体服务器作为中转,能起到很好的流量管理作用,从而减轻网络传输中的流量阻塞,如下图

esxi x710万兆网卡驱动 esxi支持的万兆网卡_esxi x710万兆网卡驱动_10


ivms-4200在海康威视官网有下载,本文不作链接指引

(2)在win server端打开流媒体服务器软件,本机使用的ip为172.16.11.253,与之前在交换机上配置的网关172.16.11.254在同一网段

esxi x710万兆网卡驱动 esxi支持的万兆网卡_链路_11


(3)在ivms4200的客户端配置,如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_网络_12


(4)win server上为安全起见,开启防火墙,然后打开对应的流媒体服务器端口号

查看流媒体服务器的监听端口号如下图:554

esxi x710万兆网卡驱动 esxi支持的万兆网卡_华为_13


客户端监控录像机的NTP端口号如下图:123

esxi x710万兆网卡驱动 esxi支持的万兆网卡_网络_14


为使该win server能同时作为NTP服务器与流媒体服务器,所以在防火墙中开启123端口与554端口

esxi x710万兆网卡驱动 esxi支持的万兆网卡_esxi x710万兆网卡驱动_15


之前看到的端口号中未给出具体的协议,所以我们把TCP与UDP协议对应的端口号都开启来,以免造成业务中断

下面使用telnet命令查看这554端口号是否正常

telnet 172.16.11.253 554

esxi x710万兆网卡驱动 esxi支持的万兆网卡_华为_16


命令执行后,只剩左上角闪烁的光标,说明流媒体服务器上的554端口开启正常

4、ESXI对USB加密狗与U盘的识别

在企业或公司中,经常会遇到有些购买的软件需要使用USB接口的加密狗,或是通过U盘拷贝文件到ESXI主机下的vm server中,而直接插到ESXI主机上的USB设备无法被vm server识别,从而有了此处的设置

(1)在编辑vm server时,添加USB控制器与USB设备,如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_esxi x710万兆网卡驱动_17


(2)添加完成后,通过ESXI主机控制台发送ctrl+alt+delete登录到vm server中,若设备管理器中没有出现!号或?号的设备,则说明接入的USB设备驱动正常,可以正常使用了,如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_链路_18


(3)需要使用加密狗的平台运行正常,如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_网络_19

四、虚拟交换机与上行网络链路部署

1、标准交换机与分布式交换机

(1)标准交换机与分布式交换机都属于逻辑交换机

(2)标准交换机一般用于在同一ESXI主机内的各vm server 之间的通信,也把vm server与物理交换机的之间的流量通过上行链路端口组由vmnic进行转发,一般用于中小规模网络中,各vm server跑的业务可通过OVF模板部署较为方便,后续的文章中会给出。

(3)分布式交换机一般用于规模较大的网络中,可对不同ESXI主机之间的流量进行转发,如:ESXI1业务量太大时,可将计算资源与存储资源通过热迁移,转移到ESXI2主机上,转移过程中业务不中断;配置HA高可用时,则需要使用分布式交换机进行故障容错部署。

esxi x710万兆网卡驱动 esxi支持的万兆网卡_链路_20

2、为不同的业务类型创建不同的虚拟交换机

(1)server2012跑NTP网络设备校时服务,与网络监控流媒体服务,使用ESXI中的vmnic2作为上行链路网络,10Gbps正常显示源于ESXI中正确安装了万兆网卡驱动,此前的文章中有安装过程。

esxi x710万兆网卡驱动 esxi支持的万兆网卡_华为_21


(2)2台server2016跑教学系统业务,分别为数据运营一体化平台,直播营销系统,使用上行链路为vmnic4,如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_链路_22


(3)管理网络与资产管理业务网络流量都较小,暂划到同一网络链路中,上行链路使用vmnic0,如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_网络_23


上图中,另有CentOS7与win server2019暂未部署业务,为后期新增业务做模板的准备。

3、将运行不同业务的server放到对应的虚拟交换机中

esxi x710万兆网卡驱动 esxi支持的万兆网卡_esxi x710万兆网卡驱动_24

4、配置不同业务的上行网络链路

把不同的vm server放入不同的标准交换机中,每台标准交换机都对应了不同的vmnic上行链路,即能实现不同的vm server网络流量分流处理。

esxi x710万兆网卡驱动 esxi支持的万兆网卡_华为_25

5、链路的带宽调整

(1)各新建的虚拟机,默认使用为e1000的网络适配器,即100Mbps速率,若要提高带宽速率,则需做如下调整:

在左侧的网络中,选中需要调整的标准交换机,编辑vswitch的端口组,流量调整,根据实际情况进行端口的网络流量修改,通过实际测试对比如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_链路_26


(2)在物理交换机上的千兆端口展示

esxi x710万兆网卡驱动 esxi支持的万兆网卡_esxi x710万兆网卡驱动_27


(3)将步骤(1)调整为千兆速率后的端口速率如下:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_华为_28


(4)将步骤(1)调整为万兆速率后的端口速率如下:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_esxi x710万兆网卡驱动_29


当然,此处的受限在于物理交换机的接入层是千兆端口,能达到400Mbps,说明比之前有了更好的速率体验。

5、如何让winserver2008、2012、2016、2019跑10Gbps

(1)新建的虚拟机,默认采用e1000的网络适配器,最终在vm server启动后,也只显示1Gbps的速率

esxi x710万兆网卡驱动 esxi支持的万兆网卡_网络_30


(2)给vm server 安装vmware tools的过程中会发现vmnet3驱动程序,如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_网络_31


(3)vmware tools安装完成后,关闭vm server,编辑虚拟机,调整适配器为vmnet3,如下图:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_运维_32


保存后,重新打开vm server电源

(4)显示网络适配器速率如下:

esxi x710万兆网卡驱动 esxi支持的万兆网卡_链路_33


好好的,与物理链路匹配的10Gbps显示正常了。

注:在步骤(3)中,若ESXI的物理机BIOS支持SR-IOV直通,物理网卡也支持该技术,使用该项则vm server所跑的效果更接近于真实物理机直接跑vm server系统的效果。

致此,成功完成了管理网络与业务网络的分流,及如何让万兆网卡跑出10Gbps的效果,敬请各位交流指正!