一、部署环境:
1、ESXI6.7主机1台
2、创建有多台vm server,并已安装好系统
3、工业环境的物理链路已经搭建好
4、一张光口网卡(4端口万兆)
本文主要解决:管理网络与业务网络分离;让物理网络充分发挥其性能。
二、物理网络环境部署:
1、万兆光口链路up
(1)两端(ESXI主机与物理交换机)使用10Gbps光模块,同为单模双芯,LC——LC的单模双芯光纤4条,本次工业环境为华为S9706核心交换机与ESXI上安装好的intel x710-da4网卡,具体如下图:
(2)intel x710-da4网卡端使用的是intel的10Gbps光模块,核心交换机端使用的是华为10Gbps的光模块
(3)核心交换机的主控板为EH1BS9706E00-16端口万兆光接口和16端口千兆光接口板
(4)up状态如下图:
2、物理端口配置不同的VLAN,以适应不同业务的需求
(1)vlan90为NTP与流媒体服务。NTP服务为不同的监控网络设备与网络摄像头提供统一时间,当监控机运行期间自动校验时间,使各区域的摄像头录制的视频保持时间上的同步,而不会出现时间差。流媒体服务为不同的网络终端从网络调取监控时,使重复的流量不占用更多带宽。
(2)vlan158为管理网络为平时管理员监控与协调网络的运行。
(3)vlan128为直播运营、数据化运营等教学网络服务。
(4)物理端口的配置如下图:
三、常见业务实例配置
1、网络设备的NTP服务,(交换机、路由器、防火墙等)
使各网络设备运行的时间同步,一旦出现故障等,可根据日期与时间核实日志信息。
(1)NTP服务端:[华为网络设备]
system-view #进入系统视图
vlan batch 90 128 #创建用于NTP管理的VLAN,90用于NTP,128用于DHCP给终端
分配ip地址
interface vlan 90 #进入VLAN的接口视图
ip address 172.16.11.254 24 #配置VLAN的ip地址与子网掩码,该ip地址作为NTP与流媒体服务
vlan的网关
quit #返回到系统视图
undo ntp-service server disable #使能NTP服务器功能
ntp-service refclock-master 2 #设置本地时钟作为NTP主时钟
save #保存
(2)NTP客户端:
system-view
vlan batch 90 128
undo ntp-service server disable
ntp-service unicast-server x.x.x.x
quit
save
2、配置win server的NTP服务,使各监控机与几百个网络摄像头时间同步。
(1)启用NTP服务器,打开注册表编辑器,找到对应路径,修改键值Enabled为1,如下图:
\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer
(2)以本机的时间作为可靠的时间源,把AnnounceFlags默认值10改为5,5的意思就是本机为可靠的时间源,如下图:
\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\Config
(3)管理工具中的服务,windows time如何使它开机自动启动
如下图:
以管理员身份运行命令提示符,执行:
sc config W32Time start= AUTO
注意命令中的大小写与空格
下次重启server后,windows time服务则乖乖的自动运行中。
3、监控网络流媒体服务器与防火墙端口配置
本例监控网络的流媒体服务器以海康威视为例,
(1)为避免网络中多处调用监控网络,而致使网络中出现重复的带宽流量,配置一台流媒体服务器作为中转,能起到很好的流量管理作用,从而减轻网络传输中的流量阻塞,如下图
ivms-4200在海康威视官网有下载,本文不作链接指引
(2)在win server端打开流媒体服务器软件,本机使用的ip为172.16.11.253,与之前在交换机上配置的网关172.16.11.254在同一网段
(3)在ivms4200的客户端配置,如下图:
(4)win server上为安全起见,开启防火墙,然后打开对应的流媒体服务器端口号
查看流媒体服务器的监听端口号如下图:554
客户端监控录像机的NTP端口号如下图:123
为使该win server能同时作为NTP服务器与流媒体服务器,所以在防火墙中开启123端口与554端口
之前看到的端口号中未给出具体的协议,所以我们把TCP与UDP协议对应的端口号都开启来,以免造成业务中断
下面使用telnet命令查看这554端口号是否正常
telnet 172.16.11.253 554
命令执行后,只剩左上角闪烁的光标,说明流媒体服务器上的554端口开启正常
4、ESXI对USB加密狗与U盘的识别
在企业或公司中,经常会遇到有些购买的软件需要使用USB接口的加密狗,或是通过U盘拷贝文件到ESXI主机下的vm server中,而直接插到ESXI主机上的USB设备无法被vm server识别,从而有了此处的设置
(1)在编辑vm server时,添加USB控制器与USB设备,如下图:
(2)添加完成后,通过ESXI主机控制台发送ctrl+alt+delete登录到vm server中,若设备管理器中没有出现!号或?号的设备,则说明接入的USB设备驱动正常,可以正常使用了,如下图:
(3)需要使用加密狗的平台运行正常,如下图:
四、虚拟交换机与上行网络链路部署
1、标准交换机与分布式交换机
(1)标准交换机与分布式交换机都属于逻辑交换机
(2)标准交换机一般用于在同一ESXI主机内的各vm server 之间的通信,也把vm server与物理交换机的之间的流量通过上行链路端口组由vmnic进行转发,一般用于中小规模网络中,各vm server跑的业务可通过OVF模板部署较为方便,后续的文章中会给出。
(3)分布式交换机一般用于规模较大的网络中,可对不同ESXI主机之间的流量进行转发,如:ESXI1业务量太大时,可将计算资源与存储资源通过热迁移,转移到ESXI2主机上,转移过程中业务不中断;配置HA高可用时,则需要使用分布式交换机进行故障容错部署。
2、为不同的业务类型创建不同的虚拟交换机
(1)server2012跑NTP网络设备校时服务,与网络监控流媒体服务,使用ESXI中的vmnic2作为上行链路网络,10Gbps正常显示源于ESXI中正确安装了万兆网卡驱动,此前的文章中有安装过程。
(2)2台server2016跑教学系统业务,分别为数据运营一体化平台,直播营销系统,使用上行链路为vmnic4,如下图:
(3)管理网络与资产管理业务网络流量都较小,暂划到同一网络链路中,上行链路使用vmnic0,如下图:
上图中,另有CentOS7与win server2019暂未部署业务,为后期新增业务做模板的准备。
3、将运行不同业务的server放到对应的虚拟交换机中
4、配置不同业务的上行网络链路
把不同的vm server放入不同的标准交换机中,每台标准交换机都对应了不同的vmnic上行链路,即能实现不同的vm server网络流量分流处理。
5、链路的带宽调整
(1)各新建的虚拟机,默认使用为e1000的网络适配器,即100Mbps速率,若要提高带宽速率,则需做如下调整:
在左侧的网络中,选中需要调整的标准交换机,编辑vswitch的端口组,流量调整,根据实际情况进行端口的网络流量修改,通过实际测试对比如下图:
(2)在物理交换机上的千兆端口展示
(3)将步骤(1)调整为千兆速率后的端口速率如下:
(4)将步骤(1)调整为万兆速率后的端口速率如下:
当然,此处的受限在于物理交换机的接入层是千兆端口,能达到400Mbps,说明比之前有了更好的速率体验。
5、如何让winserver2008、2012、2016、2019跑10Gbps
(1)新建的虚拟机,默认采用e1000的网络适配器,最终在vm server启动后,也只显示1Gbps的速率
(2)给vm server 安装vmware tools的过程中会发现vmnet3驱动程序,如下图:
(3)vmware tools安装完成后,关闭vm server,编辑虚拟机,调整适配器为vmnet3,如下图:
保存后,重新打开vm server电源
(4)显示网络适配器速率如下:
好好的,与物理链路匹配的10Gbps显示正常了。
注:在步骤(3)中,若ESXI的物理机BIOS支持SR-IOV直通,物理网卡也支持该技术,使用该项则vm server所跑的效果更接近于真实物理机直接跑vm server系统的效果。
致此,成功完成了管理网络与业务网络的分流,及如何让万兆网卡跑出10Gbps的效果,敬请各位交流指正!