某企业所有业务系统及应用运行在由5台安装了ESXi 6.0的服务器组成的虚拟化环境中,已经稳定运行了多年,基本上没有出过问题。
今天下午企业工程师联系我,说单位的业务系统访问很慢。在业务系统中PING网关的延时超过2ms,平常都是小于1ms。近期单位服务器与网络没有改动。
检查发现有台物理主机内存报警(提示第20个内存插槽的内存有问题),如图1所示。
ESXi主机网卡识别为10Mb导致业务缓慢
图1 内存有问题
将这台服务器置于维护模式,迁移虚拟机到其他主机时提示“等待数据失败……”、“迁移被取消,因为虚拟机内存的更改量超过可用网络带宽……”,如图2所示。
ESXi主机网卡识别为10Mb导致业务缓慢
图2 迁移失败
如果手动迁移虚拟机到其他主机,原来需要几分钟的迁移迟迟不能完成(直到下午用了3个多小时才迁移完成一台)。因为我没在现场,我让用户分别登录每台ESXi主机,PING网关看延时和丢包情况,经过检查这五台主机中,只有一台延时在2~3ms,其他都在1ms以内,而延时在2~3ms的就是内存有故障的这台主机。
下午我到现场之后检查发现,一些服务器的网卡被识别为10Mb、100Mb,如图3所示。当前一共5台ESXi主机,其中有4台主机的部分网卡识别有错误,如图4所示是另一台主机的截图。
ESXi主机网卡识别为10Mb导致业务缓慢
图3 部分网卡识别错误
ESXi主机网卡识别为10Mb导致业务缓慢
图4 部分网卡识别错误
这种问题一般是线路或交换机配置问题导致。但这套系统已经使用几年,原来的网卡都能正确识别到千兆,不应该是交换机配置的问题。网线或网线接头问题居多,也可能是接触不好造成的。
因为现在业务系统还比较缓慢,现在也不是着急检查网络的时候,为了应急,在vSphere Client中,选中ESXi主机,在“配置→硬件→网络”中修改虚拟交换机vSwitch及端口组、Management Network属性,在“常规→网卡绑定”中,可以将错误识别为10Mb或100Mb的端口移动到“待机适配器”中,如图5所示。
ESXi主机网卡识别为10Mb导致业务缓慢
图5 移动到待机适配器
修改之后千兆网卡为活动适配器,识别为10Mb或100Mb的网卡为待机适配器,如图6所示。
ESXi主机网卡识别为10Mb导致业务缓慢
图6 修改虚拟交换机的上行链路
在配置好每一台主机后,再次将内存有故障的主机置于维护模式,此时虚拟机迁移很快完成,如图7所示。此时单位访问业务系统的速度也恢复正常。
ESXi主机网卡识别为10Mb导致业务缓慢
图7 迁移顺利
然后再去机房将识别为10Mb、100Mb的网卡更换网线,网卡全部识别为1000Mb。
将主机置于维护模式后,将ESXi主机关闭电源,取下20插槽有故障的内存开机,正常启动后将主机退出维护模式,迁移到其他主机的虚拟机会慢慢迁移回这台主机,至此故障解决。

总结

在本项目中,每台服务器管理使用2个千兆端口、虚拟机使用另外2个千兆端口,本来无论是管理还是应用,网络都是有冗余的。但此次故障再于部分网卡被识别为10Mb或100Mb,用户在通过物理网络、物理交换机访问虚拟机时,有可能使用被识别为10Mb或100Mb的上行链路,这就造成了某些业务系统访问缓慢。实际上这种故障出现的概率很低,在使用合格的网线时一般不会出现此类故障。那么怎么避免这个问题呢?可以在虚拟交换机属性→网络适配器中,将上行链路的“自动协商”改为“1000Mb,全双工”,如图8所示。在设置为这种模式后,如果线路速度不能达到千兆,那么这个端口就被断开,这避免了线路降速运行。但需要注意,如果两条都设置为1000Mb,当两条都不能识别为千兆时,网络中断,此时业务可能受到影响;如果设置其中一条为1000Mb,当两条都不能识别为千兆时,还会有一条降速运行,可以保证业务受影响但不中断。管理员可以根据实际情况,选择将其中一条或两条设置为1000Mb。

图8 设置端口速度

==========视频,如需浏览请用鼠标右键单击打开==============
VMware ESXi与vCenter Server安装与升级实验视频课程
https://edu.51cto.com/sd/e1e6b

使用NVIDIA RTX8000配置GPU的虚拟桌面
https://edu.51cto.com/sd/952a9

VMware vSphere 6.7虚拟化入门视频课程
https://edu.51cto.com/sd/22fe0

VMware vSAN 6.7实战演练
https://edu.51cto.com/sd/c6449

深入学习VMware Horizon View7虚拟桌面
https://edu.51cto.com/sd/225f2

中小企业vSphere虚拟化数据中心规划设计与产品选型
https://edu.51cto.com/sd/04e53

VMware服务器虚拟化提高篇之虚拟化基础架构配置视频课程
https://edu.51cto.com/sd/b9594

忘记VMware ESXi与vCenter Server密码的解决方法视频教程
https://edu.51cto.com/sd/993e5
=======王春海最新图书,如需浏览请用鼠标右键单击打开=========
VMware Horizon虚拟桌面应用指南
https://item.jd.com/13038424.html

VMware vSAN超融合企业应用实战
https://item.jd.com/12842654.html

VMware vSphere 6.5企业运维实战
https://item.jd.com/12329944.html

深入学习VMware vSphere 6
https://item.jd.com/11958052.html

VMware虚拟化与云计算:vSphere运维卷
https://item.jd.com/12237563.html

VMware虚拟化与云计算:故障排除卷
https://item.jd.com/12478965.html

虚拟化技术实践指南 面向中小企业的高效、低成本解决方案
https://item.jd.com/12244032.html