事件回顾:

  事情发生在一个呼叫中心,里面外呼的不单单只有人工坐席,还有AI机器人,当天服务器异常断电后重启,业务启动之后发现人工坐席无能正常外呼,但是AI机器人又可以外呼,仔细回想自己没有改过什么东西,因为从来没遇到过这样的问题,所以一下子不知从何下手,只能不断的检查和回忆自己的配置跟做过的操作,但是并没有发现什么不对的地方。突然想到之前看过的SIP呼叫信令,想起是内网IP,人工是使用的内网,内网目前异常不能使用,然后马上就去服务器检查网卡,发现eth1网卡的IP地址不正常。进入eth1的网卡配置文件看IP地址是正常,说明是网卡异常。

排错:

1.重启网卡,出现以下错误信息:

企业实战(1) 服务器断电重启业务异常随笔_ip地址

 可以看到eth1网卡重启失败了,看来就是eth1网卡的问题了。继续往下排查。

2.启动eth1网卡

企业实战(1) 服务器断电重启业务异常随笔_服务器_02

 这里的报错信息就比较直观了,可以看到显示的是这个IP地址被下面这个Mac地址的主机占用了,所以eth1网卡启动不起来,那怎么去查到这个Mac是哪一台主机呢,这么多主机也不可能一台一台的查看Mac地址然后想起去路由器里面看路由表。

3.登录路由器管理页面

企业实战(1) 服务器断电重启业务异常随笔_重启_03

4.查看路由器中客户端列表

企业实战(1) 服务器断电重启业务异常随笔_ip地址_04

 可以看到路由器列表中确实是有一个主机占用了这个IP地址,但是还是找不到是哪一台主机,但是机智如我,看到这个列表中注册了很多IP地址,想到今天休息公司不可能这么多台主机都开机,所以想到了IP座机,应该是IP座机抢了服务器的IP地址,果然直接访问这个IP地址进入了座机登录界面。

5.登录IP座机

企业实战(1) 服务器断电重启业务异常随笔_重启_05

6.修改IP座机网络配置

企业实战(1) 服务器断电重启业务异常随笔_服务器_06

 修改完成之后,再到路由器中查看这个IP地址还在不在注册中,发现路由器中已经没有这个IP地址了。

7.重启服务器网卡

企业实战(1) 服务器断电重启业务异常随笔_重启_07

 这个时候eth1网卡已经成功启动,然后去测试人工外呼,但是还是失败,最后一步重启虚拟机。

结果:

重启虚拟机后网卡正常,业务恢复。

↓↓↓↓↓↓

最近刚申请了个微信公众号,上面也会分享一些运维知识,大家点点发财手关注一波,感谢大家。 ​【原创公众号】:非著名运维 【福利】:公众号回复 “资料” 送运维自学资料大礼包哦!​

企业实战(1) 服务器断电重启业务异常随笔_服务器_08