好吧，我承认，原先我是不相信命运这一说的。直到遇到了今天这档子事。

背景：

公司机房空调外机搬迁项目正在进行，刚刚完成备用机房的空调外机搬迁。正好有个特别重要的聚会在今晚，看着天下着淅淅沥沥的雨，心中窃喜。周五晚上不用加班了。可以顺利参加这个聚会了。又能认识不少名流。结果。在下班前5分钟的时候，人品爆发了，整个公司网络瘫了。leader今天外出办事，车被挂花了。估计正在处理。一天没来。我想下班这种状态下，我是脱不了身了……

=========================================================================

起因：

早上开始，公司使用的深信服上网行为管理系统就出现登陆困难。接到部门管理同事的回报以后，对系统进行了简单的诊断：

ping 通畅

telnet 端口 正常。

页面访问，延迟非常大。大概每个页面之间切换也要等2~3分钟左右。

据此，怀疑是个别特权人士，上班无聊占用网络资源谋私造成深信服过载。

可一看系统CPU占用率，也就56%。完全不是想象中的那么蛋疼。应该可以顶住得说。

当时，网络还是通畅的，在万般无奈之下，只得中途断电重启了一下深信服设备。

结果，状态依旧坚挺。还是无法配置上网行为管理。

下午17:25分左右。在我收拾好东西准备赴约的那一刻，我知道，网络故障的人品爆发了。我的人品暴走了。全公司断网了。

实测到深信服设备根本就ping不通了。这就说明，真的出事了。

猜想网络里面有异物在攻击我们的网络出口。

==========================================================================

解决步骤：

第一步，给重要的聚会组织者打电话，说明情况，看样子自己今天是被绑定了。这背运啊，背运

第二步，打开进入IMC。试图找到端口一场发包信息日志。

失败了，IMC也进不去了。当时没有细想，早知道结果，这里应该留个心眼才对。

第三步，可以说。我采用了最土的办法。

在核心上停用了所有的业务光口。

通过此操作，各个楼层的业务全部切换到主交换机上来了。

通过在备用上dis vrrp 查看状态，确定都处于找不着北状态。

而在主核心上都属于master状态。

好了，可以彻底开刀了。

第四步，在主核心上，对整个楼层各个楼层的业务口shutdown。

一遍结束，发现深信服终端还是坚挺于ping不通状态。

看来，我错怪了我们公司可爱的同事们了。不是他们攻击的，也不是他们带来的病毒。

第五步，在主核心上一次往下，找到在关闭公司内部服务业务光口后。深信服起死回生了。也找到这个业务口对应的汇聚层交换机。

让我震惊了。居然是公司核心的服务网段。介将搞来？

马上回想最近刚刚登记上线的服务器。作为重点怀疑对象。

同时，恢复了楼层的业务口。让公司网络恢复了。

第六步，找到的汇聚层交换机上，所有端口，除trunk全部shutdown。

然后依次观察性的开启。

找到元凶。居然，居然，居然是dawn的 IMC端。

已经迟到了。无力去排查H3C 的神器IMC为什么跟深信服的网管搞起来了。断开IMC端口后，恢复了公司内部业务承载的所有服务器。

走之前检查了所有内部信息化服务系统。

让后去楼上实地加班的办公室询问了一遍。一切ok。

下周一在考虑怎么来伺候那台牛X的IMC了

==========================================================================

后记

此次操作还是有点腼腆，不够心狠手辣。事后想想。如果vlan个数比interface个数少。干脆下次直接断vlan好了。

貌似也不好，这样找端口会比较困难。每个楼层貌似有多个vlan。谁知道呢。

但值得细心注意的，就是IMC和深信服都不能通。当时真的应该怀疑起IMC才对。

唉，还是太相信高科技了。咱山寨IT民工，不敢动人家神器IMC啊。

=========================================================================

花絮：

两个花絮：

1、十几楼一个美眉着急要死，说晚上要加班远程部署。来了一遍电话问，网络啥事后好啊。我回答，正在搞。第二遍，还是客客气气的来电话问，网络啥时候好，能不能给个准确时间。机房就我一个人，真没心思分神，直接答复，不能给时间啥时候修复。你这样着急没什么意义，还会让我不能集中精力。无奈，把电话挂了。

为了在最短时间解决问题。找过大体的利益，只能得罪她了。希望她会懂，主要是别投诉我。

2、一个哥们上车了，突然测公司业务段断了，吓得直接从班车上跑下来。一直陪我倒网络恢复。挺感动得。我不是一个人在战斗。晚上回去的时候，还沾了他的光，蹭了公司老总的路虎。终于带到一个有人烟的地方，打车奔赴聚会了。晚上20点到达，还算赶上了。不说别的了。就是一个，喝！