网络工程师成长日记315-汉中某银行技术支持

这是网络工程师成长日记的第315篇连载文章,记录网络工程师行业的点点滴滴,结交IT行业有缘之人
网络工程师成长日记315-汉中某银行技术支持

9/10随同老大到汉中市人民银行总行,对网络故障进行排查
主要是核心交换机上的VRRP热备份冗余出现不稳定状态,核心交换机光模块上的23/24口不停的出现UP/Down
时间紧迫,第2天早上,我们很早来到银行的机房,由于银行有重要的业务流量,只能对3层交换做一些简单查看,要对交换机问题进行仔细的排查,还需要等到晚上工作人员都下班后,这样我们先通过网管进行了解,问题的关键所在。

我们来到机房后,老大首先是对,master、backup交换机进行display cur 等等一些命令
由于是华3的设备,个人对命令不是很熟悉,在一旁看着老大熟练的敲击着键盘把敏感的信息存储起来
在日志里记录了很多,出错的提示,这些都是很有用的排错信息,经验很重要,接着就是查看网络的环境
由于没有拓扑的情况,我们和老大通过网络环境,粗略的画出了网络拓扑,我们就在机房里观察现象
等到中午一下班,我们就将在光模块上的接口接上同轴电缆,继续观察现象,接着一切貌似都正常着
等了1个多小时,接口稳定的工作着,一点都没有问题的现象,等着等着,不觉的肚子有些饿,银行的科长说先去吃饭......
吃过饭午饭,我们就只有一个小时的时间,为了不能耽误业务,我们回到机房,观察现象,交换机没有任何报错信息,老大说等等看,等上班有敏感流量了,问题来了,出现了VRRP不停的在Master和backup上切换,而且只要是生产部门和业务部门同时有流量,业务部就完全处于停滞状态,拔下23/24口的光缆业务部可以正常运作。
分析为什么会出现不停切换的原因,可能是VRRP上的配置问题或是流量大的缘故使得端口进行拥塞、ARP病毒的原因使得VRRP模拟出现了另一台路由器,Master和backup出现不稳定的情况。
网络工程师成长日记315-汉中某银行技术支持

为保证银行的正常的业务运转,不得不把23/24口的光缆取下来
我们的工作进度在一次延后,只能等到6:00钟,做一次整体的排查
通过以上的现象,老大和科长进行协商,需要生产部做触发流量,进行排查
通过5台直接与核心交换相连接的电脑,进行流量模拟,5台电脑不停的ping网关,结果出现时通时不同的现象
老大这个时候已经意识到问题的关键所在,这个时候,银行的上级领导耐不住寂寞、终止了我们的调试........
通过这次网络排查机会,随老大来到汉中,虽然工作的时候一波三折,在这样复杂的网络环境中进行排错
需要对问题的模块化、最小化,缩小问题的范围,一击必杀,解决问题的时候要有逻辑观念和稳定的情绪,排查问题的执着。
接触到这样的项目,我觉得是一种成长,在做老大的跟班时候,发现在排查网络错误的时候仅仅是学过NP、NA是完全不够的
这些只是理论和命令所必要的基础,在排错当中更重要的对网络环境的整体分析
这是一种经验,更是一种能力,需要机敏的头脑,迅速的反应,把问题细节化,这样在工作中才能事半功倍。
使我羡慕的老大就拥有着这样的品质。
网络工程师成长日记315-汉中某银行技术支持

经过这次技术外包,在老大身上不仅体现出要在技术上过硬、全局的分析能力
更重要的是经验,和与人沟通能力,值得我学习技术之外的知识。
要处理好人际关系,有沟通有协作这样问题才能快速的解决。