
排故之衰从来不是孤立的
推荐 原创
©著作权归作者所有:来自51CTO博客作者7layer的原创作品,请联系作者获取转载授权,否则将追究法律责任

先说下拓扑。
前端设备专有系统(类似IOS)。将分析结果发送给后端服务器。
后端设备 LINUX 。上装应用分析软件。开放80端口。用户可以通过在地址栏上输入后端服务器的IP地址来查看分析结果。
操作PC就是用来访问后端服务器。对数据进行查看的主机。
故事开始
因为安全检查。扫描整个网段内的服务器安全性。发现前端服务器有一个FTP服务,匿名访问。 虽然使用的是专有系统。可是这个是不允许的。联系厂商解决这个问题。厂商告知这个ftp服务用来给前端设备进行升级IOS和进行配置备份而开的。无法更改密码。厂商建议在配置模式下输入 no ftp enable 来解决问题。OK。 那就这么解决吧。
no ftp enable 后操作界面直接死掉。 再次telnet 无法登陆。查看后端服务器发现数据以无法采集。前端设备以跳到旁路。 整个网络漆黑。电话联系厂商。准备重启。厂商执意前来查看故障情况,顺便升级新的版本。来就来吧。顺便升级一下。
一个小时后工程师到场。带着把前后端设备的物理位置指明。说明自己操作的过程后。让他自己去折腾吧。 10分钟后厂家工程师告知需要重启。 加电重启后一切正常。厂商工程师建议升级新的版本。OK 。升去吧。
下班了。。。。。。。。。。。。将情况告知值班工程师。 交班结束。
一切的郁闷
第二天上班啦
“ 怎么样,昨天那个升级搞完了没有。好了没?”
值班工程师 “ 好了。可是我们还不能用。”
“不能用也算好了。不能用你就放厂商工程师回家了?“
值班工程师 “可是我在主设备1上可以ping 通 下面的后端服务器了。而且挂在主设备1 上的同一网段的服务器也可以正常访问后端服务器的80服务了。我就让他走了。看来是我们网络的问题。”
“哦。那我们自查吧”
首先这个问题的第一个可能性就是后端设备网关没有配置。 同一网络设备下的往往可以访问。因为走得2层MAC 表。而路由过来的因为没有设备的回指。而无法访问。查看后端服务器设备设置。发现两个网卡都是active的 。eth0 插着网线的网卡明明是有网关的。而且很正确。重新激活后故障依然。(eth 1 没有插网线,也是active的)
难道我的接入设备没有去 主设备的路由???不可能啊。登录接入设备。 0.0.0.0 的默认路由就是指向主设备的啊。 tracert 一下发现去往后端设备的数据已经到了 主设备上就是不往下去后端服务器。。。。。。。。。。。这是为什么。都到了主设备上了。他就是不下去。。。。( 这里是错误认识1 )。谁让ping 和tracert 都是双向的。我们并不知道这时其实 主设备已经把数据发出去了。只是后端设备没有回。但是用普通的测试方法是看不错来的
电话联系厂商问是否有过同类型的用户。告知没有过。。。
既然 后端服务器不能用。那我们也不在乎了。给我的笔记本配上后端服务器的地址。我们挂上去看看吧。(郁闷的选择,居然选择了我的笔记本做测试)。将后端服务器的网线拔下。挂在我的电脑上。问题依然 在主设备1上可以ping 通。可就是在接入设备下的ping不通。 那我们直接接到主设备1上看看。问题依然。下面我们就做了N 个测试。
1 将笔记本配上后端设备地址。挂在主设备1上。
2 将笔记本配上别的没有分配的IP地址。挂在主设备1上。
3 更换端口挂上
4 更换模块号挂上( 设备有不同的板子。选择不同的板子)
故障 依然 依然。 就是在主设备1 上可以ping通。而接入设备上的不通。。。。
做完了一切可能的测试。 没戏了。大家坐下来分析一下吧。
这一切似乎是天方夜谭。不可能的。 最后大家说要不你这个人命太衰。咱们换个笔记本试试吧。我想也许真是我的RPWT吧。咱们再试一次吧。
拿来一台从来不用的方正本本。挂上。。。。居然好了。 可以ping通了。。。。
我倒。看来真的是RP有问题。 ping通了。一切就可以分析了理解了。
首先主设备1 上的ping 就是个2层的。我的笔记本有防火墙。并不拦截这种ping 。可我很不明白。平时如果我们挂在一个交换机下面。同事ping我肯定是拦截的。这个大家都该有过经历。为什么我挂在 主设备1上的 时候我的笔记本不拦截呢。难道主设备1上的ping 就是个2层的。看来设备上的ping 跟 PC 对PC 的ping 是有区别的。以后要注意这点了。
既然这样我们就happy 多了。 重来一遍。将笔记本挂在连接后端服务器的网线上。能ping的通。哈哈。证明网络没问题。
值班工程师过来。让我海扁一顿。谁让你让他走的。他的服务器就是有问题。害死我了。我的RP啊。消耗了太多。
再次联系厂商。铁证如山。就是你的服务器问题。厂商说 我们是决不可能开防火墙的。。。 反正是你的服务器有问题。过来看看吧。。。
厂商兄弟看来是跑吐了。一个劲的好话。那算了。你告诉我你都操作了什么吧。我们来分析一下。可能问题出在那。。。。
厂商兄弟吧自己的整个操作过程都说了一遍。似乎没什么不妥。给了我密码,我登到后端服务器上再看看吧。
诶。。。 这个eth 1 配了一个 10网段的地址。我吐血。。。 。一切都真相大白了。
实践证明 衰从来不是一个孤立的事情。
真相大白
巧合 1
厂商工程师来调服务器的那天。因为小车不够(放显示器,键盘,鼠标用的。机房里都有)。所以他选择了用交叉线 eth 1 链接到设备上进行升级。
巧合 2
习惯性的给了自己爱用的 10 的一个B 地址。并在离开时没有关闭端口eth1
巧合 3
我们操作PC 也用10地址
巧合 4
我的笔记本防火墙开着。而且主设备1 居然可以ping通。。。。(当然是假象)
巧合 5
值班工程师的先入为主。让我开始就从网络入手。
其实就是因为厂商工程师用eth 1来调设备。用的10 的一个B 的地址来配的 eth1 。
走的时候也没有关闭。让数据从主设备1 发过给后端服务器的时候。 源的10地址会变成目的地址。而服务器发现自己有一个配了整个B 的10地址。就错误的发给eth 1. 而eth 1根本就走不通。这就出现了ping tracert 都不通 。因为数据单向的没有回来。
解决办法
。。。还是没有小车。 只有从 主设备1 上找了一个PC 。装上 CRT后SSH 链接到后端服务器。 ifconfig 果然 eth 1 配的地址。。。。。。。
ifconfig eth1 down 。
世界又安静了。 大家皆大欢喜。 除了 该死的先入为主和种种巧合,还有我浪费的大量RP。
“值班工程师中午吃饭你请。”
下一篇:网络配置之不走寻常路

提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
可可西里从来不是诗意的远方
近日,江苏24岁女大学生黄雨蒙孤身一人进入了青海无人区——可可西里并失
powershell event 概率论 多进程 bug -
没有目录的PDF,我从来不看!!!
教你如何快速制作PDF目录!
偏移量 编程经验 jar包 有道 输入框