今天早上8:00左右,cacti不断发短信至手机上,说北京至广州的线路丢包达到50%,9:00,上班,打开电脑,查看网络,防火墙20%的CPU负载,内存偏高,上了500M,流量约几兆。问下同事,说今天开服,有广告投入,那负载与内存比平常高点,也很正常。cacti还是不断报警中,烦。

 


 

继续查原因,ssh x.x.x.x,登录北京服务器,手工实时ping广州机房,丢包也不严重,约1%左右,但有个现象,有时候一丢就5,6,7,8个包,上监控服务器,检查服务器的健康状态。输入uptime后,从返回的信息来看等待的队列处理也不大,都是0.x。

同事帮我查看,他用ping,有时检测出丢包率在16%,甚至有64%的,我作的是长ping,只有1%。tracert到北京机房,看看路由情况,发现路由都正常。

 


目前,可以得出一个结论,那就是北京至广州会有短暂性的高丢包,并且不持续,不连续,防火墙没有负载,流量又没有跑超,网络整体也正常,为何老是有短暂的高丢包现象存在呢。

先登录防火墙,看看吧。ssh xxxx@10.x.x.x ,输入密码后,就进入了防火墙。看看连接数,cacti研究的不深,一直未能解决它监控思科5520防火墙的session.

看看连接数

ASA5520#sh conn count

返回

10782 in use,280001 most used

我的天啊,曾经有产生过28万的连接,ASA5520,官方资料,理论值才288000。我公司平台对外开放也有9个多月了,即使是在广告投放时,每天400万IP的投放量,防火墙的session都只到25万,想不到今天竟用到了极限。

再看看什么连接最多

ASA5520#sh conn

返回

UDP outside 192.41.162.30:53 inside 172.x.x.x:62234, idle 0:01:07, bytes 45, flags -
UDP outside 192.41.162.30:53 inside 172.x.x.x:59965, idle 0:01:07, bytes 44, flags -
UDP outside 192.41.162.30:53 inside 172.x.x.x:52096, idle 0:01:07, bytes 42, flags -
UDP outside 192.55.83.30:53 inside 172.x.x.x:64169, idle 0:00:14, bytes 95, flags -
UDP outside 192.55.83.30:53 inside 172.x.x.x:57522, idle 0:01:08, bytes 42, flags -
UDP outside 192.55.83.30:53 inside 172.x.x.x:53128, idle 0:01:11, bytes 41, flags -
UDP outside 192.42.93.30:53 inside 172.x.x.x:51221, idle 0:01:12, bytes 46, flags -

DNS服务器的连接数最多,以前也有关注过,外界DNS同时访问我公司内网的一台DNS服务器,连接数可达到6,7万。

上ASDM,用图形看下。很可惜,当时在处理时,没有截图,下图是目前正常的情况,没处理前,深蓝色的点,都到了25万,28万,基本上跟现在一样,是条直线。

 

既然DNS的连接数过多,并且外部连接过来的都是乱七八糟的IP,经仔细观察竟还有公司外网同段的IP,而这些IP是我们公司的,也从未用过。那就说明有人在***我公司的DNS服务器。

先把DNS服务器对外的53端口屏蔽掉。

ASA5520#conf t

ASA5520(config)#no access-list pass-policy extended permit upd any host 211.151.x.x eq domain

打完这条命令,连接数立马降下来,然后趋于平常。ASDM上可以看到被拒绝的ACL数。

 

想想,把DNS的53端口关了也不行啊,虽然广州还有一台DNS,还是得开放北京的DNS,开放DNS方案还是可行的,可在防火墙上定义可信IP列表,然后只让这些IP访问我公司的DNS。

到网上去找全球的13台根域地址。互联网真是什么都有,一找,就找出七八处有关13台根域的IP,但经过我比对,发现IP地址都不尽相同,似乎都不权威啊。继续找,终于在某处找到了官网地址链接(http://www.root-servers.org/)。点击打开,全球十三台根服务器呈现在面前。马上在防火墙上设个组。

ASA5520(config)#object-group network dnsgroup

ASA5520(config)#network-object host 198.41.0.4

...

ASA5520(config)#network-object host 202.12.27.33(以上13台根域)

ASA5520(config)#network-object host 210.x.x.x(公司出口IP,作测试用)

ASA5520(config)#network-object host 202.96.209.5(上海dns)

ASA5520(config)#network-object host 202.106.0.20(北京dns)

ASA5520(config)#network-object host 202.96.128.86(广州dns)

 

ASA5520(config)#access-list pass-policy extended permit upd object-group dnsgroup host 211.151.x.x eq domain

放开全球根域及中国国内主要DNS访问我公司的DNS服务器。

目前连接数在正常范围内,防火墙连接数达到限制,而引起新的连接无法正常建立的问题解决,但dns***一直存在,烦。

谁有好的方法,追踪到***者,或者有其它好的解决办法的,留个言。