数据库RAC环境由四台HPdl580服务器组成,心跳网络使用InfiniBand设备,在实施完成上线后,四个节点的任意一个都会不定时的重启,无任何规律,在分析问题时我们使用鱼骨图进行,整个的分析解决过程花费了4个多月时间。
通过上图鱼骨图,我们进行了逐步检查:
1、首先检查是否是操作人员人为操作导致,然后检查机房环境情况是否会导致设备的自启动,上述两项检查都未发现异常;
2、然后我们进行更深入分析,检查数据库和操作系统的运行情况,进程都正常运行,日志没有异常报错信息,通过脚本监控,系统的cpu,内存,IO及网络等设备运行都未发现异常,没有出现哪一项指标突然变化,每项性能都良好,设置操作系统的Kdump,发现Kdump的过程会卡在openibd服务上,怀疑InfiniBand驱动有问题;
3、检查所有硬件情况,硬件日志没有报错,从HP原厂更新服务器硬件的Firmware和驱动,故障依旧,接下来还剩下InfiniBand卡的驱动没有升级,其实问题刚出现的时候就考虑过升级InfiniBand卡驱动,但当时mellanox官网还没有出现更新的驱动,所以就一直在检查及分析每个硬件的情况,故障依旧。检查过所有硬件,只有InfiniBand卡的驱动没有更新,其他都正常,其他的监控和分析还在继续,同时等待mellanox官网出现新的驱动,终于有一天新的驱动发布,立即更新其中一个节点,观察2个月后未出现过重启现象,确认问题解决。
通过这一次的故障解决收获如下:1、硬件(服务器和配件)的购买最好整体购买,比如我们就是服务器和InfiniBand卡分开购买的,导致技术支持不能很好的跟进;2、问题的跟进需要细心,耐心,确信问题终究是有解决方案的;3、尽量掌握问题分析方法,虽然整个案例只提到了鱼骨图的方法,其实其中还用到了差异对比法、猜