定期巡检发现一个怪异的问题,/dev/sr0光驱挂载引起的CPU io_wait升高,请看截图:

/dev/sr0光驱挂载引起的CPU io_wait升高一“血案”_cpu升高

快接近凌晨了,这时候已经没啥业务了,可以看到CPU的us使用率已经是0,但CPU第12个核出现了100.0%wa,load负载是1.0,太诡异了。


立即用iotop命令查看,哪个进程占用IO过高,发现了挂载光驱引起的真凶,请看截图:

/dev/sr0光驱挂载引起的CPU io_wait升高一“血案”_cpu升高_02

可以明显的看到/dev/sr0光驱占用大量IO操作。


查看系统日志,发现了错误信息:

/dev/sr0光驱挂载引起的CPU io_wait升高一“血案”_cpu升高_03

再次确定了是/dev/sr0挂载光驱引起的CPU IO_WAIT升高。


立即放出大招,kill掉:

/dev/sr0光驱挂载引起的CPU io_wait升高一“血案”_cpu升高_04


再次观察Cacti监控图:

/dev/sr0光驱挂载引起的CPU io_wait升高一“血案”_cpu升高_05

CPU负载已经下降了,从图中来看非常明显。