一、问题概述:

Nginx服务器,HP,有冗余,其中一台服务器mcelog负载比较高,日志秒级别,已经影响了此服务器业务。

wKioL1k3ua3QyaeuAAAqLXefO1s299.pngtail -f /var/log/mcelog

#注意看此信息是不断循环,注意看

Transaction:Memory scrubbing error
MemCtrl:Corrected patrol scrub error
 Erroroverflow
Corrected  error

#注意看其它信息

CPU16 BANK 9
MCE11

337335    MCi_MISCregister valid
337336    MCi_ADDRregister valid
337337    MCA:MEMORY CONTROLLER MS_CHANNEL1_ERR
337338    Transaction:Memory scrubbing error
337339    MemCtrl:Corrected patrol scrub error
337340   
337341    STATUScc0048c0000800c1 MCGSTATUS 0
337342    MCGCAP1000812 APICID 8 SOCKETID 0
337343    CPUIDVendor Intel Family 6 Model 45
337344    Hardwareevent. This is not a software error.
337345    MCE10
337346    CPU16 BANK 9
337347    MISC90011000010008c ADDR 15e0e2000
337348    TIME1495308194 Sun May 21 03:23:14 2017
337349    MCGstatus:
337350    MCistatus:
337351    Erroroverflow
337352    Correctederror
 
337353    MCi_MISCregister valid
337354    MCi_ADDRregister valid
337355    MCA:MEMORY CONTROLLER MS_CHANNEL1_ERR
337356    Transaction:Memory scrubbing error
337357    MemCtrl:Corrected patrol scrub error
337358   
337359    STATUScc0003c0000800c1 MCGSTATUS 0
337360    MCGCAP1000812 APICID 9 SOCKETID 0
337361    CPUIDVendor Intel Family 6 Model 45
337362    Hardwareevent. This is not a software error.
337363    MCE11
337364    CPU17 BANK 9
337365    MISC90011000010008c ADDR 15e0f8000
337366    TIME1495308194 Sun May 21 03:23:14 2017
337367    MCGstatus:
337368    MCistatus:
337369    Erroroverflow
337370    Correctederror

tail -f /var/log/messages

wKiom1k3vFHCRrBfAABYRxK5Re0885.png


二、mcelog简单说明

2.1)mcelog此服务是什么?

检查硬件错误,特别是内存和CPU错误的工具

2.2)mcelog工作模式?

cron  trigger (效率高低问题)

daemon (centos目前形式) 默认日志打到/var/log/mcelog

2.3)mcelog安装

yum install mcelog or 编译即可。


三、问题分析:

3.1)error信息:

Transaction:Memory scrubbing error
MemCtrl:Corrected patrol scrub error
Erroroverflow
Corrected  error

注意,通过上面的报错信息可以判断内存可能出了问题,因为mcelog日志报错,则很可能是硬件信息故障。

3.2)其它信息

MCE(Machine Check Exception)是一类计算机硬件错误。可能原因有:

内存报错,内存缓存故障,cpu故障,也可能和主板,总线有关系。


CPU16 BANK 9

CPU 17 BANK 9  ...

bank定义:

传统内存系统为了保证CPU的正常工作,必须一次传输完CPU在一个传输周期内所需要的数据。而CPU在一个传输周期能接收的数据容量就是CPU数据总线的位宽,单位是bit(位)。内存与CPU之间的数据交换通过主板上的北桥芯片进行,内存总线的数据位宽等同于CPU数据总线的位宽,这个位宽就称之为物理Bank。
bank:一直想通过bank和上面日志,排查可能哪个插槽有问题。这里希望大家给予提示。

3.3)查看服务器各指示灯:

正常。(这里很意外,不过如果问题刚产生不久,指示灯也不会立马出问题)

3.4)咨询朋友

建议:一般硬件出了问题,建议换内存,备份数据等。


四、处理顺序(renzhiyuan.blog.51cto.com)

4.1)先平滑迁移业务保障业务正常运行。

4.2)备份数据,并确保数据的可用性。

4.3)切勿重启,先尝试清楚内存缓存,inode,目录。排除缓存问题。

4.4)如果负载很高,可考虑关闭mcelog服务。

4.5)hp服务器有硬件分析功能,可先排查。

4.6)准备相同规格内存条,尝试更换内存条(最好不要动每个内存原本的位置,一般内存不是很多,可尝      试,要是能判断哪个插槽出问题,可先替换)

4.7)如果更换内存条无效,则可能其它硬件问题,考虑维修处理。

4.8)以上所有进度和结果,做备案,并及时和领导反映。