客户反应数据异常,某些订单一会儿可以见,一会儿不可见!
用其中一个单号去几台从机一一查找,发现某台从机确实没有该数据!
SHOW SLAVE STATUS\G
没有发现任何异常!
Seconds_Behind_Master参数为0,就是sql线程没有落后于io线程,而且也对整个参数做了监控,没有发现报警,仍然没有发现问题!
在主库上执行
SHOW MASTER STATUS\G
发现从机的pos落后于主机的pos非常多
io进程和sql进程也处于活动状态,出现假死!
去主机查看mysql线程情况,
select * from information_schema.processlist where state like '%log%' order by time ;
发现该从机的mysql线程已经不存在了,而从机的io线程和sql线程却没有检测出来这个情况!
为了尽快解决问题,将从机的主从复制重新启动:
stop slave; start slave;
下午做巡检的时候,特地关注了这个问题,又发现有类似的情况!而且发现在多台从机上!
初步怀疑是mysql 5.1.67-log主从复制的一个bug,而我5.53版本的主从复制没有问题!
下个星期要重点解决这个问题了!看看到底是什么原因导致的!