故障:
晚上大概7点钟左右,收到播放中心投诉,说视频播放很慢,加载很久不出来。一开始,哥以为是tomcat服务又挂了。所以到tomcat服务器上查看下catalina.out输出日志。却没发现任务错误信息。
分析:
想了想,视频加载慢,会不会是数据库问题呢?果断上mysql数据库(从库)看下top如下:
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 37258 mysql 20 0 17.2g 12g 5032 S 769.5 81.3 4383:29 mysqld
没想到cpu居然达到769%了!
然后进入mysql的慢查询语句的目录下面,看下slow.log
select count(*) as col_0_0_ from card_received cardreceiv0_ where (cardreceiv0_.statusCode='1' or cardreceiv0_.statusCode='2') and (cardreceiv0_.ownerCardNum='8757003738566209' or cardreceiv0_.ownerPhoneNum='13724689717') and cardreceiv0_.readStatus=0\G;
发现这条查询语句耗时5秒左右,但是slow.log里面全部是这条语句。所以我觉得很可疑。
再用explain分析下看
mysql> explain select count(*) as col_0_0_ from card_received cardreceiv0_ where (cardreceiv0_.statusCode='1' or cardreceiv0_.statusCode='2') and (cardreceiv0_.ownerCardNum='8757003738566209' or cardreceiv0_.ownerPhoneNum='13724689717') and cardreceiv0_.readStatus=0\G; explain结果: ************************** 1. row *************************** id: 1 select_type: SIMPLE table: cardreceiv0_ type: ref possible_keys: readStatus,ownerCardNum,statusCode,ownerPhoneNum key: readStatus key_len: 5 ref: const rows: 2394190 Extra: Using where 1 row in set (0.00 sec) ERROR: No query specified
居然扫描了:2394190行。。。。
最后跟开发沟通后,因为这边表数据并不重要。故将一些旧数据情况了,表示已经清空了200万行!最后mysql的cpu终于降下来了。。。
不过要彻底解决问题,仍需要优化语句,建立索引哪。。不然数据多了,肯定还会出问题的。
好了,此次故障也仅仅给提供一些解决问题的思路。具体问题还是需要具体分析的。