时近中午醒来，看了一下新闻，做了十几分钟的室内运动，洗澡之后发现脖子有点疼，可能昨晚睡觉给扭到了。下班街头看美女都不好扭脖子。现在项目急，每天更新，然后修bug.。出问题的风险也越来越高，7号公司网站就出现，响应很慢的情况，最后排除发现是机房出口带宽不够用了。囧，今天写周报，发现数据库服务器CPU的wa％值增加的很快，排查了一下，发现是mongodb的一个集合写入磁盘时间太慢，而且并发也挺高才导致的。

所以这篇日志是用来记录处理过程的。

 

1）Top命令查看一下，确认情况。

CPU1跟CPU8两个wa％值很高。

2）iotop –o 查看那些进程正在读写磁盘。

观察了一段时间发现读写数据量不大但是很频繁。

3）观察一下mongodb的日志看看是不是有类似mysql的慢查询操作

祭出强大的awk筛选出操作时间超过一秒的记录

＃awk '!/authenticate/&&!/connection/{gsub(/ms/,"",$NF);if($NF>=1000){print$0}}' /var/log/mongdb.log


满屏幕的update操作，来自db_imaibo_live库下面的cs_combination_stock_log集合而且操作基本都在四秒以上。

4）上报朝廷。。。。跟开发工程师反应之后，了解到这个集合一天生成3万多的记录，现在总记录已经有280多万了，每次update都要先扫描整个集合，好悲伤的感觉。

5）商讨之后，备份集合，清理数据，调整业务逻辑，收工！