vmstat参数：
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 1 208 1685712 213052 3883248 0 0 8 7 0 0 1 1 88 10
0 2 208 1685808 213056 3883244 0 0 4 2288 1480 209 0 0 68 32
0 0 208 1685808 213060 3883240 0 0 4 2984 1515 173 0 0 76 24
0 0 208 1685888 213068 3883232 0 0 0 24 1222 138 0 0 99 0
0 0 208 1685952 213068 3883232 0 0 0 0 1079 90 0 0 100 0
0 0 208 1686032 213068 3883232 0 0 0 0 1078 77 0 0 100 0
0 0 208 1686032 213068 3883232 0 0 0 896 1077 58 0 0 99 1
-r 列表示运行和等待cpu时间片的进程数，如果长期大于1，说明cpu不足，需要增加cpu。
-us 列显示了用户方式下所花费CPU 时间的百分比。us的值比较高时，说明用户进程消耗的cpu时间多，但是如果长期大于50%，需要考虑优化用户的程序。
-sy 列显示了内核进程所花费的cpu时间的百分比。这里us + sy的参考值为80%，如果us+sy 大于 80%说明可能存在CPU不足。
-wa 列显示了IO等待所占用的CPU时间的百分比。这里wa的参考值为30%，如果wa超过30%，说明IO等待严重，这可能是磁盘大量随机访问造成的，也可能磁盘或者磁盘访问控制器的带宽瓶颈造成的(主要是块操作)。
-swpd 切换到内存交换区的内存数量(k表示)。如果swpd的值不为0，或者比较大，比如超过了100m，只要si、so的值长期为0，系统性能还是正常
-bi 从块设备读入数据的总量（读磁盘）（每秒kb）。
-bo 块设备写入数据的总量（写磁盘）（每秒kb）
这里我们设置的bi+bo参考值为1000，如果超过1000，而且wa值较大应该考虑均衡磁盘负载 -in 每秒产生的中断次数 -cs 每秒产生的上下文切换次数这两个值越大，内核消耗cpu时间越大 -id cpu处于空闲时间百分比
需要关注的：
-r 运行的进程比较多，系统繁忙
-bo 磁盘写的数据量大
-us 持续大于50，服务器高峰可以接受
-wa IO等待，持续大于30，说明IO等待严重
-id 持续小于50，服务器高峰可以接受
OK，现在来看实际的：（实际负载并不高，只是模拟一个解决问题的思路）
负载状况如下：
16:29:17 up 426 days, 2:00, 2 users, load average: 3.91, 4.25, 3.34
一.先通过vmstat看看状态：
[root@MySQL01 ~]# vmstat 2 10
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 208 1358752 209432 4158048 0 0 8 11 0 0 1 1 88 10
0 1 208 1358432 209432 4158568 0 0 70 0 3071 1789 2 1 95 2
0 13 208 1356256 209448 4159852 0 0 206 1326 8272 5011 6 3 74 17
0 0 208 1352568 209504 4162136 0 0 202 2582 10151 5467 7 4 37 52
0 0 208 1350904 209508 4163952 0 0 194 0 10420 6080 8 3 81 8
0 2 208 1350520 209508 4163952 0 0 20 2666 3571 644 1 0 75 24
1 0 208 1349944 209516 4164724 0 0 90 4704 4011 1008 3 2 73 23
0 2 208 1349752 209524 4164976 0 0 84 1798 5209 2341 2 1 72 24
0 0 208 1348920 209532 4166268 0 0 78 1148 4026 2031 2 2 75 22
0 0 208 1348664 209532 4166528 0 0 50 0 4474 2269 2 1 95 2
从以上的解释看：
1.cpu没问题（r，us，us+sy，id）
2.内存没问题，swpd没变化，si、so的值长期为0
3.硬盘的写操作比较频繁，wa值也偏大
二：在通过iostat看观察磁盘状况
[root@MySQL01 ~]# iostat -x 1 5
Linux 2.6.9-55.ELsmp (MySQL01) 10/26/2010
avg-cpu: %user %nice %sys %iowait %idle
1.34 0.00 0.82 10.03 87.82
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0.00 124.31 8.06 104.80 64.49 86.39 32.24 43.19 1.34 0.10 0.90 0.12 1.35
avg-cpu: %user %nice %sys %iowait %idle
0.00 0.00 0.00 17.29 82.71
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0.00 490.00 0.00 208.00 0.00 12432.00 0.00 6216.00 59.77 646.27 384.62 3.25 67.70
avg-cpu: %user %nice %sys %iowait %idle
0.00 0.00 0.25 48.88 50.87
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0.00 3.00 0.00 497.00 0.00 32.00 0.00 16.00 0.06 568.50 1112.20 2.01 100.10
avg-cpu: %user %nice %sys %iowait %idle
0.00 0.00 0.00 44.00 56.00
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0.00 35.00 0.00 351.00 0.00 1232.00 0.00 616.00 3.51 179.49 2159.48 2.84 99.70
avg-cpu: %user %nice %sys %iowait %idle
0.25 0.00 0.50 24.63 74.63
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
cciss/c0d0 0.00 284.00 0.00 546.00 0.00 6616.00 0.00 3308.00 12.12 113.78 200.10 1.83 100.10
rrqm/s: 每秒进行 merge 的读操作数目。即 delta(rmerge)/s
wrqm/s: 每秒进行 merge 的写操作数目。即delta(wmerge)/s
r/s: 每秒完成的读 I/O 设备次数。即delta(rio)/s
w/s: 每秒完成的写 I/O 设备次数。即delta(wio)/s
rsec/s: 每秒读扇区数。即 delta(rsect)/s
wsec/s: 每秒写扇区数。即 delta(wsect)/s
rkB/s: 每秒读K字节数。是 rsect/s 的一半，因为每扇区大小为512字节。(需要计算)
wkB/s: 每秒写K字节数。是 wsect/s 的一半。(需要计算)
avgrq-sz: 平均每次设备I/O操作的数据大小 (扇区)。delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O队列长度。即delta(aveq)/s/1000 (因为aveq的单位为毫秒)。
await: 平均每次设备I/O操作的等待时间 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
svctm: 平均每次设备I/O操作的服务时间 (毫秒)。即 delta(use)/delta(rio+wio)
%util: 一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间 I/O 队列是非空的。即 delta(use)/s/1000 (因为use的单位为毫秒)
如果 %util 接近100%，说明产生的I/O请求太多，I/O系统已经满负荷，该磁盘
可能存在瓶颈。
idle小于70% IO压力就较大了,一般读取速度有较多的wait.
从上面的参数解释看，
1.%util值偏大，有的还达到了100%
2.%idle值随大部分大于70%，但是也在边缘
三：用sar命令看看系统信息
[root@MySQL01 ~]# sar 1 10
Linux 2.6.9-55.ELsmp (MySQL01) 10/27/2010
10:38:37 AM CPU %user %nice %system %iowait %idle
10:38:38 AM all 9.95 0.00 5.47 19.65 64.93
10:38:39 AM all 0.00 0.00 0.00 75.00 25.00
10:38:40 AM all 0.00 0.00 0.00 62.00 38.00
10:38:41 AM all 7.27 0.00 4.01 14.54 74.19
10:38:42 AM all 1.75 0.00 0.75 2.49 95.01
10:38:43 AM all 1.50 0.00 1.00 2.24 95.26
10:38:44 AM all 0.00 0.00 0.25 40.75 59.00
10:38:45 AM all 0.00 0.00 0.25 24.75 75.00
10:38:46 AM all 0.25 0.00 0.25 46.00 53.50
10:38:47 AM all 0.00 0.00 0.25 24.94 74.81
明显看到还是iowait过高，导致cpu使用别偏大
四：用top命令看看谁最活跃：
[root@p_w_picpaths ~]# top -d 1
top - 16:33:36 up 426 days, 2:04, 2 users, load average: 1.49, 2.72, 2.92
Tasks: 79 total, 1 running, 78 sleeping, 0 stopped, 0 zombie
Cpu(s): 2.2% us, 1.8% sy, 0.0% ni, 93.0% id, 3.0% wa, 0.0% hi, 0.0% si
Mem: 8309904k total, 6387968k used, 1921936k free, 286384k buffers
Swap: 2048248k total, 208k used, 2048040k free, 3555376k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
25912 squid 15 0 1991m 1.9g 1584 S 16 23.8 7404:15 squid
1 root 16 0 2612 548 468 S 0 0.0 0:01.51 init
2 root RT 0 0 0 0 S 0 0.0 0:03.06 migration/0
3 root 34 19 0 0 0 S 0 0.0 0:11.10 ksoftirqd/0
从结果看：是squid对硬盘的读写太频繁导致，确实这台机器上跑了一台squid，压力也不小
至此，一个问题的分析就结束了，大概是个思路罢了
查看CPU使用率：
[root@test187 tmp]# mpstat -P ALL
Linux 2.6.9-42.ELsmp (test187) 05/17/2011
03:20:01 PM CPU %user %nice %system %iowait %irq %soft %idle intr/s
03:20:01 PM all 0.00 0.00 0.03 0.00 0.02 0.00 99.94 1021.12
03:20:01 PM 0 0.00 0.00 0.03 0.00 0.02 0.00 99.94 510.85
03:20:01 PM 1 0.00 0.00 0.03 0.00 0.01 0.00 99.98 510.27
[root@test187 tmp]# mpstat 2 5
Linux 2.6.9-42.ELsmp (test187) 05/17/2011
03:20:07 PM CPU %user %nice %system %iowait %irq %soft %idle intr/s
03:20:09 PM all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1025.76
03:20:11 PM all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1021.11
03:20:13 PM all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1025.25
03:20:15 PM all 0.00 0.00 0.25 0.00 0.00 0.00 99.75 1029.95
03:20:17 PM all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1032.99
Average: all 0.00 0.00 0.05 0.00 0.00 0.00 99.95 1027.00
