IO性能观测和分析工具

原创

wx63e351618d197 2023-02-16 10:09:20 ©著作权

©著作权归作者所有：来自51CTO博客作者wx63e351618d197的原创作品，请联系作者获取转载授权，否则将追究法律责任

IO 和存储密切相关，存储可以概括为磁盘，内存，缓存，三者读写的性能差距非常大，磁盘读写是毫秒级的（一般 0.1-10ms），内存读写是微秒级的（一般 0.1-10us），cache 是纳秒级的（一般 1-10ns）。但这也是牺牲其他特性为代价的，速度快的，价格越贵，容量也越小。

IO 性能这块，我们更多关注的是读写磁盘的性能。

以下为常见的工具分析：

磁盘IO性能分析

vmstat

vmstat 可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，内存使用，虚拟内存交换情况，IO读写情况。

常用命令

vmstat 2 1 表示每隔两秒采集一次服务器的状态，1表示只采集一次；

输出参数

r 表示运行队列(就是说多少个进程真的分配到CPU)，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。
b 表示阻塞的进程。
交换（swpd） 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。
空闲（free） 空闲的物理内存的大小。
buff（缓冲） 缓冲区的内存，用来存放等待保存到硬盘的数据的内存大小。
cache（缓存） cache被用来做为高速缓存的内存数。
si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。
so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。
bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0
bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。
in 每秒CPU的中断次数，包括时间中断
cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目。
us 用户CPU时间，例如：在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。
sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。
id 空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。
wt 等待IO CPU时间。

iostat

下载

iostat在sysstat工具包中，所以在Ubuntu下载只需要sudo apt-get install sysstat 即可；

应用

iostat是Linux中被用来监控系统设备的IO负载情况的工具，是input/output statistics(统计数据)的缩写。根据这个可以看出当前系统的写入量和读取量，CPU负载和磁盘负载。

缺点：

iostat也有一个缺点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。

注意：

1、一般来说%idle持续游走在20%以下，瓶颈出现在cpu的性能层面。

2、%iowait高而%idle在70%以上，瓶颈出现在i/o设备层面上。

常用命令

iostat -c 显示CPU使用情况
iostat -d 显示磁盘使用情况
iostat -N 显示磁盘阵列（LWM）信息
iostat -n 显示NFS使用情况
iostat -k 显示以KB为单位
iostat -m 显示以M为单位
iostat -t 报告每秒向终端读取和写入的字符数和CPU的信息
iostat -V 显示版本信息
iostat -x 显示详细信息
iostat -p 显示磁盘和分区的情况

常用命令：

iostat -dx 1 每隔一秒显示一次IO扩展信息。
iostat 2 4 每隔两秒显示一次，显示四次。

输出参数

系统信息：内核版本、当前日期、CPU架构、CPU核数目；
CPU使用统计信息：

%user：用户态进程使用率；
%nice：CPU处于用户态且具有nice优先权的占比；
%system：CPU处在系统模式下的时间百分比；
%iowait：CPU等待输入输出完成时间的百分比；
%steal：管理程序维护另一个虚拟处理器时，虚拟CPU的无意识等待时间百分比；
%idle：CPU空闲时间百分比。

输出信息解释：

如果%iowait的值过高，表示硬盘存在I/O瓶颈；

如果%idle值高，表示CPU较空闲；

如果%idle值高但系统响应慢时，可能是CPU等待分配内存，应加大内存容量；

如果%idle值持续低于10，表明CPU处理能力相对较低，系统中最需要解决的资源是CPU；

disk属性值说明

device:磁盘名称；
tps:每秒钟发送到的I/O请求数；
Blk_read/s:每秒读取的block数；
Blk_wrtn/s:每秒写入的block数；
Blk_read:读入的block总数；
Blk_wrtn:写入的block总数；

进程IO性能分析

iotop

iotop 是一个类似 top 的工具，用来显示实时的磁盘活动。Linux下的IO统计工具如iostat，nmon等大多数是只能统计到per设备的读写情况。iotop 监控 Linux 内核输出的 I/O 使用信息，并且显示一个系统中进程或线程的当前 I/O 使用情况。它显示每个进程/线程读写 I/O 带宽。它同样显示当等待换入和等待 I/O 的线程/进程花费的时间的百分比。