IO 和 存储密切相关,存储可以概括为磁盘,内存,缓存,三者读写的性能差距非常大,磁盘读写是毫秒级的(一般 0.1-10ms),内存读写是微秒级的(一般 0.1-10us),cache 是纳秒级的(一般 1-10ns)。但这也是牺牲其他特性为代价的,速度快的,价格越贵,容量也越小。

  IO 性能这块,我们更多关注的是读写磁盘的性能。

以下为常见的工具分析:

磁盘IO性能分析

vmstat

  vmstat 可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况。

  常用命令

  vmstat 2 1 表示每隔两秒采集一次服务器的状态,1表示只采集一次;

  输出参数

  • r 表示运行队列(就是说多少个进程真的分配到CPU),当这个值超过了CPU数目,就会出现CPU瓶颈了。这个也和top的负载有关系,一般负载超过了3就比较高,超过了5就高,超过了10就不正常了,服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大,表示你的CPU很繁忙,一般会造成CPU使用率很高。
  • b 表示阻塞的进程。
  • 交换(swpd) 虚拟内存已使用的大小,如果大于0,表示你的机器物理内存不足了,如果不是程序内存泄露的原因,那么你该升级内存了或者把耗内存的任务迁移到其他机器。
  • 空闲(free) 空闲的物理内存的大小。
  • buff(缓冲) 缓冲区的内存,用来存放等待保存到硬盘的数据的内存大小。
  • cache(缓存) cache被用来做为高速缓存的内存数。
  • si 每秒从磁盘读入虚拟内存的大小,如果这个值大于0,表示物理内存不够用或者内存泄露了,要查找耗内存进程解决掉。我的机器内存充裕,一切正常。
  • so 每秒虚拟内存写入磁盘的大小,如果这个值大于0,同上。
  • bi 块设备每秒接收的块数量,这里的块设备是指系统上所有的磁盘和其他块设备,默认块大小是1024byte,我本机上没什么IO操作,所以一直是0
  • bo 块设备每秒发送的块数量,例如我们读取文件,bo就要大于0。bi和bo一般都要接近0,不然就是IO过于频繁,需要调整。
  • in 每秒CPU的中断次数,包括时间中断
  • cs 每秒上下文切换次数,例如我们调用系统函数,就要进行上下文切换,线程的切换,也要进程上下文切换,这个值要越小越好,太大了,要考虑调低线程或者进程的数目。
  • us 用户CPU时间,例如:在一个做加密解密很频繁的服务器上,可以看到us接近100,r运行队列达到80(机器在做压力测试,性能表现不佳)。
  • sy 系统CPU时间,如果太高,表示系统调用时间长,例如是IO操作频繁。
  • id 空闲 CPU时间,一般来说,id + us + sy = 100,一般我认为id是空闲CPU使用率,us是用户CPU使用率,sy是系统CPU使用率。
  • wt 等待IO CPU时间。

iostat

下载

iostat在sysstat工具包中,所以在Ubuntu下载只需要sudo apt-get install sysstat 即可;

应用

iostat是Linux中被用来监控系统设备的IO负载情况的工具,是input/output statistics(统计数据)的缩写。根据这个可以看出当前系统的写入量和读取量,CPU负载和磁盘负载。

缺点:

iostat也有一个缺点,就是它不能对某个进程进行深入分析,仅对系统的整体情况进行分析。

  注意:

1、一般来说%idle持续游走在20%以下,瓶颈出现在cpu的性能层面。

2、%iowait高而%idle在70%以上,瓶颈出现在i/o设备层面上。

常用命令

  • iostat -c 显示CPU使用情况
  • iostat -d 显示磁盘使用情况
  • iostat -N 显示磁盘阵列(LWM)信息
  • iostat -n 显示NFS使用情况
  • iostat -k 显示以KB为单位
  • iostat -m 显示以M为单位
  • iostat -t 报告每秒向终端读取和写入的字符数和CPU的信息
  • iostat -V 显示版本信息
  • iostat -x 显示详细信息
  • iostat -p 显示磁盘和分区的情况

常用命令:

  • iostat -dx 1 每隔一秒显示一次IO扩展信息。
  • iostat 2 4 每隔两秒显示一次,显示四次。

输出参数

  • 系统信息: 内核版本、当前日期、CPU架构、CPU核数目;
  • CPU使用统计信息:
  • %user:用户态进程使用率;
  • %nice:CPU处于用户态且具有nice优先权的占比;
  • %system:CPU处在系统模式下的时间百分比;
  • %iowait:CPU等待输入输出完成时间的百分比;
  • %steal:管理程序维护另一个虚拟处理器时,虚拟CPU的无意识等待时间百分比;
  • %idle:CPU空闲时间百分比。
  • 输出信息解释:

如果%iowait的值过高,表示硬盘存在I/O瓶颈;

如果%idle值高,表示CPU较空闲;

如果%idle值高但系统响应慢时,可能是CPU等待分配内存,应加大内存容量;

如果%idle值持续低于10,表明CPU处理能力相对较低,系统中最需要解决的资源是CPU;

  • disk属性值说明
  • device:磁盘名称;
  • tps:每秒钟发送到的I/O请求数;
  • Blk_read/s:每秒读取的block数;
  • Blk_wrtn/s:每秒写入的block数;
  • Blk_read:读入的block总数;
  • Blk_wrtn:写入的block总数;


进程IO性能分析

iotop

iotop 是一个类似 top 的工具,用来显示实时的磁盘活动。Linux下的IO统计工具如iostat,nmon等大多数是只能统计到per设备的读写情况。iotop 监控 Linux 内核输出的 I/O 使用信息,并且显示一个系统中进程或线程的当前 I/O 使用情况。它显示每个进程/线程读写 I/O 带宽。它同样显示当等待换入和等待 I/O 的线程/进程花费的时间的百分比。

下载:

sudo apt-get install iotop

常用命令

需要sudo权限、在指令前加上sudo

  • -o, --only 只显示正在产生I/O的进程或线程。除了传参,可以在运行过程中按o生效。
  • -b, --batch 非交互模式,一般用来记录日志
  • -n NUM, --iter=NUM 设置监测的次数,默认无限。在非交互模式下很有用
  • -d SEC, --delay=SEC 设置每次监测的间隔,默认1秒,接受非整形数据例如1.1
  • -p PID, --pid=PID 指定监测的进程/线程
  • -u USER, --user=USER 指定监测某个用户产生的I/O
  • -P, --processes 仅显示进程,默认iotop显示所有线程
  • -a, --accumulated 显示累积的I/O,而不是带宽
  • -k, --kilobytes 使用kB单位,而不是对人友好的单位。在非交互模式下,脚本编程有用。
  • -t, --time 加上时间戳,非交互非模式。
  • -q, --quiet 禁止头几行,非交互模式。有三种指定方式。

-q 只在第一次监测时显示列名 -qq 永远不显示列名。 -qqq 永远不显示I/O汇总。

常用快捷键

  1. 左右箭头:改变排序方式,默认是按IO排序。
  2. r:改变排序顺序。
  3. o:只显示有IO输出的进程。
  4. p:进程/线程的显示方式的切换。
  5. a:显示累积使用量。
  6. q:退出。