Linux Cpu使用率和perf工具简介

你最常用什么指标来描述系统的CPU性能呢？答案可能不是平均负载，也不是CPU上下文切换，而是另外一个更直观的指标一CPU使率。

CPU使用率是单位时间内CPU使用情况的统计，以百分比的方式展示。那么, 作为最常用也是最熟悉的CPU指标，你能说出CPU使用率到底是怎么算出来的吗？再有，诸 如top、ps之类的性能工具展示的％user、％nice、％system、%iowait、%steal等等，你又能弄清楚它们之间的不同吗？

 

CPU的5种状态

---

在linux平台下cpu存在5种状态使用组合。

 

CPU使用率

---

Linux作为一个多任务操作系统，将每个CPU的时间划分为很短的时间片，再通过调度器轮流分配给各个任务使用，因此造成多任务同时运行的错觉。

为了维护CPU时间，Linux通过事先定义的节拍率（内核中表示为HZ）触发时间中断，并使用全局变量Jiffies记录了开机以来的节拍数。每发生一次时间中断，Jiffies的值就加1。

节拍率HZ是内核的可配选项，可以设置为100、250、1000等。不同的系统可能设置不同数 值，你可以通过查询/boot/config内核选项来查看它的配置值。比如在我的系统中，节拍率设置成了1000,也就是每秒钟触发1000次时间中断。

$ grep 'CONFIG_HZ=' /boot/config-$(uname -r)
CONFIG_HZ=250

同时，正因为节拍率HZ是内核选项，所以用户空间程序并不能直接访问。为了方便用户空间程序，内核还提供了一个用户空间节拍率USER_HZ，它总是固定为100,也就是1/100秒。这 样，用户空间程序并不需要关心内核中HZ被设置成了多少，因为它看到的总是固定值 USERHZ

Linux通过/proc虚拟文件系统，向用户空间提供了系统内部状态的信息，而/proc/stat提供的就是系统的CPU和任务统计信息。比方说，如果你只关注CPU的话，可执行下面的命令：

# 只保留各个CPU的数据
$ cat /proc/stat | grep ^cpu
cpu  280580 7407 286084 172900810 83602 0 583 0 0 0
cpu0 144745 4181 176701 86423902 52076 0 301 0 0 0
cpu1 135834 3226 109383 86476907 31525 0 282 0 0 0

这里的输出结果是一个表格。其中，第一列表示的是CPU编号，如cpu，cpu1 ,而第一行没有编号的cpu 表示的是所有CPU的累加。其他列则表示不同场景下CPU的累加节拍数，它的单位是USER_HZ 也就是10 ms （1/100秒），所以这其实就是不同场景下的CPU时间。

这里每一列的顺序并不需要你背下来。你只要记住，有需要的时候，查询man proc就可以。不过，你要清楚man proc文档里 每一列的涵义，它们都是CPU使用率相关的重要指标，你还会在很多其他的性能工具中看到它们。下面依次解读一下。

・nice （通常缩写为ni），代表低优先级用户态CPU时间，也就是进程的nice值被调整为1- 19之间时的CPU时间。这里注意，nice可取值范围是-20到19,数值越大，优先级反而越低。

・user （通常缩写为us），代表用户态CPU时间。注意，它不包括下面的nice时间，但包括了guest 时间。

・system （通常缩写为sys），代表内核态CPU时间。

・idle （通常缩写为id）,代表空闲时间。注意，它不包括等待I/O的时间（iowait）.

・iowait （通常缩写为wa），代表等待I/O的CPU时间。

・irq （通常缩写为hi），代表处理硬中断的CPU时间。

・softirq （通常缩写为si），代表处理软中断的CPU时间。

・steal （通常缩写为st），代表当系统运行在虚拟机中的时候，被其他虚拟机占用的CPU时间。

・guest （通常缩写为guest），代表通过虚拟化运行其他操作系统的时间，也就是运行虚拟机的CPU时间。

 . guest_nice （通常缩写为gnice），代表以低优先级运行虚拟机的时间。

而我们通常所说的CPU使用率，就是除了空闲时间外的其他时间占总CPU时间的百分比，用 公式来表示就是：

根据这个公式，我们就可以从/proc/stat中的数据，很容易地计算出CPU使用率。当然，也可以用每一个场景的CPU时间，除以总的CPU时间，计算出每个场景的CPU使用率。不过先不要着急计算，你能说出，直接用/proc/stat的数据，算的是什么时间段的CPU使用率吗？

看到这里，你应该想起来了，这是开机以来的节拍数累加值，所以直接算出来的，是开机以来的平均 CPU 使用率，一般没啥参考价值。

事实上，为了计算 CPU 使用率，性能工具一般都会取间隔一段时间（比如 3 秒）的两次值，作差后，再计算出这段时间内的平均 CPU 使用率，即

这个公式，就是我们用各种性能工具所看到的CPU使用率的实际计算方法。

现在，我们知道了系统CPU使用率的计算方法，那进程的呢？跟系统的指标类似，Linux也给每个进程提供了运行情况的统计信息，也就是/proc/[pid]/stat。不过，这个文件包含的数据就比较丰富了，总共有52列的数据。

当然，不用担心，因为你并不需要掌握列的含义。还是那句话，需要的时候，查man proc就行。

回过头来看，是不是说要查看CPU使用率，就必须先读取/proc/stat和/proc/[pid]/stat这两 个文件，然后再按照上面的公式计算出来呢？

当然不是，各种各样的性能分析工具已经帮我们计算好了。不过要注意的是，性能分析工具给出的都是冋隔一段时间的平均CPU使用率，所以要注意间隔时间的设置，特别是用多个工具对比分析时，你一定要保证它们用的是相同的间隔时间。

比如，对比一下top和ps这两个工具报告的CPU使用率，默认的结果很可能不一样，因为 top默认使用3秒时间间隔，而ps -aux使用的却是进程的整个生命周期。

 

 

怎么查看CPU使用率

---

知道了 CPU使用率的含义后，我们再来看看要怎么查看CPU使率。说到查看CPU使用率的 工具，我猜你第一反应肯定是top和ps。的确，top和ps是最常用的性能分析工具：

•top显示了系统总体的CPU和内存使用情况，以及各个进程的资源使用情况。

• ps则只显示了每个进程的资源使用情况.

比如，top的输出格式为：

[root@www ~]# top
top - 11:38:22 up 23 min,  3 users,  load average: 0.00, 0.32, 0.76
Tasks: 125 total,   1 running, 124 sleeping,   0 stopped,   0 zombie
%Cpu(s):  1.6 us,  0.0 sy,  0.0 ni, 98.4 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  1478952 total,   945776 free,   206860 used,   326316 buff/cache
KiB Swap:   524284 total,   524284 free,        0 used.  1091660 avail Mem 

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                     
  1552 root      20   0  157772   2124   1508 R   6.2  0.1   0:00.03 top                                         
     1 root      20   0  191312   4392   2516 S   0.0  0.3   0:01.62 systemd                                     
     2 root      20   0       0      0      0 S   0.0  0.0   0:00.04 kthreadd                                    
     3 root      20   0       0      0      0 S   0.0  0.0   0:00.13 ksoftirqd/0                                 
     5 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/0:0H                                
     6 root      20   0       0      0      0 S   0.0  0.0   0:00.04 kworker/u256:0                              
     7 root      rt   0       0      0      0 S   0.0  0.0   0:00.28 migration/0                                 
     8 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rcu_bh                                      
     9 root      20   0       0      0      0 S   0.0  0.0   0:01.14 rcu_sched                                   
    10 root      rt   0       0      0      0 S   0.0  0.0   0:00.00 watchdog/0                                  
    11 root      rt   0       0      0      0 S   0.0  0.0   0:00.00 watchdog/1                                  
    12 root      rt   0       0      0      0 S   0.0  0.0   0:00.21 migration/1                                 
    13 root      20   0       0      0      0 S   0.0  0.0   0:00.24 ksoftirqd/1 

这个输出结果中，第三行％Cpu就是系统的CPU使用率，具体每一列的含义上面讲过，只是把CPU时间变换成了 CPU使用率，我就不再重复讲了。不过需要注意，top默认显示的是所有CPU的平均值，这个时候你只需按下数字1 ,就可以切换到每个CPU的使用率了。

空之后是进程的实时信息，每个进程都有CPU列，表示进程的CPU 使用率。它是用户态和内核态CPU使用率的总和，包括进程用户空间使用的CPU、通过系统调用执行的内核空间CPU、以及在就绪队列等待运行的CPU。在虚拟化环境中，它还包括了运行虚拟机占用的CPU。

所以，到这里我们可以发现，top并没有细分进程的用户态CPU和内核态CPU，那要怎么查看每个进程的详细情况呢？pidstat它正是专门分析每个进程CPU使用情况的工具。比如，下面的pidstat命令，就间隔1秒展示了进程的5组CPU使用率，包括：

[root@www ~]# pidstat  1 5
Linux 3.10.0-693.el7.x86_64 (www.lutixia.com)   07/07/2020  _x86_64_  (4 CPU)

12:06:43 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
12:06:44 PM     0      1591    0.00    1.00    0.00    1.00     2  pidstat

12:06:44 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command

12:06:45 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
12:06:46 PM     0       684    0.00    1.00    0.00    1.00     2  irqbalance
12:06:46 PM     0      1591    1.00    1.00    0.00    2.00     2  pidstat

12:06:46 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
12:06:47 PM     0      1591    0.00    0.99    0.00    0.99     2  pidstat

12:06:47 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command

Average:      UID       PID    %usr %system  %guest    %CPU   CPU  Command
Average:        0       684    0.00    0.20    0.00    0.20     -  irqbalance
Average:        0      1591    0.20    0.60    0.00    0.80     -  pidstat
-最后的Average部分，还计算了 5组数据的平均值。

-用户态CPU使用率(%usr);
-内核态CPU使用率(%system);
-运行虚拟机CPU使用率(％guest);
-等待CPU使用率(％wait);
-以及总的CPU使用率(%CPU).

 

CPU使用率过高怎么办？

---

通过top、ps、pidstat等工具，你能够轻松找到CPU使用率较高(比如100%)的进程。接下来，你可能又想知道，占用CPU的到底是代码里的哪个函数呢？找到它，你才能更高效、更针对性地进行优化。

那么哪种工具适合在第一时间分析进程的CPU问题呢？我的推荐是perf。perf是Linux 2.6.31 以后内置的性能分析工具。它以性能事件采样为基础，不仅可以分析系统的各种事件和内核性能，还可用来分析指定应用程序的性能问题。

使用perf分析CPU性能问题，我来说两种最常见、也是我最喜欢的用法。

第一种常见用法是perf top，类似于top，它能够实时显示占用CPU时钟最多的函数或者指令，因此可以用来查找热点函数，使用界面如下所示：

[root@www ~]# perf top
Samples: 411  of event 'cpu-clock', 4000 Hz, Event count (approx.): 89968750 lost: 0/0 drop: 0/0                 
Overhead  Shared Object       Symbol                                                                             
   7.54%  [kernel]            [k] kallsyms_expand_symbol.constprop.1
   6.32%  [kernel]            [k] vsnprintf
   5.84%  libc-2.17.so        [.] __GI_____strtoull_l_internal
   5.35%  [kernel]            [k] format_decode
   4.62%  [kernel]            [k] number.isra.2
   4.62%  perf                [.] rb_next
   4.38%  libc-2.17.so        [.] __strcmp_sse42
   3.89%  [kernel]            [k] module_get_kallsym
   3.40%  perf                [.] __dso__load_kallsyms
   2.92%  [kernel]            [k] strnlen
   2.43%  [kernel]            [k] string.isra.7
   2.43%  libc-2.17.so        [.] _IO_feof
   2.43%  libc-2.17.so        [.] __memcpy_sse2
   1.95%  libc-2.17.so        [.] _IO_getdelim
   1.70%  [kernel]            [k] clear_page
   1.70%  [kernel]            [k] s_next
   1.70%  perf                [.] 0x00000000000d67b6

输出结果中，第一行包含三个数据，分别是采样数(Samples)、事件类型(event)和事件总数量(Event count)。比如这个例子中，perf总共采集了 411个CPU时钟事件，而总事件数 则为89968750 

另外，釆样数需要我们特别注意。如果采样数过少(比如只有十几个)，那下面的排序和百分就没什么实际参考价值了。

再往下看是一个表格式样的数据，每一行包括四列，分别是：

• 第一列Overhead，是该符号的性能事件在所有采样中的比例，用百分比来表示。

• 第二列Shared ，是该函数或指令所在的动态共享对象(Dynamic Shared Object)，如内核、进程名、动态链接库名、内核模块名等。

• 第三列Object，是动态共享对象的类型。比如[.]表示用户空间的可执行程序、或者动态链接库，而[k]则表示内核空间。

• 最后一列Symbol是符号名，也就是函数名。当函数名未知时，用十六进制的地址来表示。

还是以上面的输出为例，我们可以看到，占用CPU时钟最多的是perf工具自身，不过它的比例也只有4.62%，说明系统并没有CPU性能问题。perf top的使用你应该很清楚了吧。

接着再来看第二种常见用法，也就是perf record和perf report， perf top虽然实时展示了系统的性能信息，但它的缺点是并不保存数据，也就无法用于离线或者后续的分析。而perf record则提供了保存数据的功能，保存后的数据，需要你用perf report解析展示。

[root@www ~]# perf record
^C[ perf record: Woken up 1 times to write data ]
[ perf record: Captured and wrote 0.511 MB perf.data (7033 samples) ]

在实际使用中，我们还经常为perf top和perf record加上-g参数，开启调用关系的采样，方便我们根据调用链来分析性能问题。