内核的功用:进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能等
Process: 运行中的程序的一个副本,是被载入内存的一个指令集合
进程ID(Process ID,PID)号码被用来标记各个进程
UID、GID、和SELinux语境决定对文件系统的存取和访问权限
通常从执行进程的用户来继承
存在生命周期
task struct:Linux内核存储进程信息的数据结构格式
task list:多个任务的的task struct组成的链表
进程创建:
init:第一个进程
进程:都由其父进程创建,父子关系,CoW
fork(), clone()

进程基本状态

  • 创建状态:进程在创建时需要申请一个空白PCB(process control block进程控制块),向其中填写控制和管理进程的信息,完成资源分配。如果创建工作无法完成,比如资源无法满足,就无法被调度运行,把此时进程所处状态称为创建状态
  • 就绪状态:进程已准备好,已分配到所需资源,只要分配到CPU就能够立即运行
  • 执行状态:进程处于就绪状态被调度后,进程进入执行状态
  • 阻塞状态:正在执行的进程由于某些事件(I/O请求,申请缓存区失败)而暂时无法运行,进程受到阻塞。在满足请求时进入就绪状态等待系统调用
  • 终止状态:进程结束,或出现错误,或被系统终止,进入终止状态。无法再执行

状态之间转换的六种情况

  • 运行——>就绪:1,主要是进程占用CPU的时间过长,而系统分配给该进程占用CPU的时间是有限的;2,在采用抢先式优先级调度算法的系统中,当有更高优先级的进程要运行时,该进程就被迫让出CPU,该进程便由执行状态转变为就绪状态
  • 就绪——>运行:运行的进程的时间片用完,调度就转到就绪队列中选择合适的进程分配CPU
  • 运行——>阻塞:正在执行的进程因发生某等待事件而无法执行,则进程由执行状态变为阻塞状态,如发生了I/O请求
  • 阻塞——>就绪:进程所等待的事件已经发生,就进入就绪队列
    以下两种状态是不可能发生的:
    • 阻塞——>运行:即使给阻塞进程分配CPU,也无法执行,操作系统在进行调度时不会从阻塞队列进行挑选,而是从就绪队列中选取
    • 就绪——>阻塞:就绪态根本就没有执行,谈不上进入阻塞态

创建进程init

进程都由父进程创建

fork(),clone()

进程执行的优先级

0-139:

​ 1-99:实时优先级,数字越大优先级越高

​ 100-139:静态优先级,数字越小优先级越高

Nice值:管理员可调整,改变优先级

-20,19

进程优先级

进程优先级:
系统优先级:数字越小,优先级越高
0-139(CentOS4,5)
各有140个运行队列和过期队列
0-98,99(CentOS6)
实时优先级: 99-0 值最大优先级最高
nice值:-20到19,对应系统优先级100-139或99
Big O:时间复杂度,用时和规模的关系
O(1), O(logn), O(n)线性, O(n^2)抛物线, O(2^n)

相关概念

  • 进程内存:
    Page Frame: 页框,用存储页面数据,存储Page 4k
    LRU:Least Recently Used 近期最少使用算法,释放内存
    物理地址空间和线性地址空间
    MMU:Memory Management Unit 负责转换线性和物理地址
    TLB:Translation Lookaside Buffer 翻译后备缓冲器
    用于保存虚拟地址和物理地址映射关系的缓存
  • IPC: Inter Process Communication
    同一主机:signal:信号
    shm: shared memory
    semaphore:信号量,一种计数器
    不同主机:socket: IP和端口号
    RPC: remote procedure call
    MQ:消息队列,Kafka,ActiveMQ

LRU算法

进程状态

Linux内核:抢占式多任务

  • 进程类型:
    守护进程: daemon,在系统引导过程中启动的进程,和终端无关进程
    前台进程:跟终端相关,通过终端启动的进程
    注意:两者可相互转化,前台进程送到后台守护进程运行

  • 进程状态:
    运行态:running
    就绪态:ready(可以运行但cou未分配时间)

    睡眠态:
    可中断:interruptable
    不可中断:uninterruptable
    停止态:stopped,暂停于内存,但不会被调度,除非手动启动
    僵死态:zombie,结束进程,父进程结束前,子进程不关闭

系统管理工具

进程的分类:
CPU-Bound:CPU密集型,非交互
IO-Bound:IO密集型,交互
Linux系统状态的查看及管理工具:pstree, ps, pidof, pgrep, top, htop, glance, pmap, vmstat, dstat, kill, pkill, job, bg, fg, nohup
pstree命令:
pstree display a tree of processes
ps: process state
ps report a snapshot of the current processes
Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中

lsof -i 查看某一端口谁在使用

例如:losf -i :80 查看80端口的使用情况

查看linux80端口是什么程序在占用

lsof -i:80

pstree命令显示进程树

安装:

[root@node1 ~]# yum -y install psmisc

进程相关信息保存在/proc/PID目录下的各文件

ps查看系统进程

支持三种选项:
UNIX选项 如-A -e
BSD选项 如a
GNU选项 如--help

选项:

•a 选项包括所有终端中的进程
•x 选项与终端无关的进程
•u 选项显示进程所有者的信息
•f 选项显示进程树,相当于 --forest
•k|--sort 属性 对属性排序,属性前加- 表示倒序
•o 属性… 选项显示定制的信息 pid、cmd、%cpu、%mem
•L 显示支持的属性列表
-C cmdlist 指定命令,多个命令用,分隔
-L 显示线程
-e: 显示所有进程,相当于-A
-f: 显示完整格式程序信息
-F: 显示更完整格式的进程信息
-H: 以进程层级格式显示进程相关信息
-u userlist 指定有效的用户ID或名称
-U userlist 指定真正的用户ID或名称
-g gid或groupname 指定有效的gid或组名称
-G gid或groupname 指定真正的gid或组名称
-p pid 显示指pid的进程
--ppid pid 显示属于pid的子进程
-M 显示SELinux信息,相当于Z

ps输出属性

VSZ: Virtual memory SiZe,虚拟内存集,线性内存,进程占用虚拟内存空间的大小
RSS: ReSident Size, 常驻内存集,物理内存集,进程占用实际物理内存的大小

STAT:进程状态

R:running
S: interruptable sleeping
D: uninterruptable sleeping
T: stopped
Z: zombie
+: 前台进程
l: 多线程进程
L:内存分页并带锁
N:低优先级进程
<: 高优先级进程
s: session leader,会话(子进程)发起者

ps示例

查询正在运行的所有进程

ps aux

查看某一特定进程(tomcat)

ps -ef|grep tomcat

显示指定用户名(RUID)或用户ID的进程

显示指定用户名(EUID)或用户ID的进程

查看以root用户权限(实际和有效ID)运行的每个进程

ps -U root -u root

列出某个组拥有的所有进程(实际组ID:RGID或名称)

ps -fG nginx

列出有效组名称(或会话)所拥有的所有进程

显示指定的进程ID对应的进程

以父进程ID来显示其下所有的进程,如显示父进程为1234的所有进程

显示指定PID的多个进程

要按tty显示所属进程

ps -ft pts/0

以进程树显示系统中的进程如何相互链接

ps -e --forest

以进程树显示指定的进程

要显示一个进程的所有线程,将显示LWP(轻量级进程)以及NLWP(轻量级进程数)列

要列出所有格式说明符

查看进程的PID,PPID,用户名和命令

ps -eo pid,ppid,user,cmd
自定义格式显示文件系统组,ni值开始时间和进程的时间
ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime
使用其PID查找进程名称:
ps -p 1244 -o comm=
要以其名称选择特定进程,显示其所有子进程
ps -C sshd,bash
查找指定进程名所有的所属PID,在编写需要从std输出或文件读取PID的脚本时这个参数很有用
ps -C httpd,sshd -o pid=
检查一个进程的执行时间
ps -eo comm,etime,user | grep nginx
查找占用最多内存和CPU的进程
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head
显示安全信息
ps -eM
ps --context
使用以下命令以用户定义的格式显示安全信息
ps -eo euser,ruser,suser,fuser,f,comm,label
使用watch实用程序执行重复的输出以实现对就程进行实时的监视,如下面的命令显示每秒钟的监视
watch -n 1 'ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head

进程优先级

进程优先级调整
静态优先级:100-139
进程默认启动时的nice值为0,优先级为120
只有根用户才能降低nice值(提高优先性)

进程内存

进程内存的储存空间是虚拟的

page frame:页框,存储页面数据

nice命令

renice命令

renice [-n] priority pid...

查看

ps axo pid,comm,ni

搜索进程

最灵活:ps 选项 | 其它命令
按预定义的模式:pgrep
pgrep [options] pattern
-u uid: effective user,生效者
-U uid: real user,真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名
-a: 显示完整格式的进程名
-P pid: 显示指定进程的子进程
按确切的程序名称:/sbin/pidof
pidof bash

系统工具uptime

uptime

显示当前时间,系统已启动的时间、当前上线人数,系统平均负载(1、5、10分钟的平均负载,一般不会超过1)

系统平均负载:
指在特定时间间隔内运行队列中的平均进程数
通常每个CPU内核的当前活动进程数不大于3,那么系统的性能良好。如果每个CPU内核的任务数大于5,那么此主机的性能有严重问题
如果linux主机是1个双核CPU,当Load Average 为6的时候说明机器已经被充分使用

top

首部信息:

top:当前系统时间

up:运行时长

users:登陆的用户数

load average:系统平均负载1分钟,5分钟,15分钟的

(1代表单颗cpu满负载)

tashk:进程数

running:当前运行的个数

sleeping:处于睡眠状态的个数

stopped:处于停止状态的进程

zombie:停止僵死状态个数

%cpu:显示cpu信息,us用户空间程序占据的%比,sy内核操作系统空间所占%比,ni:nice值,id:空闲比例,值越高,越闲。 wa:为了等待数据从磁盘调动到内存的,等待i/o完成的时间,时间值越低越好。 hi:处理硬件中断所消耗的时间的百分比 si:处理软中断所消耗时间的百分比 st:cpu虚拟机偷走的时间的比例

Kib mem:物理内存的总大小,剩余,已用,可用

kib swap:交换分区大小信息

排序

P:以占据的CPU百分比,%CPU
m:占据内存百分比,%MEM
T:累积占据CPU时长,TIME+

首部信息显示

uptime信息:l命令
tasks及cpu信息:t命令
cpu分别显示:1 (数字)
memory信息:m命令

退出命令:q
修改刷新时间间隔:s
终止指定进程:k +进程ID
保存文件:W

选项:

-d # 指定刷新时间间隔,默认为3秒
-b 批次显示所有进程
-n # 刷新多少次后退出
-H 线程模式,示例:top -H -p `pidof mysqld`

查看占用内存最多的进程

top命令之后按M

htop命令

蓝色:低优先级

绿色:正常优先级

红色:内核

选项

-d #: 指定延迟时间;
-u UserName: 仅显示指定用户的进程
-s COLUME: 跟踪选定进程的系统调用

子命令

s:跟踪选定进程的系统调用
l:显示选定进程打开的文件列表
a:将选定的进程绑定至某指定CPU核心
t:显示进程树
[:绑定选定的进程至指定为某一cpu核心

注意:Fedora-EPEL源

vmstat 查看虚拟内存信息

wmstat

显示如下信息

proc:
    r:等待运行的进程个数
    b:处于阻塞不可中断睡眠的进程个数    
memory:
    swpd:交换内存的使用总量
    free:空闲物理内存总量
    bufer:用于bufer的内存总量,缓冲
    cache:用于cache的内存总量,缓存
swap:
    si:数据进入swap的数据速率(kb/s)
    so:数据离开swap的数据速率(kb/s)
io:
    bi:从块设备读入数据到系统的速率(kb/s)
    bo:保存数据到块设备的速率(kb/s)
system:
    in:中断速率
    cs:上下文,进程切换速率
cpu:
    us:用户空间占据的比例
    sy:内核空间占用的比列
    id:空闲比率
    wa:等待io完成所消耗的比率
    st:被虚拟化偷走的时间比率

每隔两秒刷新一次

wmstat 2  
wmstat 2  5   两秒刷新一次,5次后退出

选项

-s 显示内存的统计数据

pmap报告进程的内存映射

原理:读取cat /proc/PID/maps

选项:

-x  扩展显示详细格式的信息

dstat 生成系统资源统计信息

使用:man dstat

free查看真实内存空间

使用方法:

free [OPTION]

选项:

-b 以字节为单位
-m 以MB为单位
-g 以GB为单位
-h 易读格式
-o 不显示-/+buffers/cache行
-t 显示RAM + swap的总和
-s n 刷新间隔为n秒
-c n 刷新n次后即退出

内存工具

  • vmstat命令:虚拟内存信息
    vmstat [options][delay [count]]
    vmstat 2 5
  • procs:
    r:可运行(正运行或等待运行)进程的个数,和核心数有关
    b:处于不可中断睡眠态的进程个数(被阻塞的队列的长度)
  • memory:
    swpd: 交换内存的使用总量
    free:空闲物理内存总量
    buffer:用于buffer的内存总量
    cache:用于cache的内存总量
  • swap:
    si:从磁盘交换进内存的数据速率(kb/s)
    so:从内存交换至磁盘的数据速率(kb/s)
  • io:
    bi:从块设备读入数据到系统的速率(kb/s)
    bo: 保存数据至块设备的速率
  • system:
    in: interrupts 中断速率,包括时钟
    cs: context switch 进程切换速率
  • cpu:
    us:Time spent running non-kernel code
    sy: Time spent running kernel code
    id: Time spent idle. Linux 2.5.41前,包括IO-wait time.
    wa: Time spent waiting for IO. 2.5.41前,包括in idle.
    st: Time stolen from a virtual machine. 2.6.11前, unknown.

选项:

-s: 显示内存的统计数据

系统监控工具

iostat:统计CPU和设备IO信息

iftop:显示带宽使用情况,EPEL源

pmap命令:进程对应的内存映射

pmap [options] pid [...]
​ -x: 显示详细格式的信息
示例:pmap 1
另外一种实现
​ cat /proc/PID/maps

glances命令:EPEL源

glances [-bdehmnrsvyz1][-B bind] [-c server][-C conffile] [-p port][-P password] [--password][-t refresh] [-f file][-o output]
内建命令:

a Sort processes automatically l Show/hide logs
c Sort processes by CPU% b Bytes or bits for network I/O
m Sort processes by MEM% w Delete warning logs
p Sort processes by name x Delete warning and critical logs
i Sort processes by I/O rate 1 Global CPU or per-CPU stats
d Show/hide disk I/O stats h Show/hide this help screen
f Show/hide file system stats t View network I/O as combination
n Show/hide network stats u View cumulative network I/O
s Show/hide sensors stats q Quit (Esc and Ctrl-C also work)
y Show/hide hddtemp stats

常用选项

-b: 以Byte为单位显示网卡数据速率
-d: 关闭磁盘I/O模块
-f /path/to/somefile: 设定输入文件位置
-o {HTML|CSV}:输出格式
-m: 禁用mount模块
-n: 禁用网络模块
-t #: 延迟时间间隔
-1:每个CPU的相关数据单独显示

C/S模式下运行glances命令
服务器模式:
glances -s -B IPADDR
IPADDR: 指明监听的本机哪个地址
客户端模式:
glances -c IPADDR
IPADDR:要连入的服务器端地址

dstat命令:系统资源统计,代替vmstat,iostat

dstat [-afv][options..] [delay [count]]

选项:

-c 显示cpu相关信息
-C #,#,...,total
-d 显示disk相关信息
-D total,sda,sdb,...
-g 显示page相关统计数据
-m 显示memory相关统计数据
-n 显示network相关统计数据
-p 显示process相关统计数据
-r 显示io请求相关的统计数据
-s 显示swapped相关的统计数据
--tcp
--udp
--unix
--raw
--socket
--ipc
--top-cpu:显示最占用CPU的进程
--top-io: 显示最占用io的进程
--top-mem: 显示最占用内存的进程
--top-latency: 显示延迟最大的进程

iotop监视磁盘I/O

otop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI,其中包括PID、用户、I/O、进程等相关信息,可查看每个进程是如何使用IO

iotop输出
第一行:Read和Write速率总计
第二行:实际的Read和Write速率
第三行:参数如下:
线程ID(按p切换为进程ID)
优先级
用户
磁盘读速率
磁盘写速率
swap交换百分比
IO等待所占的百分比
线程/进程命令

选项:

-o, --only只显示正在产生I/O的进程或线程,除了传参,可以在运行过程中按o生效
-b, --batch非交互模式,一般用来记录日志
-n NUM, --iter=NUM设置监测的次数,默认无限。在非交互模式下很有用
-d SEC, --delay=SEC设置每次监测的间隔,默认1秒,接受非×××数据例如1.1
-p PID, --pid=PID指定监测的进程/线程
-u USER, --user=USER指定监测某个用户产生的I/O
-P, --processes仅显示进程,默认iotop显示所有线程
-a, --accumulated显示累积的I/O,而不是带宽
-k, --kilobytes使用kB单位,而不是对人友好的单位。在非交互模式下,脚本编程有用

lsof 查看系统文件

lsof:list open files查看当前系统文件的工具。在linux环境下,一切皆文件,用户通过文件不仅可以访问常规数据,还可以访问网络连接和硬件如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等,系统在后台都为该应用程序分配了一个文件描述符

选项:

-a:列出打开文件存在的进程
-c<进程名>:列出指定进程所打开的文件
-g:列出GID号进程详情
-d<文件号>:列出占用该文件号的进程
+d<目录>:列出目录下被打开的文件
+D<目录>:递归列出目录下被打开的文件
-n<目录>:列出使用NFS的文件
-i<条件>:列出符合条件的进程(4、6、协议、:端口、 @ip )
-p<进程号>:列出指定进程号所打开的文件
-u:列出UID号进程详情
-h:显示帮助信息
-v:显示版本信息。
-n: 不反向解析网络名字

实列:

查看由登陆用户启动而非系统启动的进程
lsof /dev/pts1
指定进程号,可以查看该进程打开的文件
lsof -p 9527
文件管理
查看指定程序打开的文件
lsof -c httpd
查看指定用户打开的文件
lsof -u root | more
查看指定目录下被打开的文件
lsof +D /var/log/
lsof +d /var/log/
参数+D为递归列出目录下被打开的文件,参数+d为列出目录下被打开的文件
网络管理
查看所有网络连接
lsof -i –n lsof -i@127.0.0.1
通过参数-i查看网络连接的情况,包括连接的ip、端口等以及一些服务的连接情况,例如:sshd等。也可以通过指定ip查看该ip的网络连接情况
查看端口连接情况
lsof -i :80 -n
通过参数-i:端口可以查看端口的占用情况,-i参数还有查看协议,ip的连接情况等
查看指定进程打开的网络连接
lsof -i –n -a -p 9527
参数-i、-a、-p等,-i查看网络连接情况,-a查看存在的进程,-p指定进程
查看指定状态的网络连接
lsof -n -P -i TCP -s TCP:ESTABLISHED
-n:no host names, -P:no port names,-i TCP指定协议,-s指定协议状态通过多个参数可以清晰的查看网络连接情况、协议连接情况等
恢复删除文件
lsof |grep /var/log/messages
rm -f /var/log/messages
lsof |grep /var/log/messages
cat /proc/653/fd/6
cat /proc/653/fd/6 > /var/log/messages

nslookup,dig,top,traceroute的各自作用

nslookup:测网络中DNS服务器是否能正确实现域名解析
dig: DNS查询
top:实时查看系统资源占用情况
traceroute:追踪数据包在网络上的传输时全部路径

kill进程控制信号

kill命令:向进程发送控制信号,以实现对进程管理,每个信号对应一个数字,信号名称以SIG开头(可省略),不区分大小写

显示当前系统可用信号: kill –l 或者 trap -l
常用信号:man 7 signal
1) SIGHUP 无须关闭进程而让其重读配置文件
2) SIGINT 中止正在运行的进程;相当于Ctrl+c
3) SIGQUIT 相当于ctrl+\
9) SIGKILL 强制杀死正在运行的进程
15) SIGTERM 终止正在运行的进程
18) SIGCONT 继续运行
19) SIGSTOP 后台休眠
指定信号的方法 : (1) 信号的数字标识:1, 2, 9
               (2) 信号完整名称:SIGHUP
               (3) 信号的简写名称:HUP(去掉SIG的后半部分)
     -SIGNAL
     -u uid: effective user,生效者
     -U uid: real user,真正发起运行命令者
     -t terminal: 与指定终端相关的进程
     -l: 显示当前支持的信号
     -a: 显示完整格式的进程名(pgrep可用)
     -P pid: 显示指定进程的子进程

使用信号的方法

1:信号的数字标识 如:kill 9 进程id

2: 信号的完整名称

3: 信号的简写名称HUP

作业控制

前台作业:通过终端启用,但占据命令行提示符

后台作业:通过终端启用,但在后台运行释放终端

如何运行于后台

ctrl+z  运行中的
command &  运行前命令+&符号变为后台运行

注:虽然被送往后台,但依然与终端相关,如送往后台想剥离与终端的关系

nohup command &  后台执行并剥离与前台关系

查看所有作业

jobs

作业控制

fg %作业号  调回前台
bg %作业号 把送往后台的作业在后台继续运行
kill  %作业号  终止指定的作业

并行运行

同时运行多个进程,提高效率

方法1
    vi all.sh
    f1.sh&
    f2.sh&
    f3.sh&
方法2
     (f1.sh&);(f2.sh&);(f3.sh&)
方法3
     { f1.sh& f2.sh& f3.sh& }

等待i/o

用户输出