页面刷新慢,排查步骤
1、在后台日志中找到查询慢的sql,确定是哪个库哪张表。(tail -f **.log > event.log)
2、在mysql中执行show processlist;(或者show full processlist;)查看是否有查询慢的sql,和日志里捞出来的sql一致
。
show processlist;详解
最近排查一些MySQL的问题,会经常用到 show processlist,所以在这里把这个命令总结一下,做个备忘,以备不时只需。
show processlist 是显示用户正在运行的线程,需要注意的是,除了 root 用户能看到所有正在运行的线程外,其他用户都只能看到自己正在运行的线程,看不到其它用户正在运行的线程。除非单独给这个用户赋予了PROCESS 权限。
root用户,可以看到全部线程运行情况,普通的activiti用户只能看到自己的,单独给activiti用户授PROCESS权限,(授权后需要退出重新登录)show processlist 显示的信息都是来自MySQL系统库 information_schema 中的 processlist 表。
所以使用下面的查询语句可以获得相同的结果:
select * from information_schema.processlist
了解这些基本信息后,下面我们看看查询出来的结果都是什么意思。
Id: 就是这个线程的唯一标识,当我们发现这个线程有问题的时候,可以通过 kill 命令,加上这个Id值将这个线程杀掉。前面我们说了show processlist 显示的信息时来自information_schema.processlist 表,所以这个Id就是这个表的主键。
User: 就是指启动这个线程的用户。
Host: 记录了发送请求的客户端的 IP 和 端口号。通过这些信息在排查问题的时候,我们可以定位到是哪个客户端的哪个进程发送的请求。
DB: 当前执行的命令是在哪一个数据库上。如果没有指定数据库,则该值为 NULL 。
Command: 是指此刻该线程正在执行的命令。这个很复杂,下面单独解释
列名 | 含义 |
Id | 就是这个线程的唯一标识,当我们发现这个线程有问题的时候,可以通过 kill 命令,加上这个Id值将这个线程杀掉。前面我们说了show processlist 显示的信息时来自information_schema.processlist 表,所以这个Id就是这个表的主键。 |
User | 就是指启动这个线程的用户。 |
Host | 记录了发送请求的客户端的 IP 和 端口号。通过这些信息在排查问题的时候,我们可以定位到是哪个客户端的哪个进程发送的请求。 |
DB | 当前执行的命令是在哪一个数据库上。如果没有指定数据库,则该值为 NULL 。 |
Command | 是指此刻该线程正在执行的命令。这个很复杂,下面单独解释 |
Time | 表示该线程处于当前状态的时间 |
State | 线程的状态,和 Command 对应,下面单独解释。 |
Info | 一般记录的是线程执行的语句。默认只显示前100个字符,也就是你看到的语句可能是截断了的,要看全部信息,需要使用 show full processlist。 |
下面我们单独看一下 Command 的值:
Command值 | 含义 |
Binlog Dump | 主节点正在将二进制日志 ,同步到从节点 |
Change User | 正在执行一个 change-user 的操作 |
Close Stmt | 正在关闭一个Prepared Statement 对象 |
Connect | 一个从节点连上了主节点Connect |
Out | 一个从节点正在连主节点 |
Create DB | 正在执行一个create-database 的操作 |
Daemon | 服务器内部线程,而不是来自客户端的链接 |
Debug | 线程正在生成调试信息 |
Delayed Insert | 该线程是一个延迟插入的处理程序 |
Drop DB | 正在执行一个 drop-database 的操作 |
Execute | 正在执行一个 Prepared Statement |
Fetch | 正在从Prepared Statement 中获取执行结果 |
Field List | 正在获取表的列信息 |
Init DB | 该线程正在选取一个默认的数据库 |
Kill | 正在执行 kill 语句,杀死指定线程 |
Long Data | 正在从Prepared Statement 中检索 long data |
Ping | 正在处理 server-ping 的请求 |
Prepare | 该线程正在准备一个 Prepared Statement |
ProcessList | 该线程正在生成服务器线程相关信息 |
Query | 该线程正在执行一个语句 |
Quit | 该线程正在退出 |
Refresh | 该线程正在刷表,日志或缓存;或者在重置状态变量,或者在复制服务器信息 |
Register Slave | 正在注册从节点 |
Reset Stmt | 正在重置 prepared statement |
Set Option | 正在设置或重置客户端的 statement-execution 选项 |
Shutdown | 正在关闭服务器 |
Sleep | 正在等待客户端向它发送执行语句 |
Statistics | 该线程正在生成 server-status 信息 |
Table Dump | 正在发送表的内容到从服务器 |
Time | Unused |
如果有歧义可以查看官方文档: 8.14.1 Thread Command Values
下面我们看看 State 的值有哪些:
… 发现有大神已经总结的超好了:MySQL SHOW PROCESSLIST协助故障诊断…
官方文档关于 State 的解释: 8.14.2 General Thread States
下面是常用到的SQL,记录下来便于使用。
按客户端 IP 分组,看哪个客户端的链接数最多
select client_ip,count(client_ip) as client_num from (select substring_index(host,':' ,1) as client_ip from processlist ) as connect_info group by client_ip order by client_num desc;
查看正在执行的线程,并按 Time 倒排序,看看有没有执行时间特别长的线程
select * from information_schema.processlist where Command != 'Sleep' order by Time desc;
找出所有执行时间超过 5 分钟的线程,拼凑出 kill 语句,方便后面查杀
select concat('kill ', id, ';') from information_schema.processlist where Command != 'Sleep' and Time > 300 order by Time desc;
3、show table status like ‘表名’;
show table status like 'customeventsum';
+----------------+--------+---------+------------+---------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+-----------------+----------+----------------+---------+
| Name | Engine | Version | Row_format | Rows | Avg_row_length | Data_length | Max_data_length | Index_length | Data_free | Auto_increment | Create_time | Update_time | Check_time | Collation | Checksum | Create_options | Comment |
+----------------+--------+---------+------------+---------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+-----------------+----------+----------------+---------+
| customeventsum | InnoDB | 10 | Dynamic | 2209596 | 69 | 154140672 | 0 | 473776128 | 5242880 | NULL | 2018-01-19 16:02:43 | 2018-09-13 10:54:43 | NULL | utf8_general_ci | NULL | | |
+----------------+--------+---------+------------+---------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+---------------------+------------+-----------------+----------+----------------+---------+
1 row in set (0.02 sec)
数据行数大概在:2209596
Data_length:154140672
Data_free:5242880
表空间碎片很小,不用做碎片清理.
字段名 | 含义 |
Name | 表名 |
Engine | 表的存储引擎类型。在旧版本中,该列的名叫Type,而不是Engine。 |
Version | 版本 |
Row_format | 行格式。对于MyISAM引擎,这可能是Dynamic,Fixed或Compressed。Dynamic(动态行)的行长度可变,一般包含可变长的字段,如 Varchar 或 Blob 类型字段。Fixed(固定行)是指行长度是不变的,只包含固定的长度列,例如 Char 和Integer 类型字段。Compressed 的行旨在压缩表中存在。 |
Rows | 表中的行数。对于非事务性表(MyISAM),这个值是精确的,对于事务性引擎(InnoDB),这个值通常是估算的。 |
Avg_row_length | 平均每行包含的字节数(单位:字节) |
Data_length | 整个表的数据量(单位:字节) |
Max_data_length | 表可以容纳的最大数据量,该值和存储引擎有关。 |
Index_length | 索引占用磁盘的空间大小(单位:字节) |
Data_free | 对于MyISAM表,表示已分配,但现在未使用的空间,并且包含了已被删除行的空间(行),以及后续可以被 INSERT 利用到的空间。 |
Auto_increment | 下一个 Auto_increment 的值 |
Create_time | 表的创建时间 |
Update_time | 表的最近修改时间(更新时间) |
Check_time | 使用 check table 命令 或 myisamchk 工具最近一次检查表时间 |
Collation | 表的默认字符集和字符排序规则 |
Checksum | 如果启用,保存的是整个表的实时校验和 |
Create_options | 指表创建时的其他所有选项 |
Comment | 包含了其他额外信息,MyISAM 引擎(表),保存的是表在创建时已有的注释;innodb引擎(表),保存的是InnoDB表空间的剩余空间信息;如果是一个视图,该列(注释)里面包含了 VIEW 字样。 |
4、主要是针对查询出来的表进行分析,是否添加索引和清理碎片。
5、添加索引语句
create index ind_cross_customeventuser_1 on cross_customeventuser(developerid,productid,eventId,starttime_day);
6、清理碎片语句
经常用到查看碎片的sql:
SELECT table_schema,TABLE_NAME , concat(data_free/1024/1024/1024,"G") as free,concat(data_length/1024/1024/1024,"G") as data FROM `information_schema`.tables WHERE data_free >8*1024*1024 AND ENGINE ='innodb' ORDER BY data_free DESC;
清理碎片的sql
optimize table 表名