一、MySql Query Optimizer
 MySql Query Optimizer 是 MySql 自带的查询优化器,专门负责优化 SELECT 语句。主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的Query提供它认为最优的执行计划(它认为最优的数据检索方式不见得是DBA认为最优的),这部分最耗费时间。
 当客户端向 MySQL 请求一条Query,命令解析器模块完成请求分类,区别出是 SELECT 并转发给MySQL Query Optimizer时,MySQL Query Optimizer 首先会对整条 Query 进行优化,处理掉一些常量表达式的预算,直接换算成常量值,并对 Query 中的查询条件进行简化和转换,如去掉一些无用或显而易见的条件,结构调整等。然后分析 Query 中的 Hint 信息(如果有),看Hint信息是否可以完全确定该 Query 的执行计划。如果没有 Hint 或 Hint 信息还不足以完全确定执行计划,则会读取所涉及对象的统计信息,根据 Query 进行相应的计算分析,然后再得出最后的执行计划。

二、MySQL常见瓶颈
 1、CPU:CPU饱和的情况一般发生在数据装入内存或从磁盘上读取数据时
 2、IO:磁盘I/O瓶颈发生在装入数据远大于内存容量的时候
 3、服务器硬件的性能瓶颈:可通过top、free、iostat和vmstat来查看系统的性能状态
  top:实时显示系统中各个进程的资源占用状况
  free:显示内存的使用情况,包括实体内存、虚拟的交换文件内存、共享内存区段以及系统核心使用的缓冲区等
  iostat:查看进程IO请求下发的数量、系统处理IO请求的耗时,进而分析进程与操作系统的交互过程中IO方面是否存在瓶颈
  vmstat:用来获得有关进程、虚拟内存、页面交换空间及 CPU 活动的信息,这些信息反映了系统的负载情况

三、 Explain
 使用 EXPLAIN 关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的,进而分析你的查询语句或是表结构的性能瓶颈。通过Explain关键字可以查看如下信息:
 1️⃣表的读取顺序
 2️⃣数据读取操作的操作类型
 3️⃣有哪些索引可以使用
 4️⃣实际使用了哪些索引
 5️⃣表之间的引用
 6️⃣每张表有多少行被优化器查询

 Explain + sql语句:

mysql性能分析工具 awr mysql性能分析工具_执行顺序


 各个字段的解释:

mysql性能分析工具 awr mysql性能分析工具_MySQL_02


 ①id:select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序(id值越大越优先执行,id值相同时顺序执行)

  id相同:执行顺序由上至下

mysql性能分析工具 awr mysql性能分析工具_执行顺序_03


  id不同:如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行

mysql性能分析工具 awr mysql性能分析工具_执行顺序_04


  id相同和不同同时存在:id如果相同,可以认为是一组,从上往下顺序执行;在所有组中,id值越大,优先级越高,越先执行(DERIVED:衍生出来的表,并不是真实存在的表)

mysql性能分析工具 awr mysql性能分析工具_执行顺序_05


 ②select_type:6种

  SIMPLE:简单的 select 查询,查询中不包含子查询或者UNION

  PRIMARY:查询中若包含任何复杂的子部分,最外层查询则被标记为PRIMARY,意为主查询

  SUBQUERY:在SELECT或WHERE列表中包含了子查询

  DERIVED:在FROM列表中包含的子查询被标记为DERIVED(衍生),MySQL会递归执行这些子查询, 把结果放在临时表里

  UNION:若第二个SELECT出现在UNION之后,则被标记为UNION;若UNION包含在FROM子句的子查询中,外层SELECT将被标记为DERIVED

  UNION RESULT:从UNION表获取结果的SELECT

 ③table:显示这一行的数据是关于哪张表的

 ④type:访问类型,是较为重要的一个指标,结果值从最好到最坏依次是:

system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL ,一般来说,得保证查询至少达到range级别,最好能达到ref

mysql性能分析工具 awr mysql性能分析工具_执行顺序_06


  system:表只有一行记录(等于系统表),这是const类型的特例,平时不会出现,这个也可以忽略不计

  const:表示通过索引一次就找到了,const用于比较primary key或者unique索引。因为只匹配一行数据,所以很快;如将主键置于where列表中,MySQL就能将该查询转换为一个常量

  eq_ref:唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描

  ref:非唯一性索引扫描,返回匹配某个单独值的所有行。本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体

  range:只检索给定范围的行,使用一个索引来选择行。key 列显示使用了哪个索引一般就是在你的where语句中出现了between、<、>、in等的查询条件,这种有范围的索引扫描比全表扫描要好,因为它只需要开始于索引的某一点,而结束于另一点,不用扫描全部索引

  index:Full Index Scan,index与ALL区别为index类型只遍历索引树。这通常比ALL快,因为索引文件通常比数据文件小。(也就是说虽然all和Index都是读全表,但index是从索引中读取的,而all是从硬盘中读的)

  all:Full Table Scan,将遍历全表以找到匹配的行

  备注:一般来说,得保证查询至少达到range级别,最好能达到ref

 ⑤possible_keys:显示可能应用在这张表中的索引,一个或多个。查询涉及到的字段上若存在索引,则该索引将被列出,但列出的索引不一定被查询使用

 ⑥key:实际使用的索引。如果为NULL,则没有使用索引;查询中若使用了覆盖索引,则该索引仅出现在key列表中

 ⑦key_len:表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好;key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的

 ⑧ref:显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值

 ⑨rows:根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数

 ⑩Extra:包含不适合在其他列中显示但十分重要的额外信息,比如:

  Using FileSort:说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取。性能不如使用表内索引。(MySQL中无法利用索引完成的排序操作称为“文件排序”)

  Using temporary:使用了临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于排序 order by 和分组查询 group by

  USING index:表示相应的select操作中使用了覆盖索引(Covering Index),避免访问了表的数据行,效率不错!如果同时出现using where,表明索引被用来执行索引键值的查找;如果没有同时出现using where,表明索引用来读取数据而非执行查找动作。(覆盖索引:包含所有满足查询需要的数据的索引称为 覆盖索引(Covering Index),MySQL可以利用索引返回select列表中的字段,而不必根据索引再次读取数据文件。注意:如果要使用覆盖索引,一定要注意select列表中只取出需要的列,不可select *,因为如果将所有字段一起做索引会导致索引文件过大,查询性能下降)

  Using where:表明使用了where过滤

  using join buffer:使用了连接缓存

  impossible where:where子句的值总是false,不能用来获取任何元组(过滤条件不可能为真,没有查询结果)

  select tables optimized away:在没有GROUPBY子句的情况下,基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT(*)操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化

  distinct:优化distinct操作,在找到第一个匹配的元组后即停止找同样值的动作四、案例

mysql性能分析工具 awr mysql性能分析工具_子查询_07


 第一行(执行顺序4):id列为1,表示是union里的第一个select,select_type列的primary表示该查询为外层查询(主查询),table列被标记为<derived3>,表示查询结果来自一个衍生表,其中derived3中3代表该查询衍生自第三个select查询,即id为3的select。【select d1.name …】

 第二行(执行顺序2):id为3,是整个查询中第三个select的一部分。因查询包含在from中,所以为derived。【select id,name from t1 where other_column=’’】

 第三行(执行顺序3):select列表中的子查询select_type为subquery,为整个查询中的第二个select。【select id from t3】

 第四行(执行顺序1):select_type为union,说明第四个select是union里的第二个select,最先执行【select name,id from t2】

 第五行(执行顺序5):代表从union的临时表中读取行的阶段,table列的<union1,4>表示用第一个和第四个select的结果进行union操作。【两个结果union操作】

注意:id值越大越优先执行