(一)索引的概述


什么是索引: 索引用来快速地寻找那些具有特定值的记录,所有MySQL索引都以B-树的形式保存。 如果没有索引,执行查询时MySQL必须从第一个记录开始扫描整个表的 所有记录,直至找到符合要求的 记录。表里面的记录数量越多,这个操作的代价就越高。如果作为搜索条件的列上已经创建了索引, MySQL无需扫描任何记录即 可迅速得到目标记录所在的位置。如果表有 1000个记录,通过索引查找记 录至少要比顺序扫描记录快100倍。 


    对 于索引中的每一项,MySQL在内部为它保存一个数据文件中实际 记录所在位置的“指针”。因此, 如果我们要查找name等于“Mike”记录的 peopleid (SQL命令为“SELECT peopleid FROM people WHERE name=\'Mike\';”),MySQL能够在name 的索引中查找“Mike”值,然后直接转到数据文件中相应的行,准确地返回该行的 peopleid(999)。 在这个过程中,MySQL只需处理一个行就可以返回结果。如果没有“name”列的索引,MySQL要扫描 数据文件中的所有 记录,即1000个记录!显然,需要MySQL处理的记录数量越少,则它完成任务的速度 就越快。



(二)索引的类型


普通索引。 这是最基本的索引类型,而且它没有唯一性之类的限制。普通索引可以通过以下几种 方式创建: 


        o 创建索引,例如CREATE INDEX <索引的名字> ON tablename (列的列表); 
        o 修改表,例如ALTER TABLE tablename ADD INDEX [索引的名字] (列的列表); 
        o 创建表的时候指定索引,例如CREATE TABLE tablename ( [...], INDEX [索引的名字] (列的列表) ); 


唯一性索引 。这种索引和前面的“普通索引”基本相同,但有一个区别:索引列的所有值都只能出 现一次, 即必须唯一。唯一性索引可以用以下几种方式创建: 


        o 创建索引,例如CREATE UNIQUE INDEX <索引的名字> ON tablename (列的列表); 
        o 修改表,例如ALTER TABLE tablename ADD UNIQUE [索引的名字] (列的列表); 
        o 创建表的时候指定索引,例如CREATE TABLE tablename ( [...], UNIQUE [索引的名字] (列的列表) ); 


主键主键是一种唯一性索引,但它必须指定为“PRIMARY KEY”。如果你曾经用过AUTO_INCREMENT 类型的列,你可能已经熟悉主键之类的概念了。主键一般在创建表的时候指定, 例如“CREATE TABLE tablename ( [...], PRIMARY KEY (列的列表) ); ”。但是,我们也可以通过 修改表的方式加入主键,例如“ALTER TABLE tablename ADD PRIMARY KEY (列的列表); ”。每个表只能有 一个主键。


全文索引。MySQL从3.23.23版开始支持全文索引和全文检索。在MySQL中,全文索引的索引类型为 FULLTEXT。 全文索引可以在VARCHAR或者TEXT类型的列上创建。它可以通过CREATE TABLE命令创建,也可以通过ALTER TABLE 或CREATE INDEX命令创建。对于大规模的数据集,通过ALTER TABLE(或者CREATE INDEX)命令创建全文索引要比 把记录插入带有全文索引的空表更快。




(三)单列索引和多列索引


基本概念。索引可以是单列索引,也可以是多列索引。下面我们通过具体的例子来说明这两种索引的区别。假设有 这样一个people表: 


ALTER TABLE people ADD INDEX fname_lname_age (firstname,lastname,age);  由于索引文件以B-树格式保存,MySQL能够立即转到合适的firstname,然后再转到合适的lastname,最后转到合适的age。 在没有扫描数据文件任何一个记录的情况下,MySQL就正确地找出了搜索的目标记录!  那么,如果在firstname、lastname、age 这三个列上分别创建单列索引,效果是否和创建一个firstname、lastname、 age的多列索引一样呢?答案是否定的,两者完全不同。 当我们执行查询的时候,MySQL只能使用一个索引。如果你有三个单列的索引,MySQL会试图选 择一个限制最严格的索引。但是, 即使是限制最严格的单列索引,它的限制能力也肯定远远低于firstname、lastname、age这三个列上的多列 索引。 


最左索引。多列索引还有另外一个优点,它通过称为最左前缀(Leftmost Prefixing)的概念体现出来。例如, 现在我们有一个 firstname、lastname、age列上的多列索引,我们称这个索引 为fname_lname_age。当搜索条件是以下各种列的组合时,MySQL 将使用fname_lname_age索引: 

* firstname,lastname,age 
    * firstname,lastname 
    * firstname


从另一方面理解,它相当于我们创建了(firstname,lastname,age)、(firstname,lastname)以及(firstname)这些列组合上的索引。

(四)EXPLAIN分析结果的含义


* table:这是表的名字。 


* type:连接操作的类型。下面是MySQL文档关于ref连接类型的说明: 
     “对于每一种与另一个表中记录的组合,MySQL将从当前的表读取所有带有匹配索引值的记录。如果连接操作只使用键的最左前缀, 或者如果键不是 UNIQUE或 PRIMARY KEY类型(换句话说,如果连接操作不能根据键值选择出唯一行),则MySQL使用ref连接类型。 如果连接操作所用的键只匹配少量的记录,则ref是一 种好的连接类型。”  如果EXPLAIN显示连接类型是“ALL”,而且你并不想从表里面选择出大多数记录,那么MySQL的操作效率将非常低,因为它要扫描整个表。 你可以加入更多的索引来解决这个问题。预知更多信息,请参见MySQL的手册说明。 



* possible_keys: 可能可以利用的索引的名字。这里的索引名字是创建索引时指定的索引昵称;如果索引没有昵称,则默认显示的是索引 中第一个列的名字(在本例中,它是“firstname”)。默认索引名字的含义往往不是很明显。 



* Key: 它显示了MySQL实际使用的索引的名字。如果它为空(或NULL),则MySQL不使用索引。 


* key_len: 索引中被使用部分的长度,以字节计。在本例中,key_len是102,其中firstname占50字节,lastname占50字节,age占2字节。 如果MySQL只使用索引中的firstname部分,则key_len将是50。 


* ref: 它显示的是列的名字(或单词“const”),MySQL将根据这些列来选择行。在本例中,MySQL根据三个常量选择行。 


* rows:  MySQL所认为的它在找到正确的结果之前必须扫描的记录数。显然,这里最理想的数字就是1。 


* Extra: 这里可能出现许多不同的选项,其中大多数将对查询产生负面影响。在本例中,MySQL只是提醒我们它将用WHERE子句限制搜索结果集


<code class="hljs oxygene">type:


    连接类型



    system          表只有一行



    const          表最多只有一行匹配,通用用于主键或者唯一索引比较时



    eq_ref          每次与之前的表合并行都只在该表读取一行,这是除了system,const之外最好的一种,



                    特点是使用=,而且索引的所有部分都参与join且索引是主键或非空唯一键的索引



    ref            如果每次只匹配少数行,那就是比较好的一种,使用=或<=>,可以是左覆盖索引或非主键或非唯一键



    fulltext        全文搜索



    ref_or_null    与ref类似,但包括NULL



    index_merge    表示出现了索引合并优化(包括交集,并集以及交集之间的并集),但不包括跨表和全文索引。



                    这个比较复杂,目前的理解是合并单表的范围索引扫描(如果成本估算比普通的range要更优的话)



    unique_subquery 在in子查询中,就是value in (select...)把形如“select unique_key_column”的子查询替换。



                    PS:所以不一定in子句中使用子查询就是低效的!



    index_subquery  同上,但把形如”select non_unique_key_column“的子查询替换



    range          常数值的范围



    index          a.当查询是索引覆盖的,即所有数据均可从索引树获取的时候(Extra中有Using Index);



                    b.以索引顺序从索引中查找数据行的全表扫描(无 Using Index);



                    c.如果Extra中Using Index与Using Where同时出现的话,则是利用索引查找键值的意思;



                    d.如单独出现,则是用读索引来代替读行,但不用于查找



    all            全表扫描</code>


<code class="hljs oxygene"><code class="hljs asciidoc">1、all



-- 环境描述


(root@localhost) [sakila]> show variables like 'version'; 
  
 
  

    +---------------+--------+ 
  
 
  

    | Variable_name | Value  | 
  
 
  

    +---------------+--------+ 
  
 
  

    | version      | 5.6.26 | 
  
 
  

    +---------------+--------+


MySQL采取全表遍历的方式来返回数据行,等同于Oracle的full table scan


(root@localhost) [sakila]> explain select count(description) from film; 
  
 
  

    +----+-------------+-------+------+---------------+------+---------+------+------+-------+ 
  
 
  

    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra | 
  
 
  

    +----+-------------+-------+------+---------------+------+---------+------+------+-------+ 
  
 
  

    |  1 | SIMPLE      | film  | ALL  | NULL          | NULL | NULL    | NULL | 1000 | NULL  | 
  
 
  

    +----+-------------+-------+------+---------------+------+---------+------+------+-------+

2、index



MySQL采取索引全扫描的方式来返回数据行,等同于Oracle的full index scan


(root@localhost) [sakila]> explain select title from film \G 
  
 
  

    *************************** 1. row *************************** 
  
 
  

              id: 1 
  
 
  

      select_type: SIMPLE 
  
 
  

            table: film 
  
 
  

            type: index 
  
 
  

    possible_keys: NULL 
  
 
  

              key: idx_title 
  
 
  

          key_len: 767 
  
 
  

              ref: NULL 
  
 
  

            rows: 1000 
  
 
  

            Extra: Using index 
  
 
  

    1 row in set (0.00 sec)


3、  range


索引范围扫描,对索引的扫描开始于某一点,返回匹配值域的行,常见于between、<、>等的查询



等同于Oracle的index range scan


(root@localhost) [sakila]> explain select * from payment where customer_id>300 and customer_id<400\G 
  
 
  

    *************************** 1. row *************************** 
  
 
  

              id: 1 
  
 
  

      select_type: SIMPLE 
  
 
  

            table: payment 
  
 
  

            type: range 
  
 
  

    possible_keys: idx_fk_customer_id 
  
 
  

              key: idx_fk_customer_id 
  
 
  

          key_len: 2 
  
 
  

              ref: NULL 
  
 
  

            rows: 2637 
  
 
  

            Extra: Using where 
  
 
  

    1 row in set (0.00 sec) 
  
 

    (root@localhost) [sakila]> explain select * from payment where customer_id in (200,300,400)\G 
  
 
  

    *************************** 1. row *************************** 
  
 
  

              id: 1 
  
 
  

      select_type: SIMPLE 
  
 
  

            table: payment 
  
 
  

            type: range 
  
 
  

    possible_keys: idx_fk_customer_id 
  
 
  

              key: idx_fk_customer_id 
  
 
  

          key_len: 2 
  
 
  

              ref: NULL 
  
 
  

            rows: 86 
  
 
  

            Extra: Using index condition 
  
 
  

    1 row in set (0.00 sec)


4、ref


非唯一性索引扫描或者,返回匹配某个单独值的所有行。常见于使用非唯一索引即唯一索引的非唯一前缀进行的查找


(root@localhost) [sakila]> explain select * from payment where customer_id=305\G 
  
 
  

    *************************** 1. row *************************** 
  
 
  

              id: 1 
  
 
  

      select_type: SIMPLE 
  
 
  

            table: payment 
  
 
  

            type: ref 
  
 
  

    possible_keys: idx_fk_customer_id 
  
 
  

              key: idx_fk_customer_id 
  
 
  

          key_len: 2 
  
 
  

              ref: const 
  
 
  

            rows: 25 
  
 
  

            Extra: 
  
 
  

    1 row in set (0.00 sec)


idx_fk_customer_id为表payment上的外键索引,且存在多个不不唯一的值,如下查询



(root@localhost) [sakila]> select customer_id,count(*) from payment group by customer_id 
  
 
  

        -> limit 2; 
  
 
  

    +-------------+----------+ 
  
 
  

    | customer_id | count(*) | 
  
 
  

    +-------------+----------+ 
  
 
  

    |          1 |      32 | 
  
 
  

    |          2 |      27 | 
  
 
  

    +-------------+----------+


-- 下面是非唯一前缀索引使用ref的示例


(root@localhost) [sakila]> create index idx_fisrt_last_name on customer(first_name,last_name); 
  
 
  

    Query OK, 599 rows affected (0.09 sec) 
  
 
  

    Records: 599  Duplicates: 0  Warnings: 0 
  
 

    (root@localhost) [sakila]> select first_name,count(*) from customer group by first_name 
  
 
  

        -> having count(*)>1 limit 2; 
  
 
  

    +------------+----------+ 
  
 
  

    | first_name | count(*) | 
  
 
  

    +------------+----------+ 
  
 
  

    | JAMIE      |        2 | 
  
 
  

    | JESSIE    |        2 | 
  
 
  

    +------------+----------+ 
  
 
  

    2 rows in set (0.00 sec) 
  
 

    (root@localhost) [sakila]> explain select first_name from customer where first_name='JESSIE'\G 
  
 
  

    *************************** 1. row *************************** 
  
 
  

              id: 1 
  
 
  

      select_type: SIMPLE 
  
 
  

            table: customer 
  
 
  

            type: ref 
  
 
  

    possible_keys: idx_fisrt_last_name 
  
 
  

              key: idx_fisrt_last_name 
  
 
  

          key_len: 137 
  
 
  

              ref: const 
  
 
  

            rows: 2 
  
 
  

            Extra: Using where; Using index 
  
 
  

    1 row in set (0.00 sec) 
    

    (root@localhost) [sakila]> alter table customer drop index idx_fisrt_last_name; 
  
 
  

    Query OK, 599 rows affected (0.03 sec) 
  
 
  

    Records: 599  Duplicates: 0  Warnings: 0



--下面演示出现在join是ref的示例



(root@localhost) [sakila]> explain select b.*,a.* from payment a inner join 
  
 
  

        -> customer b on a.customer_id=b.customer_id\G 
  
 
  

    *************************** 1. row *************************** 
  
 
  

              id: 1 
  
 
  

      select_type: SIMPLE 
  
 
  

            table: b 
  
 
  

            type: ALL 
  
 
  

    possible_keys: PRIMARY 
  
 
  

              key: NULL 
  
 
  

          key_len: NULL 
  
 
  

              ref: NULL 
  
 
  

            rows: 599 
  
 
  

            Extra: NULL 
  
 
  

    *************************** 2. row *************************** 
  
 
  

              id: 1 
  
 
  

      select_type: SIMPLE 
  
 
  

            table: a 
  
 
  

            type: ref 
  
 
  

    possible_keys: idx_fk_customer_id 
  
 
  

              key: idx_fk_customer_id 
  
 
  

          key_len: 2 
  
 
  

              ref: sakila.b.customer_id 
  
 
  

            rows: 13 
  
 
  

            Extra: NULL 
  
 
  

    2 rows in set (0.01 sec)

5、eq_ref



类似于ref,其差别在于使用的索引为唯一索引,对于每个索引键值,表中只有一条记录与之匹配。



多见于主键扫描或者索引唯一扫描。


(root@localhost) [sakila]> explain select * from film a join film_text b 
  
 
  

        -> on a.film_id=b.film_id; 
  
 
  

    +----+-------------+-------+--------+---------------+---------+---------+------------------+------+-------------+ 
  
 
  

    | id | select_type | table | type  | possible_keys | key    | key_len | ref              | rows | Extra      | 
  
 
  

    +----+-------------+-------+--------+---------------+---------+---------+------------------+------+-------------+ 
  
 
  

    |  1 | SIMPLE      | b    | ALL    | PRIMARY      | NULL    | NULL    | NULL            | 1000 | NULL        | 
  
 
  

    |  1 | SIMPLE      | a    | eq_ref | PRIMARY      | PRIMARY | 2      | sakila.b.film_id |    1 | Using where | 
  
 
  

    +----+-------------+-------+--------+---------------+---------+---------+------------------+------+-------------+

(root@localhost) [sakila]> explain select title from film where film_id=5; 
  
 
  

    +----+-------------+-------+-------+---------------+---------+---------+-------+------+-------+ 
  
 
  

    | id | select_type | table | type  | possible_keys | key    | key_len | ref  | rows | Extra | 
  
 
  

    +----+-------------+-------+-------+---------------+---------+---------+-------+------+-------+ 
  
 
  

    |  1 | SIMPLE      | film  | const | PRIMARY      | PRIMARY | 2      | const |    1 | NULL  | 
  
 
  

    +----+-------------+-------+-------+---------------+---------+---------+-------+------+-------+

6、const、system:



当MySQL对查询某部分进行优化,这个匹配的行的其他列值可以转换为一个常量来处理。



如将主键或者唯一索引置于where列表中,MySQL就能将该查询转换为一个常量


(root@localhost) [sakila]> create table t1(id int,ename varchar(20) unique); 
  
 
  

    Query OK, 0 rows affected (0.05 sec) 
  
 

    (root@localhost) [sakila]> insert into t1 values(1,'robin'),(2,'jack'),(3,'henry'); 
  
 
  

    Query OK, 3 rows affected (0.00 sec) 
  
 
  

    Records: 3  Duplicates: 0  Warnings: 0 
    

    (root@localhost) [sakila]> explain select * from (select * from t1 where ename='robin')x; 
  
 
  

    +----+-------------+------------+--------+---------------+-------+---------+-------+------+-------+ 
  
 
  

    | id | select_type | table      | type  | possible_keys | key  | key_len | ref  | rows | Extra | 
  
 
  

    +----+-------------+------------+--------+---------------+-------+---------+-------+------+-------+ 
  
 
  

    |  1 | PRIMARY    | <derived2> | system | NULL          | NULL  | NULL    | NULL  |    1 | NULL  | 
  
 
  

    |  2 | DERIVED    | t1        | const  | ename        | ename | 23      | const |    1 | NULL  | 
  
 
  

    +----+-------------+------------+--------+---------------+-------+---------+-------+------+-------+ 
  
 
  

    2 rows in set (0.00 sec)


7、type=NULL



MySQL不用访问表或者索引就可以直接得到结果



(root@localhost) [sakila]> explain select sysdate(); 
  
 
  

    +----+-------------+-------+------+---------------+------+---------+------+------+----------------+ 
  
 
  

    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra          | 
  
 
  

    +----+-------------+-------+------+---------------+------+---------+------+------+----------------+ 
  
 
  

    |  1 | SIMPLE      | NULL  | NULL | NULL          | NULL | NULL    | NULL | NULL | No tables used | 
  
 
  

    +----+-------------+-------+------+---------------+------+---------+------+------+----------------+ 
  
 
  

    1 row in set (0.00 sec)</derived2></code></code>


(五)设计索引的原则


最适合索引的列是出现在WHERE子句的列,或者连接子句中指定的列,而不是出现在SELECT关键字 后的选择列表中的列



使用唯一索引。考虑某列中的值的分布。索引的列的基数越大索引的效果越好。


使用短索引。如果对于字符串列进行索引,应该指定一个前缀的长度,只要有可能就应该这样做,例如,有一个CHAR(200)列,如果在前10个或者20个字符内,多数值是唯一的,那么不要对整个列进行索引,对前10个或者20个字符进行索引能过节约大量的索引空间,也可能会使查询的速度更快


利用最左前缀。在创建了一个N列的索引时,实际上创建了Mysql可利用的N个索引。多列索引可起几个索引的作用,因为可利用索引中最左边的列集来匹配行。这样的列集称为最左前缀。


不要多度使用索引。每个额外的索引都要占用额外的磁盘空间,同时也降低了写操作的性能。


索引,那么表中会自动生成一个内部列,按照这个列的顺序来保存。


(六)BTREE索引与HASH索引(这两个为索引的方法)


两种不同类型的索引各有其不同的使用范围。HASH索引有一些重要的特征需要在使用的时候特别注意。默认情况下建立索引用HASH方法


     HASH索引的注意事项



     1.只用于使用 = 或 <> 操作符的等式比较 或 IN语句中



     2.优化器不能使用HASH索引来加速ORDER BY操作



    3.只能使用整个关键字来搜索一行

     BTREE索引



     当使用> , < , >=, <=, BETWEEN, != 或者 <>, 或者 LIKE 'pattern' (其中patt不以通配符开始)操作符时,都可以使用相关列上的索引

     example



     以下范围的查询适用于BTREE索引和HASH索引


select * from t1 where key_col = 1 OR key_col IN (1, 3, 7,);


     以下范围的查询只适用于BTREE索引


select * from t1 where key_col > 1 and key_col < 10



select * from t1 where key_col like 'ab%' OR key_col between 'lisa' and 'simon'


(六)关于索引失效的情况总结

1.请求表上的数据行超出表总记录数30%,变成全表扫描
2.谓词上的索引列存在null值
3.谓词上的索引列条件使用函数
4.谓词上的索引列条件进行了相关的运算
5.谓词上的索引列条件上使用了<>  not in 操作
6.复合索引中,第一个索引列使用范围查询--只能用到部分索引或无法使用索引
7.复合索引中,第一个查询条件不是最左索引列
8.模糊查询条件列最左以通配符%开始
9.表关联字段类型不一样



Mysql的类型转化时对索引的影响


1.表结构


CREATE TABLE `t_user` ( 
  
 
  

      `user_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户ID自增列', 
  
 
  

      `user_account` varchar(128) NOT NULL DEFAULT '' COMMENT '用户账号', 
  
 
  

      `user_reg_timestamp` int(10) NOT NULL DEFAULT '0' COMMENT '用户注册时间(时间戳)', 
  
 
  

      PRIMARY KEY (`user_id`), 
  
 
  

      UNIQUE KEY `user_email` (`user_account`) USING BTREE, 
  
 
  

      KEY `user_reg_timestamp` (`user_reg_timestamp`) USING BTREE 
  
 
  

    ) ENGINE=InnoDB AUTO_INCREMENT=906 DEFAULT CHARSET=utf8mb4 ROW_FORMAT=COMPACT; 
  
 
  

    user_id为主键  user_account为唯一索引  user_reg_timestamp 为普通索引


2. 类型varcher 或者类型char的索引,where条件时当成整数类型来处理时 不会用到索引


a.正常情况下



SQl: 
  
 

    EXPLAIN 
  
 
  

    select * 
  
 
  

    from t_user 
  
 
  

    where user_account = '13522094928';  //user_account为varchar类型 
  
 
  

    result


id

select_type

table

type

passible_keys

key

key_len

ref

rows

Extra

1

SIMPLE

t_user

const

user_email

user_email

514

const

1

null



b.将where条件当成整数来处理时


SQL: 
  
 
  

    EXPLAIN 
  
 
  

    select * 
  
 
  

    from t_user 
  
 
  

    where user_account = 13522094928;  //user_account为varchar类型 
  
 
  
 
   
 
  

    result



id

select_type

table

type

possible_keys

key

key_len

ref

rows

Extra

1

SIMPLE

t_user

All

user_email

null

null

null

899

User where


3.类型为int的索引,where条件时当作字符串来处理时 会用到索引


SQL: 
  
 
  

    EXPLAIN 
  
 
  

    select * 
  
 
  

    from t_user 
  
 
  

    where user_reg_timestamp = '1461168561';  //user_reg_timestamp 为int类型 
  
 
  

    result




id

select_type

table

type

possible_keys

key

key_len

ref

rows

Extra

1

SIMPLE

t_user

ref

user_reg_timestamp

user_reg_timestamp

4

const

1

null


总结:Mysql在类型转换时:



          如果字符串类型和数值类型做比较时 默认将字符串类型隐世转换成数值类型



          对以上的两种情况分析:



          1.索引列的类型为字符串类型(varchar && char) 时,如果where user_account = 123123时,mysql默认将user_account列的类型 隐世 转化为数值类型。这样索引就失效了



          2.索引的类型为数值类型时(int float)时,如果where user_reg_timestamp = '123213'时,mysql默认将'123213'隐世转换为数值类型,这样索引就没失效了