什么是深分页（deep paging）？简单来说，就是搜索的特别深。比如每页是10条数据，这个时候，要搜索到第1000页，实际上要拿到的是10001~10010条数据。

MySQL

存在问题的原因

预设的表结构如下：

CREATE TABLE account (
  id int(11) NOT NULL AUTO_INCREMENT COMMENT '主键Id',
  name varchar(255) DEFAULT NULL COMMENT '账户名',
  balance int(11) DEFAULT NULL COMMENT '余额',
  create_time datetime NOT NULL COMMENT '创建时间',
  update_time datetime NOT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
  PRIMARY KEY (id),
  KEY idx_name (name),
  KEY idx_update_time (update_time) //索引
) ENGINE=InnoDB AUTO_INCREMENT=1570068 DEFAULT CHARSET=utf8 ROW_FORMAT=REDUNDANT COMMENT='账户表';

假设深分页的执行SQL如下：

select id,name,balance from account where update_time> '2020-09-19' limit 100000,10;

先来看下这个SQL的执行流程：

  1. 通过普通二级索引树idx_update_time，过滤update_time条件，找到满足条件的记录ID。
  2. 通过ID，回到主键索引树，找到满足记录的行，然后取出展示的列（回表）
  3. 扫描满足条件的100010行，然后扔掉前100000行，返回。

SQL变慢原因有两个：

  1. limit语句会先扫描offset+limit行，然后再丢弃掉前offset行，返回后limit行数据。也就是说limit 100000,10，就会扫描100010行，而limit 0,10，只扫描10行。
  2. limit 100000,10 扫描更多的行数，也意味着回表更多的次数。

优化方案

（1）通过子查询优化

因为以上的SQL，回表了100010次，实际上，我们只需要10条数据，也就是我们只需要10次回表其实就够了。因此，我们可以通过减少回表次数来优化。

把条件转移到主键索引树

如果我们把查询条件，转移回到主键索引树，那就可以减少回表次数啦。转移到主键索引树查询的话，查询条件得改为主键id了，之前SQL的update_time这些条件咋办呢？抽到子查询那里嘛~

子查询那里怎么抽的呢？因为二级索引叶子节点是有主键ID的，所以我们直接根据update_time来查主键ID即可，同时我们把 limit 100000的条件，也转移到子查询。这个方案有局限性：这里的id必须是稳定自增的，且后续的limit条记录中没有不满足条件的数据

完整SQL如下：

// 此方案依赖于id严格有序，和特定的查询条件
select id,name,balance FROM account 
where id >= (select a.id from account a where a.update_time >= '2020-09-19' limit 100000, 1) 
LIMIT 10;

另一种基于子查询的优化写法（不依赖于id有序，通用性更强）

select t1.* FROM account t1, 
(select * from account where update_time >= '2020-09-19' limit 100000, 10) t2 
where t1.id = t2.id;

（2）INNER JOIN 延迟关联

延迟关联的优化思路，跟子查询的优化思路其实是一样的：都是把条件转移到主键索引树，然后减少回表。不同点是，延迟关联使用了inner join代替子查询。

优化后的SQL如下：

SELECT  acct1.id,acct1.name,acct1.balance FROM account acct1 INNER JOIN (SELECT a.id FROM account a WHERE a.update_time >= '2020-09-19' ORDER BY a.update_time LIMIT 100000, 10) AS  acct2 on acct1.id= acct2.id;

查询思路就是，先通过idx_update_time二级索引树查询到满足条件的主键ID，再与原表通过主键ID内连接，这样后面直接走了主键索引了，同时也减少了回表。

（3）标签记录法

limit 深分页问题的本质原因就是：偏移量（offset）越大，mysql就会扫描越多的行，然后再抛弃掉。这样就导致查询性能的下降。

其实我们可以采用标签记录法，就是标记一下上次查询到哪一条了，下次再来查的时候，从该条开始往下扫描。就好像看书一样，上次看到哪里了，你就折叠一下或者夹个书签，下次来看的时候，直接就翻到啦。

假设上一次记录到100000，则SQL可以修改为：

select  id,name,balance FROM account where id > 100000 order by id limit 10;

这样的话，后面无论翻多少页，性能都会不错的，因为命中了id索引。但是这种方式有局限性：需要一种类似连续自增的字段。

（4）使用between...and…

很多时候，可以将limit查询转换为已知位置的查询，这样MySQL通过范围扫描between...and，就能获得到对应的结果。

如果知道边界值为100000，100010后，就可以这样优化：

select id,name,balance FROM account where id between 100000 and 100010 order by id;