大数据量redis 大数据量查询优化

在实际场景中会遇到这样的一种情况：数据量很大，而且还要分页查询，如果数据量达到百万级别之后，性能会急剧下降，导致查询时间很长，甚至是超时。接下来我总结了两种常用的优化方案，仅供参考。但是需要注意的是有个前提：主键id是递增且数据有序。

1：使用子查询优化

这种方式先定位偏移位置的 id，然后往后查询，这种方式适用于 id 递增的情况。sql如下图所示：

1 SELECT
2     * 
3 FROM
4     orders_history 
5 WHERE
6     type = 8 
7     AND id >= ( SELECT id FROM orders_history WHERE type = 8 LIMIT 100000, 1 ) 
8     LIMIT 100;

 2：使用id限定优化

这种方式假设数据表的id是连续递增的，则我们根据查询的页数和查询的记录数可以算出查询的id的范围，可以使用id between and 来查询。sql如下图所示：

1 SELECT
2     * 
3 FROM
4     orders_history 
5 WHERE
6     type = 2 
7     AND id BETWEEN 1000000 
8     AND 1000100 
9     LIMIT 100;

还可以有另外一种写法，sql如下图所示：

select * from orders_history where id >= 1000001 limit 100;

总结：这种查询方案的前提条件已经说过了，主键递增且数据有序。其实就是利用B+树的原理进行的，因为在Innodb存储引擎中，数据是通过B+树进行存储，叶子节点存储的是主键id，另外子查询中也用到了覆盖索引。一般查询条件排序条件为按照主键id递增，或者是递减，查询偏移起始位置是经过计算之后，带入到sql中的。如果数据量实在是太大了，如果达到千万级别的话，哈哈哈，我建议还是使用分库分表组件吧，比如Apache ShardingSphere、MyCat等开源组件。