sql优化核心 是数据库中 解析器+优化器的工作,我觉得主要有以下几个大方面:
1>扫表的方法(索引非索引、主键非主键、书签查、索引下推)
2>关联表的方法(三种),关键是内存如何利用
3>处理排序聚合的方法,如何利用内存

即 少扫磁盘多用内存



--=====2 表关联方式


-----0 概述


类别 Nested Loop Hash Join Merge Join


使用条件 任何条件 等值连接(=) 等值或非等值连接(>,<,=,>=,<=),‘<>’除外


相关资源 CPU、磁盘I/O 内存、临时空间 内存、临时空间



Nested Loop 优点: 当有高选择性索引或进行限制性搜索时效率比较高,能够快速返回第一次的搜索结果。


缺点: 当索引丢失或查询条件限制不够时,效率低;当表纪录数多时,效率低


实现: 从一张表中读取数据,访问另一张表(通常是索引)来做匹配,nested loops适用的场合是当一个关联表比较小的时候,效率会更高



Hash Join 优点: 当无索引或索引条件模糊时,Hash Join比Nested Loop有效。通常比Merge Join快。在数据仓库环境下,如果表的纪录数多,效率高


缺点: 为建立哈希表,需要大量内存。第一次的结果返回较慢


实现: 将一个表(通常是小一点的那个表)做hash运算,将列数据存储到hash列表中,从另一个表中抽取记录,做hash运算,到hash 列表中找到相应的值,做匹配。



Merge Join 优点: 当无索引或索引条件模糊时,Merge Join比Nested Loop有效。非等值连接时,Merge Join比Hash Join更有效


缺点: 所有的表都需要排序。它为最优化的吞吐量而设计,并且在结果没有全部找到前不返回数据


实现: 先将关联表的关联列各自做排序,然后从各自的排序表中抽取数据,到另一个排序表中做匹配,因为merge join需要做更多的排序,所以消耗的资源更多


通常来讲,能够使用merge join的地方,hash join都可以发挥更好的性能





选择什么连接类型有以下三要素:


1) 表大小


2) 连接列是否有索引


3) 连接列是否要排序


不同DBMS对表连接的支持:


1) SqlServer, Oracle支持以下三种连接


2) Mysql5.5前支持NestedLoop,之后支持对其的优化算法Block Nested-Loop



-----1 Nested Loop Join


驱动表(outer table),另一个为inner table,驱动表中的每一行与inner表中的相应记录JOIN。类似一个嵌套的循环。适用于驱动表的记录集比较小(<10000)且inner表的连接列上要有Index。


注意:驱动表的记录集一定要小,inner表的连接列要有(UniqueIndex更好)索引。处理过程伪代码:


for oi in count(outer table 行数):do


for ii in count(inner table 行数):do --若inner连接列有主键索引,则不用循环inner表,也不需要回表,效率超高


if oi.column=ii.column:do --若只是普通索引,还需要回表查相应数据(可能需要大量的随机IO),可能会慢许多,但也比没索引强


Send To Client


fi


done


done




--Block Nested-Loop Join(仅Mysql支持)


因为普通Nested-Loop一次只将一行传入内层循环, 所以outer table (的结果集)有多少行, 内存循环便要执行多少次.


在inner table的连接上有索引的情况下,其扫描成本为O(Rn),若没有索引,则扫描成本为O(Rn*Sn)。如果inner table有很多记录,则Nested-Loops Join会扫描内部表很多次,执行效率会非常差。



BNL算法:将outer table结果集存入join buffer, 内层循环的每一行与整个Join buffer中的记录做比较,从而减少内层循环的次数。


举例,outer table结果集是100行,使用NLJ 需扫描内部表100次,如使用BNL,先把Outer Loop表每次读取的10行记录放到join buffer,然后在InnerLoop表中直接匹配这10行数据,


内存循环就可以一次与这10行进行比较, 这样只需要比较10次,对内部表的扫描减少了9/10。所以BNL算法就能够显著减少内层循环表扫描的次数.



MySQL使用Join Buffer有以下要点:


当MySQL的 Join 有使用到 Block Nested-Loop Join,那么调大变量join_buffer_size 才是有意义的。而前面的 Index Nested-Loop Join如果仅使用索引进行Join,那么调大这个变量则毫无意义


a) 只有在join类型为all, index, range的时候才可以使用join buffer。


b) 能够被buffer的每一个join都会分配一个buffer, 也就是说一个query最终可能会使用多个join buffer。


c) 第一个nonconst table不会分配join buffer, 即便其扫描类型是all或者index。


d) 在join之前就会分配join buffer, 在query执行完毕即释放。


e) join buffer中只会保存参与join的列, 并非整个数据行。


f) 5.6版本及以后,优化器管理参数optimizer_switch中的block_nested_loop控制着BNL是否被用于优化器。默认条件下是开启,若果设置为off,优化器在选择 join方式的时候会选择NLJ算法。



-----2 Hash Join


将两表中较小的在内存中构造一个HASH表(只对连接列),扫描另一个表,同样对JOIN KEY进行HASH后探测是否可以JOIN。适用于记录集比较大的情况。


需要注意的是:如果HASH表太大,无法一次构造在内存中,则分成若干个partition,写入磁盘的temporary segment,则会多一个写的代价,会降低效率





-----3 Sort Merge Join


通常情况下Hash Join的效果都比排序合并连接要好,然而如果行源已经被排过序,在执行排序合并连接时不需要再排序了,这时排序合并连接的性能会优于散列连接。


可以使用USE_MERGE(table_name1 table_name2)来强制使用排序合并连接.


Sort Merge join 用在没有索引,并且数据已经排序的情况.



将两个表排序,然后将两个表合并。通常情况下,只有在以下情况发生时,才会使用此种JOIN方式:


1.RBO模式 且 HASH_JOIN_ENABLED=false


2.不等价关联(>,<,>=,<=,<>)


3.数据源已排序