1、查询速度慢的原因
1.1、从程序员的角度
- 查询语句写的不好
- 没建索引,索引建的不合理或索引失效
- 关联查询有太多的
join
1.2、从服务器的角度
- 服务器磁盘空间不足
- 服务器调优配置参数设置不合理
2、选取最适用的字段属性 举例
答:
- MySQL可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快。因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度设得尽可能小。
在定义邮政编码这个字段时,如果将其设置为
CHAR(255)
,显然给数据库增加了不必要的空间,甚至使用VARCHAR
这种类型也是多余的,因为CHAR(6)
就可以很好的完成任务了。同样的,如果可以的话,我们应该使用MEDIUMINT
而不是BIGIN
来定义整型字段。
- 另外一个提高效率的方法是在可能的情况下,应该尽量把字段设置为
NOTNULL
,这样在将来执行查询的时候,数据库不用去比较NULL
值。 - 对于某些文本字段,例如“省份”或者“性别”,我们可以将它们定义为
ENUM
类型。因为在MySQL中,ENUM
类型被当作数值型数据来处理,而数值型数据被处理起来的速度要比文本类型快得多。这样,我们又可以提高数据库的性能。
3、使用连接(JOIN)来代替子查询(Sub-Queries)
答: MySQL
从4.1开始支持SQL
的子查询。这个技术可以使用SELECT
语句来创建一个单列的查询结果,然后把这个结果作为过滤条件用在另一个查询中。例如,我们要将客户基本信息表中没有任何订单的客户删除掉,就可以利用子查询先从销售信息表中将所有发出订单的客户ID
取出来,然后将结果传递给主查询,如下所示:
DELETE FROM customerinfo WHERE CustomerID NOT IN (SELECT CustomerID FROM salesinfo)
使用子查询可以一次性的完成很多逻辑上需要多个步骤才能完成的SQL操作,同时也可以避免事务或者表锁死,并且写起来也很容易。但是,有些情况下,子查询可以被更有效率的连接(JOIN)..
替代。例如,假设我们要将所有没有订单记录的用户取出来,可以用下面这个查询完成:
SELECT * FROM customerinfo WHERE CustomerID NOT IN (SELECTC ustomerID FROM salesinfo)
如果使用连接 (JOIN)
…来完成这个查询工作,速度将会快很多。尤其是当salesinfo
表中对CustomerID
建有索引的话,性能将会更好,查询如下:
SELECT * FROM customerinfo LEFT JOIN salesinfo
ON customerinfo.CustomerID=salesinfo.CustomerID
WHERE salesinfo.CustomerID ISNULL
连接查询比子查询快的原因: 因为
MySQL
不需要在内存中创建临时表来完成这个逻辑上的需要两个步骤的查询工作。
4、使用联合(UNION)来代替手动创建的临时表
答: MySQL从4.0
的版本开始支持UNION
查询,它可以把需要使用临时表的两条或更多的select
查询合并的一个查询中。在客户端的查询会话结束的时候,临时表会被自动删除,从而保证数据库整齐、高效。使用UNION
来创建查询的时候,我们只需要用UNION
作为关键字把多个select
语句连接起来就可以了,要注意的是所有select
语句中的字段数目要想同。下面的例子就演示了一个使用UNION
的查询。
SELECT Name,Phone FROM client UNION
SELECT Name,BirthDate FROM author UNION
SELECT Name,Supplier FROM product
5、事务
答: 尽管我们可以使用子查询(Sub-Queries
)、连接(JOIN
)和联合(UNION
)来创建各种各样的查询,但不是所有的数据库操作都可以只用一条或少数几条SQL语句就可以完成的。更多的时候是需要用到一系列的语句来完成某种工作。但是在这种情况下,当这个语句块中的某一条语句运行出错的时候,整个语句块的操作就会变得不确定起来。设想一下,要把某个数据同时插入两个相关联的表中,可能会出现这样的情况:第一个表中成功更新后,数据库突然出现意外状况,造成第二个表中的操作没有完成,这样,就会造成数据的不完整,甚至会破坏数据库中的数据。要避免这种情况,就应该使用事务,它的作用是:要么语句块中每条语句都操作成功,要么都失败。换句话说,就是可以保持数据库中数据的一致性和完整性。事物以BEGIN
关键字开始,COMMIT
关键字结束。在这之间的一条SQL操作失败,那么,ROLLBACK
命令就可以把数据库恢复到BEGIN
开始之前的状态。
BEGIN;
INSERT INTO salesinfo SET CustomerID=14;
UPDATE inventory SET Quantity=11 WHERE item='book';
COMMIT;
6、锁定表
答: 尽管事务是维护数据库完整性的一个非常好的方法,但却因为它的独占性,有时会影响数据库的性能,尤其是在很大的应用系统中。由于在事务执行的过程中,数据库将会被锁定,因此其它的用户请求只能暂时等待直到该事务结束。如果一个数据库系统只有少数几个用户来使用,事务造成的影响不会成为一个太大的问题;但假设有成千上万的用户同时访问一个数据库系统,例如访问一个电子商务网站,就会产生比较严重的响应延迟。
其实,有些情况下我们可以通过锁定表的方法来获得更好的性能。下面的例子就用锁定表的方法来完成前面一个例子中事务的功能。
LOCK TABLE inventory WRITE SELECT Quantity FROM inventory WHERE Item='book';
...
UPDATE inventory SET Quantity=11 WHERE Item='book'; UNLOCKTABLES
这里,我们用一个
select
语句取出初始数据,通过一些计算,用update
语句将新值更新到表中。包含有WRITE
关键字的LOCKTABLE
语句可以保证在UNLOCKTABLES
命令被执行之前,不会有其它的访问来对inventory
进行插入、更新或者删除的操作。
7、使用外键
答: 锁定表的方法可以维护数据的完整性,但是它却不能保证数据的关联性。这个时候我们就可以使用外键。例如,外键可以保证每一条销售记录都指向某一个存在的客户。在这里,外键可以把customerinfo
表中的CustomerID
映射到salesinfo
表中CustomerID
,任何一条没有合法CustomerID
的记录都不会被更新或插入到salesinfo
中。
CREATE TABLE customerinfo(CustomerIDINT NOT NULL,PRIMARYKEY(CustomerID))TYPE=INNODB;
CREATE TABLE salesinfo(SalesIDNT NOT NULL,CustomerIDINT NOT NULL,
PRIMARYKEY(CustomerID,SalesID),
FOREIGNKEY(CustomerID) REFERENCES customerinfo(CustomerID) ON DELETE CASCADE)TYPE=INNODB;
例子中的参数“
ON DELETE CASCADE
”。该参数保证当customerinfo
表中的一条客户记录被删除的时候,salesinfo
表中所有与该客户相关的记录也会被自动删除。
8、使用索引
答: 索引是提高数据库性能的常用方法,它可以令数据库服务器以比没有索引快得多的速度检索特定的行,尤其是在查询语句当中包含有MAX()
,MIN()
和ORDERBY
这些命令的时候,性能提高更为明显。
一般说来,索引应建立在那些将用于JOIN
,WHERE
判断和ORDERBY
排序的字段上。尽量不要对数据库中某个含有大量重复的值的字段建立索引。对于一个ENUM
类型的字段来说,出现大量重复值是很有可能的情况。
例如
customerinfo
中的“province
”…字段,在这样的字段上建立索引将不会有什么帮助;相反,还有可能降低数据库的性能。我们在创建表的时候可以同时创建合适的索引,也可以使用ALTERTABLE
或CREATEINDEX
在以后创建索引。此外,MySQL从版本3.23.23开始支持全文索引和搜索。全文索引在MySQL中是一个FULLTEXT
类型索引,但仅能用于MyISAM类型的表。对于一个大的数据库,将数据装载到一个没有FULLTEXT
索引的表中,然后再使用ALTERTABLE
或CREATEINDEX
创建索引,将是非常快的。但如果将数据装载到一个已经有FULLTEXT
索引的表中,执行过程将会非常慢。
9、索引优化查询SQL查询语句
1、应尽量避免在 where
子句中使用 !=
或者 <>
操作符,这两个操作将会使得引擎放弃使用索引而进行全表扫描。
2、应尽量避免在 where
子句中**对字段进行 ****null
**值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:
select id from t where num is null;
# 可以在 num 上设置默认值 0 ,确保表中 num 列没有 null 值,然后这样查询:
select id from t where num = 0;
3、查询语句的查询条件中只有OR
关键字,并且**OR
**前后的两个条件中的列都是索引时,查询中才使用索引。否则,查询将不使用索引。
4、对查询进行优化,应尽量避免全表扫描,首先应考虑在 where
及 order by
涉及的列上建立索引。
5、前导模糊查询不能利用索引(like '%XX'或者like '%XX%')
,可以使用索引覆盖避免。
6、in
和 not in
也要慎用,否则会导致全表扫描。如:
select id from t where num in(1,2,3)
# 对于连续的数值,能用 between 就不要用 in 了
select id from t where num between 1 and 3
7、如果在 where
子句中使用参数,也会导致全表扫描。因为 SQL 只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择到运行时;它必须在编译时进行选择。然而,如果在编译时简历访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:
select id from t where num=@num
# 可以改为强制查询使用索引:
select id from t with(index(索引名)) where num=@num
8、应尽量避免在 where
子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描。如:
select id from t where num/2 = 100;
# 应改为:
select id from t where num = 100 * 2;
9、应尽量避免在 where
子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:
select id from t where substring(name, 1, 3) = ’abc’–name; //以abc开头的id
select id from t where datediff(day,createdate,’2005-11-30′) = 0–’2005-11-30′; //生成的id
# 应改为:
select id from t where name like ‘abc%’
select id from t where createdate >= ’2005-11-30′ and createdate < ’2005-12-1′;
10、不要在 where
子句中的 “=
” 左边进行函数,算术运算或者其他表达式运算,否则系统将可能无法正确使用索引。
11、在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用,并且应尽可能的让字段顺序与索引顺序相一致。
12、很多时候用 exists
代替 in
是一个好的选择:
select num from a where num in(select num from b);
# 用下面的语句替换:
select num from a where exists(select 1 from b where num=a.num);
13、索引并不是越多越好,索引固然可以提高相应的select
的效率,但同时也降低了 insert
及 update
的效率,因为insert
或 update
时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有必要。
14、并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段 sex
,male
、female
几乎各一半,那么即使在sex
上建了索引也对查询效率起不了作用。
15、尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连接时会 逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。
16、尽可能的使用 varchar/nvarchar
代替 char/nchar
17、任何地方都不要使用 select * from t
,用具体的字段列表代替*
,不要返回用不到的任何字段。
18、尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。
19、避免频繁创建和删除临时表,以减少系统表资源的消耗。
20、临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用大型表或常用表中的某个数据集时。但是,对于一次性事件,最好使用导出表。
21、在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into
代替 create table
,避免造成大量 log
,以提高速度;如果数据量不大,为了缓和系统表的资源,应先 create table
,然后 insert
。
22、如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先 truncate table
,然后 drop table
,这样可以避免系统表的较长时间锁定。
23、尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写。
24、使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。
25、与临时表一样,游标并不是不可使用。对小型数据集使用 FAST_FORWARD
游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时 间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。
26、在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON
,在结束时设置 SET NOCOUNT OFF
。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC
消息。
27、尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理。
28、尽量避免大事务操作,提高系统并发能力。
10、in和or谁的效率高
答: 通常情况下or
和in
没啥差别,执行计划和执行时间都几乎一样。如果in
和or
所在列没有索引的话,性能差别就很大了。在没有索引的情况下,随着in
或者or
后面的数据量越多,in
的效率不会有太大的下降,但是or
会随着记录越多的话性能下降非常厉害,从第三中测试情况中可以很明显地看出了,基本上是指数级增长。
因此在给in
和or
的效率下定义的时候,应该再加上一个条件,就是所在的列是否有索引或者是否是主键。如果有索引或者主键性能没啥差别,如果没有索引,性能差别不是一点点!