MySQL数据库优化:
前言:
在一个网站架构中,首先出现瓶颈的一定是数据库,其次是存储。
1、硬盘优化:不用虚拟机,用物理机(因为数据库是 IO 密集型的应用)
a、CPU 64位CPU,百度为例:一台机器 8-16 颗 CPU。普通公司:2-4颗 cpu。
b、内存(mem) 百度为例: 96G-128G,3-4个实例。普通公司:32G-64G,跑2个实例。
c、磁盘(disk) 数量越多越好。性能:SSD(高并发) > SAS(普通业务线上) > SATA(线下)
raid 4块盘:raid0 > raid10 > raid5 > raid1
d、网卡 多块网卡bond,以及buffer,tcp优化。
2、软件优化
操作系统:x86_64系统
软件:mysql 编译优化
3、my.cnf 里参数的优化
注意:my.cnf 里参数优化的幅度很小,大部分架构以及SQL语句优化。
思想:
监控:生产参数是一般情况下参数。
命令监控:show global status\G
调优工具:mysqlreport
案例:一些MySQL的错误skip-name-resolve:
http://blog.chinaunix.net/uid-7354272-id-2643611.html
4、SQL语句的优化
a、索引优化
1)、白名单机制---百度,项目开发,DBA参与,减少上线后的慢SQL数量。
抓出慢SQL,配置 my.cnf
long_query_time = 2
log-slow-queries=/data/3306/slow-log.log
按天轮询:slow-log.log
2)、慢查询日志分析工具-----mysqlsla(推荐)
MySQLdumpslow,mysqlsla,myprofi,mysql-explain-slow-log,mysqllogfilter 比较
3)、每天晚上0点定时分析慢查询,发到核心开发,DBA分析及高级运维,CTO的邮箱里。
DBA分析给出优化建议--->核心开发确认更改--->DBA线上操作处理。
b、大的复杂的SQL语句拆分成多个小的SQL语句。
子查询,join连表查询,某个表4000万条记录。
c、数据库是存储数据的地方,但是不是计算数据的地方。
对数据计算,应用类处理,都要拿到前端应用解决。禁止在数据库上处理。
d、搜索功能,like‘%老男孩%’,一般不要用mysql 数据库。
SQL 语句的详细优化细节:
① 能用定长 char 类型的就不用 varchar 类型。
② 数据库查询尽量不用 select *,除非要查所有字段。
mysql> select id,name from test; 不用mysql> select * from test;
③ select 查询的时候,where 条件后面的列类型如果是字符串类型就要加引号,如果是数字类型就不要加引号。
④ 如果一个条件列的前 n 个字符已经接近唯一值,就可以对一个列的前 n 个字符创建索引,不需要对整个列创建索引了。
⑤ 可以创建联合索引,但要注意前缀特性。如果要做复合索引,要把最常用的当做常用条件列的字段放在前面。
⑥ 可以用 explain 查看 select 语句执行计划,慢查询日志或者 show full processlist 某语句长时间可以看到。
⑦ 能批量插入就批量插入,不要逐条插入。
mysql> insert into test values(1,'oldboy'),(2,'oldgirl'),(3,'inca'),(4,'zuma'),(5,'kaka');
⑧ 使用 set profiles 查看 SQL 语句的执行细节。
5、架构上的优化
1)、业务拆分:搜索功能,like‘%老男孩%’,一般不要用mysql 数据库。
2)、业务拆分:某些业务应用使用 nosql 持久化存储,例如:memcahcedb,redis,ttserver
粉丝关注,好友关系等等。
3)、数据库前端必须要加 cache,例如:memcached,用户登录,商品查询。
4)、动态的数据静态化。整个文件静态化,页面片段静态化。
5)、数据库集群与读写分离。一主多从,通过程序或者 dbproxy 进行集群读写分离。
6)、单表超过2000万。拆库拆表,人工拆库拆表(登录、商品、订单)
7)、百度,阿里国内前×××司,会这样搞。
6、流程、制度,安全优化
任何一次人为数据库记录的更新,都要走一个流程:
a、人的流程:开发-->核心开发-->运维或DBA
b、测试流程:内网测试-->IDC测试-->线上执行
c、客户端管理,phpmyadmin
有关 mysql 的 innodb_flush_log_at_trx_commit 参数:
innodb_flush_log_at_trx_commit = 1
参数解释:
0:log buffer 将每秒一次地写入 log file 中,并且 log file 的 flush ( 刷到磁盘 )操作同时进行。该模式下在事务提交的时候,不会主动触发写入磁盘的操作。
1:每次事务提交时MySQL都会把log buffer的数据写入log file,并且 flush ( 刷到磁盘 ) 中去,该模式为系统默认。
2:每次事务提交时 MySQL 都会把 log buffer 的数据写入 log file,但是 flush ( 刷到磁盘 ) 操作并不会同时进行。该模式下,MySQL 会每秒执行一次 flush ( 刷到磁盘 ) 操作。
参数修改:
找到 mysql 配置文件 mysql.cnf,修改成合适的值,然后重启 mysql。
注意事项:
当设置为0,该模式速度最快,但不×××全,mysqld进程的崩溃会导致上一秒钟所有事务数据的丢失。
当设置为1,该模式是最安全的,但也是最慢的一种方式。在mysqld 服务崩溃或者服务器主机crash的情况下,binary log 只有可能丢失最多一个语句或者一个事务。。
当设置为2,该模式速度较快,也比0安全,只有在操作系统崩溃或者系统断电的情况下,上一秒钟所有事务数据才可能丢失。