MySQL数据库优化:

前言: 在一个网站架构中,首先出现瓶颈的一定是数据库,其次是存储。 1、硬盘优化:不用虚拟机,用物理机(因为数据库是 IO 密集型的应用) a、CPU 64位CPU,百度为例:一台机器 8-16 颗 CPU。普通公司:2-4颗 cpu。 b、内存(mem) 百度为例: 96G-128G,3-4个实例。普通公司:32G-64G,跑2个实例。 c、磁盘(disk) 数量越多越好。性能:SSD(高并发) > SAS(普通业务线上) > SATA(线下) raid 4块盘:raid0 > raid10 > raid5 > raid1 d、网卡 多块网卡bond,以及buffer,tcp优化。 2、软件优化 操作系统:x86_64系统 软件:mysql 编译优化 3、my.cnf 里参数的优化 注意:my.cnf 里参数优化的幅度很小,大部分架构以及SQL语句优化。 思想: 监控:生产参数是一般情况下参数。 命令监控:show global status\G 调优工具:mysqlreport 案例:一些MySQL的错误skip-name-resolve: http://blog.chinaunix.net/uid-7354272-id-2643611.html 4、SQL语句的优化 a、索引优化 1)、白名单机制---百度,项目开发,DBA参与,减少上线后的慢SQL数量。 抓出慢SQL,配置 my.cnf long_query_time = 2 log-slow-queries=/data/3306/slow-log.log 按天轮询:slow-log.log 2)、慢查询日志分析工具-----mysqlsla(推荐) MySQLdumpslow,mysqlsla,myprofi,mysql-explain-slow-log,mysqllogfilter 比较 3)、每天晚上0点定时分析慢查询,发到核心开发,DBA分析及高级运维,CTO的邮箱里。 DBA分析给出优化建议--->核心开发确认更改--->DBA线上操作处理。 b、大的复杂的SQL语句拆分成多个小的SQL语句。 子查询,join连表查询,某个表4000万条记录。 c、数据库是存储数据的地方,但是不是计算数据的地方。
对数据计算,应用类处理,都要拿到前端应用解决。禁止在数据库上处理。 d、搜索功能,like‘%老男孩%’,一般不要用mysql 数据库。 SQL 语句的详细优化细节: ① 能用定长 char 类型的就不用 varchar 类型。 ② 数据库查询尽量不用 select *,除非要查所有字段。 mysql> select id,name from test; 不用mysql> select * from test; ③ select 查询的时候,where 条件后面的列类型如果是字符串类型就要加引号,如果是数字类型就不要加引号。 ④ 如果一个条件列的前 n 个字符已经接近唯一值,就可以对一个列的前 n 个字符创建索引,不需要对整个列创建索引了。 ⑤ 可以创建联合索引,但要注意前缀特性。如果要做复合索引,要把最常用的当做常用条件列的字段放在前面。 ⑥ 可以用 explain 查看 select 语句执行计划,慢查询日志或者 show full processlist 某语句长时间可以看到。 ⑦ 能批量插入就批量插入,不要逐条插入。 mysql> insert into test values(1,'oldboy'),(2,'oldgirl'),(3,'inca'),(4,'zuma'),(5,'kaka'); ⑧ 使用 set profiles 查看 SQL 语句的执行细节。 5、架构上的优化 1)、业务拆分:搜索功能,like‘%老男孩%’,一般不要用mysql 数据库。 2)、业务拆分:某些业务应用使用 nosql 持久化存储,例如:memcahcedb,redis,ttserver 粉丝关注,好友关系等等。 3)、数据库前端必须要加 cache,例如:memcached,用户登录,商品查询。 4)、动态的数据静态化。整个文件静态化,页面片段静态化。 5)、数据库集群与读写分离。一主多从,通过程序或者 dbproxy 进行集群读写分离。 6)、单表超过2000万。拆库拆表,人工拆库拆表(登录、商品、订单) 7)、百度,阿里国内前×××司,会这样搞。 6、流程、制度,安全优化 任何一次人为数据库记录的更新,都要走一个流程: a、人的流程:开发-->核心开发-->运维或DBA b、测试流程:内网测试-->IDC测试-->线上执行 c、客户端管理,phpmyadmin 有关 mysql 的 innodb_flush_log_at_trx_commit 参数: innodb_flush_log_at_trx_commit = 1 参数解释: 0:log buffer 将每秒一次地写入 log file 中,并且 log file 的 flush ( 刷到磁盘 )操作同时进行。该模式下在事务提交的时候,不会主动触发写入磁盘的操作。 1:每次事务提交时MySQL都会把log buffer的数据写入log file,并且 flush ( 刷到磁盘 ) 中去,该模式为系统默认。 2:每次事务提交时 MySQL 都会把 log buffer 的数据写入 log file,但是 flush ( 刷到磁盘 ) 操作并不会同时进行。该模式下,MySQL 会每秒执行一次 flush ( 刷到磁盘 ) 操作。 参数修改: 找到 mysql 配置文件 mysql.cnf,修改成合适的值,然后重启 mysql。 注意事项: 当设置为0,该模式速度最快,但不×××全,mysqld进程的崩溃会导致上一秒钟所有事务数据的丢失。 当设置为1,该模式是最安全的,但也是最慢的一种方式。在mysqld 服务崩溃或者服务器主机crash的情况下,binary log 只有可能丢失最多一个语句或者一个事务。。 当设置为2,该模式速度较快,也比0安全,只有在操作系统崩溃或者系统断电的情况下,上一秒钟所有事务数据才可能丢失。