Mysql参数优化

安装好mysql后,配制文件应该在/usr/local/mysql/share/mysql目录中,配制文件有几个,有my- huge.cnf my-medium.cnf my-large.cnf my-small.cnf,不同的流量的网站和不同配制的服务器环境,当然需要有不同的配制文件了。
一般的情况下,my-medium.cnf这个配制文件就能满足我们的大多需要;一般我们会把配置文件拷贝到/etc/my.cnf 只需要修改这个配置文件就可以了,使用mysqladmin variables extended-status –u root –p 可以看到目前的参数,有3个配置参数是最重要的,即:
key_buffer_size
query_cache_size
table_cache
提升性能的建议:
1.如果opened_tables太大,应该把my.cnf中的table_cache变大
2.如果Key_reads太大,则应该把my.cnf中key_buffer_size变大.可以用Key_reads/Key_read_requests计算出cache失败率
3.如果Handler_read_rnd太大,则你写的SQL语句里很多查询都是要扫描整个表,而没有发挥键的作用
4.如果Threads_created太大,就要增加my.cnf中thread_cache_size的值.可以用Threads_created/Connections计算cache命中率
5.如果Created_tmp_disk_tables太大,就要增加my.cnf中tmp_table_size的值,用基于内存的临时表代替基于磁盘的
show variables like 'key_buffer_size'; show global status like 'key_read%';
show full processlist;

key_buffer_size只对MyISAM表起作用。
key_buffer_size指定索引缓冲区的大小,它决定索引处理的速度,尤其是索引读的速度。一般我们设 为16M,实际上稍微大一点的站点 这个数字是远远不够的,通过检查状态值Key_read_requests和Key_reads,可以知道 key_buffer_size设置是否合理。比例key_reads / key_read_requests应该尽可能的低,至少是1:100,1:1000更好(上述状态值可以使用SHOW STATUS LIKE ‘key_read%’获得)。 或者如果你装了phpmyadmin 可以通过服务器运行状态看到,笔者推荐用phpmyadmin管理mysql,以下的状态值都是本人通过phpmyadmin获得的实例分析:
这个服务器已经运行了20天
key_buffer_size – 128M
key_read_requests – 650759289
key_reads – 79112
比例接近1:8000 健康状况非常好
key_cache_miss_rate = Key_reads / Key_read_requests * 100%
如上面的数据,key_cache_miss_rate为0.0121%,8000个索引读取请求才有一个直接读硬盘,已经很BT 了,key_cache_miss_rate在0.1%以下都很好(每1000个请求有一个直接读硬盘),如果key_cache_miss_rate在 0.01%以下的话,key_buffer_size分配的过多,可以适当减少。
MySQL服务器还提供了key_blocks_*参数:

mysql> show global status like 'key_blocks_u%';
 +------------------------+-------------+
 | Variable_name | Value |
 +------------------------+-------------+
 | Key_blocks_unused | 0 |
 | Key_blocks_used | 413543 |
 +------------------------+-------------+


Key_blocks_unused 表示未使用的缓存簇(blocks)数,Key_blocks_used表示曾经用到的最大的blocks数,比如这台服务器,所有的缓存都用到了,要么 增加key_buffer_size,要么就是过渡索引了,把缓存占满了。比较理想的设置:
Key_blocks_used / (Key_blocks_unused + Key_blocks_used) * 100% ≈ 80%

另外一个估计key_buffer_size的办法:把你网站数据库的每个表的索引所占空间大小加起来看看以此服务器为例:比较大的几个表索引加起来大概125M 这个数字会随着表变大而变大。
从4.0.1开始,MySQL提供了查询缓冲机制。使用查询缓冲,MySQL将SELECT语句和查询结果存放在缓冲区中,今后对于同样的SELECT语句(区分大小写),将直接从缓冲区中读取结果。根据MySQL用户手册,使用查询缓冲最多可以达到238%的效率。
通过调节以下几个参数可以知道query_cache_size设置得是否合理

Qcache inserts 
 Qcache hits 
 Qcache lowmem prunes 
 Qcache free blocks 
 Qcache total blocks


Qcache_lowmem_prunes的值非常大,则表明经常出现缓冲不够的情况,同时Qcache_hits的 值非常大,则表明查询缓冲使用非常频繁,此时需要增加缓冲大小Qcache_hits的值不大,则表明你的查询重复率很低,这种情况下使用查询缓冲反而会 影响效率,那么可以考虑不用查询缓冲。此外,在SELECT语句中加入SQL_NO_CACHE可以明确表示不使用查询缓冲。
Qcache_free_blocks,如果该值非常大,则表明缓冲区中碎片很多query_cache_type指定是否使用查询缓冲
我设置:

query_cache_size = 32M
query_cache_type= 1
(改进动态设置query cache导致额外锁开销的问题分析及解决方法
关键字:dynamic switch for query cache, lock overhead for query cache
背景(引用自http://www.taobaodba.com/)
Query Cache是MySQL Server层的一个非常好的特性,对于小数据集或访问量非常集中的应用场景,有非常好的性能提升,内部细节可以参考1,在此处不打算展开Query Cache的一些应用特性。
Query Cache引入了一新的问题, 即如果你不想要Query Cache的功能(彻底地不要执行任何query cache的任何代码),只能在编译时就指定 –without-query-cache,也就是用宏开关把相关代码不编译。
为什么要这么做,原因就是一个社区里的Known Issue: 如果用户在运行时动态关闭query cache, 会导致额外CPU的开销,即对query cache加解锁操作。在负载非常高的MySQL服务器上,这个问题变得尤为突出。
在Oracle MySQL版本中,此问题一直无人解决,在MySQL 5.6中亦如此,在MariaDB中也一样。 Percona对此有提出自己的解决方案,不需要在编译时指定,可以在MySQL启动时指定–query_cache_type=0。这确实已经是一个大 的进步,至少用户在想用时不要重新编译。但需要指出的是,Percona版本为些付出的代价是,用户不能再动态地将uery_cache_type从0改 为其它值:
SET GLOBAL query_cache_type=ON;
ERROR 1651(HY000): Query cache is disabled; restart the server with query_cache_type=1 to enable it

得到如下状态值:

Qcache queries in cache 12737 表明目前缓存的条数
Qcache inserts 20649006
Qcache hits 79060095  看来重复查询率还挺高的
Qcache lowmem prunes 617913 有这么多次出现缓存过低的情况
Qcache not cached 189896   
Qcache free memory 18573912  目前剩余缓存空间
Qcache free blocks 5328 这个数字似乎有点大 碎片不少
Qcache total blocks 30953

如果内存允许32M应该要往上加点
table_cache指定表高速缓存的大小。每当MySQL访问一个表时,如果在表缓冲区中还有空间,该表就被打开并放入其中,这样可以更快地访 问表内容。通过检查峰值时间的状态值Open_tables和Opened_tables,可以决定是否需要增加table_cache的值。如果你发现 open_tables等于table_cache,并且opened_tables在不断增长,那么你就需要增加table_cache的值了(上述状 态值可以使用SHOW STATUS LIKE ‘Open%tables’获得)。注意,不能盲目地把table_cache设置成很大的值。如果设置得太高,可能会造成文件描述符不足,从而造成性能 不稳定或者连接失败。
对于有1G内存的机器,推荐值是128-256。
笔者设置table_cache = 256
得到以下状态:

Open tables 256
Opened tables 9046
虽然open_tables已经等于table_cache,但是相对于服务器运行时间来说,已经运行了20天,opened_tables的值也非常 低。因此,增加table_cache的值应该用处不大。如果运行了6个小时就出现上述值 那就要考虑增大table_cache。
如果你不需要记录2进制log 就把这个功能关掉,注意关掉以后就不能恢复出问题前的数据了,需要您手动备份,二进制日志包含所有更新数据的语句,其目的是在恢复数据库时用它来把数据尽 可能恢复到最后的状态。另外,如果做同步复制( Replication )的话,也需要使用二进制日志传送修改情况。
log_bin指定日志文件,如果不提供文件名,MySQL将自己产生缺省文件名。MySQL会在文件名后面自动添加数字引,每次启动服务时,都会重新生成一个新的二进制文件。
此外,使用log-bin-index可以指定索引文件;使用binlog-do-db可以指定记录的数据库;使用binlog-ignore- db可以指定不记录的数据库。注意的是:binlog-do-db和binlog-ignore-db一次只指定一个数据库,指定多个数据库需要多个语 句。而且,MySQL会将所有的数据库名称改成小写,在指定数据库时必须全部使用小写名字,否则不会起作用。
关掉这个功能只需要在他前面加上#号
#log-bin
开启慢查询日志( slow query log ) 慢查询日志对于跟踪有问题的查询非常有用。它记录所有查过long_query_time的查询,如果需要,还可以记录不使用索引的记录。下面是一个慢查询日志的例子:
开启慢查询日志,需要设置参数log_slow_queries、long_query_times、log-queries-not-using-indexes。
log_slow_queries指定日志文件,如果不提供文件名,MySQL将自己产生缺省文件名。
long_query_times指定慢查询的阈值,缺省是10秒。
log-queries-not-using-indexes是4.1.0以后引入的参数,它指示记录不使用索引的查询。笔者设置long_query_time=10
笔者设置:

sort_buffer_size = 1M
max_connections=120
wait_timeout =120
back_log=100
read_buffer_size = 1M
thread_cache=32
interactive_timeout=120
thread_concurrency = 4
参数说明:

back_log
要求MySQL能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求,这就起作用,然后主线程花些时间(尽管很短) 检查连接并且启动一个新线程。back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。只有如果期望在一个短时 间内有很多连接,你需要增加它,换句话说,这值对到来的TCP/IP连接的侦听队列的大小。你的操作系统在这个队列大小上有它自己的限制。 Unix listen(2)系统调用的手册页应该有更多的细节。检查你的OS文档找出这个变量的最大值。试图设定back_log高于你的操作系统的限制将是无效 的。
max_connections
并发连接数目最大,120 超过这个值就会自动恢复,出了问题能自动解决
thread_cache
没找到具体说明,不过设置为32后 20天才创建了400多个线程 而以前一天就创建了上千个线程 所以还是有用的
thread_concurrency
#设置为你的cpu数目x2,例如,只有一个cpu,那么thread_concurrency=2
#有2个cpu,那么thread_concurrency=4
skip-innodb
#去掉innodb支持
代码:

# Example MySQL config file for medium systems. 
 # 
 # This is for a system with little memory (32M - 64M) where MySQL plays 
 # an important part, or systems up to 128M where MySQL is used together with 
 # other programs (such as a web server) 
 # 
 # You can copy this file to 
 # /etc/my.cnf to set global options, 
 # mysql-data-dir/my.cnf to set server-specific options (in this 
 # installation this directory is /var/lib/mysql) or 
 # ~/.my.cnf to set user-specific options. 
 # 
 # In this file, you can use all long options that a program supports. 
 # If you want to know which options a program supports, run the program 
 # with the "--help" option. # The following options will be passed to all MySQL clients 
 [client] 
 #password = your_password 
 port = 3306 
 socket = /tmp/mysql.sock 
 #socket = /var/lib/mysql/mysql.sock 
 # Here follows entries for some specific programs # The MySQL server 
 [mysqld] 
 port = 3306 
 socket = /tmp/mysql.sock 
 #socket = /var/lib/mysql/mysql.sock 
 skip-locking 
 key_buffer = 128M 
 max_allowed_packet = 1M 
 table_cache = 256 
 sort_buffer_size = 1M 
 net_buffer_length = 16K 
 myisam_sort_buffer_size = 1M 
 max_connections=120 
 #addnew config 
 wait_timeout =120 
 back_log=100 
 read_buffer_size = 1M 
 thread_cache=32 
 skip-innodb 
 skip-bdb 
 skip-name-resolve 
 join_buffer_size=512k 
 query_cache_size = 32M 
 interactive_timeout=120 
 long_query_time=10 
 log_slow_queries= /usr/local/mysql4/logs/slow_query.log 
 query_cache_type= 1 
 # Try number of CPU's*2 for thread_concurrency 
 thread_concurrency = 4 #end new config 
 # Don't listen on a TCP/IP port at all. This can be a security enhancement, 
 # if all processes that need to connect to mysqld run on the same host. 
 # All interaction with mysqld must be made via Unix sockets or named pipes. 
 # Note that using this option without enabling named pipes on Windows 
 # (via the "enable-named-pipe" option) will render mysqld useless! 
 # 
 #skip-networking # Replication Master Server (default) 
 # binary logging is required for replication 
 #log-bin # required unique id between 1 and 2^32 - 1 
 # defaults to 1 if master-host is not set 
 # but will not function as a master if omitted 
 server-id = 1 # Replication Slave (comment out master section to use this) 
 # 
 # To configure this host as a replication slave, you can choose between 
 # two methods : 
 # 
 # 1) Use the CHANGE MASTER TO command (fully described in our manual) - 
 # the syntax is: 
 # 
 # CHANGE MASTER TO MASTER_HOST=, MASTER_PORT=, 
 # MASTER_USER=, MASTER_PASSWORD= ; 
 # 
 # where you replace , , by quoted strings and 
 # by the master's port number (3306 by default). 
 # 
 # Example: 
 # 
 # CHANGE MASTER TO MASTER_HOST='125.564.12.1', MASTER_PORT=3306, 
 # MASTER_USER='joe', MASTER_PASSWORD='secret'; 
 # 
 # OR 
 # 
 # 2) Set the variables below. However, in case you choose this method, then 
 # start replication for the first time (even unsuccessfully, for example 
 # if you mistyped the password in master-password and the slave fails to 
 # connect), the slave will create a master.info file, and any later 
 # change in this file to the variables' values below will be ignored and 
 # overridden by the content of the master.info file, unless you shutdown 
 # the slave server, delete master.info and restart the slaver server. 
 # For that reason, you may want to leave the lines below untouched 
 # (commented) and instead use CHANGE MASTER TO (see above) 
 # 
 # required unique id between 2 and 2^32 - 1 
 # (and different from the master) 
 # defaults to 2 if master-host is set 
 # but will not function as a slave if omitted 
 #server-id = 2 
 # 
 # The replication master for this slave - required 
 #master-host = 
 # 
 # The username the slave will use for authentication when connecting 
 # to the master - required 
 #master-user = 
 # 
 # The password the slave will authenticate with when connecting to 
 # the master - required 
 #master-password = 
 # 
 # The port the master is listening on. 
 # optional - defaults to 3306 
 #master-port = 
 # 
 # binary logging - not required for slaves, but recommended 
 #log-bin # Point the following paths to different dedicated disks 
 #tmpdir = /tmp/ 
 #log-update = /path-to-dedicated-directory/hostname # Uncomment the following if you are using BDB tables 
 #bdb_cache_size = 4M 
 #bdb_max_lock = 10000 # Uncomment the following if you are using InnoDB tables 
 #innodb_data_home_dir = /var/lib/mysql/ 
 #innodb_data_file_path = ibdata1:10M:autoextend 
 #innodb_log_group_home_dir = /var/lib/mysql/ 
 #innodb_log_arch_dir = /var/lib/mysql/ 
 # You can set .._buffer_pool_size up to 50 - 80 % 
 # of RAM but beware of setting memory usage too high 
 #innodb_buffer_pool_size = 16M 
 #innodb_additional_mem_pool_size = 2M 
 # Set .._log_file_size to 25 % of buffer pool size 
 #innodb_log_file_size = 5M 
 #innodb_log_buffer_size = 8M 
 #innodb_flush_log_at_trx_commit = 1 
 #innodb_lock_wait_timeout = 50 [mysqldump] 
 quick 
 max_allowed_packet = 16M [mysql] 
 no-auto-rehash 
 # Remove the next comment character if you are not familiar with SQL 
 #safe-updates [isamchk] 
 key_buffer = 20M 
 sort_buffer_size = 20M 
 read_buffer = 2M 
 write_buffer = 2M [myisamchk] 
 key_buffer = 20M 
 sort_buffer_size = 20M 
 read_buffer = 2M 
 write_buffer = 2M [mysqlhotcopy] 
 interactive-timeout

补充:
优化table_cachetable_cache指定表高速缓存的大小。每当MySQL访问一个表时,如果在表缓冲区中还有空间,该表就被打开并 放入其中,这样可以更快地访问表内容。通过检查峰值时间的状态值Open_tables和Opened_tables,可以决定是否需要增加 table_cache的值。如果你发现open_tables等于table_cache,并且opened_tables在不断增长,那么你就需要增 加table_cache的值了(上述状态值可以使用SHOW STATUS LIKE ‘Open%tables’获得)。注意,不能盲目地把table_cache设置成很大的值。如果设置得太高,可能会造成文件描述符不足,从而造成性能 不稳定或者连接失败。对于有1G内存的机器,推荐值是128-256。
案例1:该案例来自一个不是特别繁忙的服务器
table_cache – 512
open_tables – 103
opened_tables – 1273
uptime – 4021421 (measured in seconds)
该案例中table_cache似乎设置得太高了。在峰值时间,打开表的数目比table_cache要少得多。
案例2:该案例来自一台开发服务器。
table_cache – 64
open_tables – 64
opened-tables – 431
uptime – 1662790 (measured in seconds)
虽然open_tables已经等于table_cache,但是相对于服务器运行时间来说,opened_tables的值也非常低。因此,增加table_cache的值应该用处不大。
案例3:该案例来自一个upderperforming的服务器
table_cache – 64
open_tables – 64
opened_tables – 22423
uptime – 19538
该案例中table_cache设置得太低了。虽然运行时间不到6小时,open_tables达到了最大值,opened_tables的值也非 常高。这样就需要增加table_cache的值。优化key_buffer_sizekey_buffer_size指定索引缓冲区的大小,它决定索引 处理的速度,尤其是索引读的速度。通过检查状态值Key_read_requests和Key_reads,可以知道key_buffer_size 设置是否合理。比例key_reads / key_read_requests应该尽可能的低,至少是1:100,1:1000更好(上述状态值可以使用SHOW STATUS LIKE ‘key_read%’获得)。key_buffer_size只对MyISAM表起作用。即使你不使用MyISAM表,但是内部的临时磁盘表是 MyISAM表,也要使用该值。可以使用检查状态值created_tmp_disk_tables得知详情。对于1G内存的机器,如果不使用 MyISAM表,推荐值是16M(8-64M)。
案例1:健康状况
key_buffer_size – 402649088 (384M)
key_read_requests – 597579931
key_reads - 56188
案例2:警报状态
key_buffer_size – 16777216 (16M)
key_read_requests – 597579931
key_reads - 53832731
案例1中比例低于1:10000,是健康的情况;案例2中比例达到1:11,警报已经拉响。
以下是某门户网站的mysql状态实例及分析过程,绝对的第一手数据资料,很生动的体现了参数thread_cache_size优化的效果及优化该参数的必要性,希望对各位系统管理员能有帮助。
说明:
根据调查发现以上服务器线程缓存thread_cache_size没有进行设置,或者设置过小,这个值表示可以重新利用保存在缓存 中线程的数量,当断开 连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中,如果线程重新被请求,那么请求将从缓存中读取,如果缓存中是空的或者是新的请求,那么这个线 程将被重新创建,如果有很多新的线程,增加这个值可以改善系统性能.通过比较 Connections 和 Threads_created 状态的变量,可以看到这个变量的作用。(–>表示要调整的值) 根据物理内存设置规则如下:
1G —> 8
2G —> 16
3G —> 32
>3G —> 64

[mysql]show processlist sleep线程多,导致页面访问慢
在没有办法解决的情况下 临时使用 shell脚本 配合 crontab 定期kill sleep 进程
1 #vi kill_sleep.sh
代码如下

#!/bin/sh
 n=`/usr/bin/mysqladmin -u -p processlist | grep -i sleep | wc -l`
 date=`date +%Y%m%d\[%H:%M:%S]`
 echo $n
 if [ "$n" -gt 10 ]
 then
 for i in `/usr/bin/mysqladmin -u -p processlist | grep -i sleep | awk '{print $2}'`
 do
 /usr/bin/mysqladmin kill $i
 done
 echo "sleep is too many i killed it" >> /tmp/sleep.log
 echo "$date : $n" >> /tmp/sleep.log
 fi


把上述代码 另存为 kill_sleep.sh
2 修改文件可执行权限
# chmod +x kill_sleep.sh
3 修改crontab
# vi /etc/crontab
在打开文件中添加以下命令
*/10 * * * * root sh /home/program/kill_sleep.sh 表示每10分钟执行一次脚本
4 修改你linux的内核
vi /etc/sysctl.conf
编辑文件,加入以下内容:
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
然后执行 /sbin/sysctl -p 让参数生效。
net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN***,默认为0,表示关闭;
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。
net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间

5 修改my.cnf
# vi /etc/my.cnf 说明:my.cnf根据各自的mysql安装地址查找
打开/etc/my.cnf在属性组mysqld下面添加参数如下:
[mysqld]
interactive_timeout=10
wait_timeout=10
thread_cache_size=60
应用程序和数据库 建立连接,如果超过8小时应用程序不去访问数据库 ,数据库 就断掉连接 。这时再次访问就会抛出异常,默认时间是8小时 这个设置是针对 长连接的
如果你的数据库是网站用,面向多客户可以把这个两个参数设置小一点
设置 thread_cache_size 可以让你的数据库性能有很大的提升 ,他可以有效的把常用的连接线程缓存起来
 


转载于:https://blog.51cto.com/petermis/952978