hcymysql的博客_MySQL优化(2)

MariaDB Spider：实现MySQL横纵向扩展的小能手

什么是Spider？当您的数据库不断增长时，您绝对需要考虑其他技术，如数据库分片。Spider 是 MariaDB 内置的一个可插拔用于 MariaDB/MySQL 数据库分片的存储引擎，充当应用服务器和远程后端 DB 之间的代理（中间件），它可以轻松实现 MySQL 的横向和纵向扩展，突破单台 MySQL 的限制，支持范围分区、列表分区、哈希分区，支持XA分布式事务，支持跨库join。通过 Sp

mysql

分片

sharding

原创推荐 2017-04-27 15:02:17 10000+阅读 8点赞 4收藏 4评论

MySQL5.7 GR VS MariaDB10.1.19 Galera Cluster性能压测

MySQL5.7 GR VS MariaDB10.1.19 Galera Cluster性能压测视频演示：http://pan.baidu.com/s/1sk87tfB工具sysbench0.5 128并发 10张表100万行硬件配置R720 64G RAID10(SAS 15000转)192.168.143.244 gr（primary-3306端口） &nbs

gr

mariadb

galera

原创 2017-01-06 14:55:16 3831 阅读 2点赞 2评论

MySQL 5.7.17 VS MariaDB 10.1.19 Enterprise性能压测

为了验证MariaDB官网压测结果，特找了三台低配物理机做压测https://mariadb.org/maria-10-1-mysql-5-7-commodity-hardware/192.168.143.244 sysbench 192.168.143.245 MySQL 5.7.17 192.168.143.246 MariaDB 10.1.1

mysql

压测

mariadb

原创 2017-01-04 14:37:08 6615 阅读 3点赞 3评论

MaxScale2.0.1结合Java Druid连接池实现读写分离注意事项

现象：程序会不定时的出现连接错误，问题bug的异常信息如下：The last packet successfully received from the server was 116 milliseconds ago. The last packet sent successfully to the server was 115 milliseconds ago.java.sql.SQ

连接池

读写分离

原创推荐 2016-11-04 14:17:39 5437 阅读 4点赞 1收藏 2评论

SQL语句常见优化十大案例

1、慢SQL消耗了70%~90%的数据库CPU资源；2、SQL语句独立于程序设计逻辑，相对于对程序源代码的优化，对SQL语句的优化在时间成本和风险上的代价都很低；3、SQL语句可以有不同的写法；下面是我总结的一些SQL常见的优化方法，每个案例都简单易懂，在开发过程中可以作为参考：1、不使用子查询例：SELECT * FROM t1 WHERE id (SELECT id FROM t2 WHERE

优化

SQL

原创 2016-03-03 13:52:17 9264 阅读 6点赞 2评论

HaProxy VS MaxScale VS OneProxy压测对比（虚拟机环境）

测试工具mydbtest_linux64.binHaProxy VS MaxScale VS OneProxy -----接两台slave亮剑结果：结论：HaProxy 和 MariaDB MaxScale奇虎相当。

haproxy

mariadb

oneproxy

maxscale

原创 2015-10-30 15:18:18 2967 阅读 1点赞

/dev/sr0光驱挂载引起的CPU io_wait升高一“血案”

定期巡检发现一个怪异的问题，/dev/sr0光驱挂载引起的CPU io_wait升高，请看截图：快接近凌晨了，这时候已经没啥业务了，可以看到CPU的us使用率已经是0，但CPU第12个核出现了100.0%wa，load负载是1.0，太诡异了。立即用iotop命令查看，哪个进程占用IO过高，发现了挂载光驱引起的真凶，请看截图：可以明显的看到/dev/sr0光驱占用大量IO操作。查看系统日志，发现了错

cpu升高

原创推荐 2015-10-01 00:47:09 7458 阅读 5点赞 1评论

oneproxy中间件架构及注意事项

分布式数据库实现方案总体划分为两类：一类是程序客户端实现，对一个已有的业务来说，会涉及过多的代码改动甚至是程序逻辑上的调整。另一类是采用中间件proxy方案，前段代码改动小，通过proxy实现。架构图如下：---------------------------------------------------------------------------------------这里总结一下JAVA

proxy

中间件

oneproxy

altas

原创推荐 2015-08-17 10:12:35 2467 阅读 1点赞 2评论

OneProxy中间件生产使用经验视频分享

在调研各种开源中间件，如阿里Cobar/Tddl, Mycat, 官方Mariadb Spider,奇虎360 Altas, 官方MySQL proxy/Fabric，在功能和性能上，以及维护成本上，OneProxy更适合我这边的业务。测试+上线，历时一个月，OneProxy运行稳定，解决了目前我这边的连接池，读写分离(延迟1秒的Slave自动踢下线，强制走主库)。在安全方面，通过Onefirew

中间件

读写分离

oneproxy

原创 2015-07-05 21:53:41 3450 阅读 6点赞 10评论

MariaDB Spider分库分表引擎调研

视频地址：http://edu.51cto.com/index.php?do=lesson&id=56128

spider

mariadb

分库分表

原创 2015-03-23 15:43:14 3507 阅读

Percona5.6自身已支持杀死慢SQL

还在为慢SQL而烦恼吗？如今Percona5.6解决了这个问题，这个补丁是由Twitter提供。通过max_statement_time参数控制（单位毫秒），默认为0，不限制，假如你定义了超过5秒的慢SQL，由DB自动杀死，那么就要设置set global max_statement_time = 5000;下面通过截图，看例子：可以看到，DML/DDL语句

mysql

kill

slow

percona

慢sql

原创推荐 2015-03-16 18:24:11 4364 阅读 4点赞 2评论

小技巧：Percona5.5/5.6可以杀死空闲事务

这个特性是在Percona Server 5.5中引入的。当一个事务长时间未提交，那么这个链接就不能关闭，内存就不释放，并发一大，导致DB连接数增多，就会对性能产生影响。innodb_kill_idle_transaction参数默认是5秒，你可以根据自己的情况设定伐值。超过这个限制，服务端自动杀死未提交的空闲事务。下面的截图展示了这一过程：注：官方MySQL5.5/5.6是没有这个参数的。

mysql

kill

percona

原创 2015-03-16 16:45:27 1270 阅读 1点赞 2评论

一种可以避免数据迁移的分库分表scale-out扩容方式

原文地址：http://jm-blog.aliapp.com/?p=590目前绝大多数应用采取的两种分库分表规则mod方式dayofweek系列日期方式（所有星期1的数据在一个库/表,或所有?月份的数据在一个库表）这两种方式有个本质的特点，就是离散性加周期性。例如以一个表的主键对3取余数的方式分库或分表：那么随着数据量的增大，每个表或库的数据量都是各自增长。当一个表或库的数据量增长到了

分库分表

转载精选 2015-01-22 14:51:59 1438 阅读

讨论 innodb_log_block_size 变量

这不是一篇独创性的文章，但如果你对进一步了解 innodb_log_block_size 变量感兴趣，或者你在ext4文件系统上使用SSD卡和/或InnoDB大日志文件，这篇文章为你而写。我以前会简略的看一眼，但不会想太多，直到一天遇到了下面的一个错误日志:InnoDB: Warning: innodb_log_block_size has been changed from default va

mysql

innodb_log_block_siz

转载精选 2014-11-16 15:44:40 1583 阅读

MariaDB 10之并行复制--延迟测试结果

测试参数：sysbench --test=/root/sysbench0.5/sysbench/tests/db/insert.lua --mysql-table-engine=innodb --oltp-table-size=1000000 --max-requests=0 --max-time=300 --num-th

mariadb

并行复制

原创推荐 2014-07-01 15:53:29 2829 阅读 2点赞 2评论

tcmalloc jemalloc glibc内存分配管理模块性能测试对比

tcmalloc是谷歌提供的内存分配管理模块jemalloc是FreeBSD提供的内存分配管理模块glibc是Linux提供的内存分配管理模块并发16个线程，分配压测3次，每次压15分钟，可以看到谷歌的tcmalloc内存管理分配模块性能最好。安装：# wget http://download.savannah.gnu.org/releases/libunwind/libunw

glibc

tcmalloc

jemalloc

原创 2014-06-12 17:08:39 5206 阅读 1点赞 1评论

MariaDB10和MySQL5.6社区版压力测试

补上作业，MariaDB10和MySQL5.6社区版压力测试，见下图：sysbench（10.8.8.43）MySQL5.6和MariaDB10.0.11（10.8.8.100）压力测试参数：sysbench --test=oltp --mysql-table-engine=innodb --oltp-table-size=10000000 -

mysql

压力测试

mariadb

原创推荐 2014-06-10 16:01:39 4451 阅读 4点赞 5评论

优化MySQL的21个建议

今天一个朋友向我咨询怎么去优化 MySQL，我按着思维整理了一下，大概粗的可以分为21个方向。还有一些细节东西（table cache, 表设计，索引设计，程序端缓存之类的）先不列了，对一个系统，初期能把下面做完也是一个不错的系统。1. 要确保有足够的内存数据库能够高效的运行，最关建的因素需要内存足更大了，能缓存住数据，更新也可以在内存先完成。但不同的业务对内存需要强度不一样，一推荐内存要占到数

mysql

优化

转载精选 2014-05-28 20:33:33 1675 阅读 2点赞 1收藏 2评论

安装完 MySQL 后必须调整的 10 项配置

原文：http://www.mysqlperformanceblog.com/2014/01/28/10-mysql-settings-to-tune-after-installation/基本配置你需要经常察看以下3个配置项。不然，可能很快就会出问题。innodb_buffer_pool_size：这是你安装完InnoDB后第一个应该设置的选项。缓冲池是数据和索引缓存的地方：这个值越大越好，这能

mysql

优化

转载精选 2014-05-23 14:07:19 1408 阅读 2点赞 2评论

针对MySQL数据库主从延迟的问题

因从库是单进程，采用队列形式应用主库推送过来的binlog日志，当主库写压力较大时，从库就会跟不上，从而产生延迟。调整业务：1、一些公司的数据库设计，把各种业务的库都放到一个数据库实例里，比如一条update更新语句较慢，那么从库就会卡在那里，出现延迟。应拆分不同的业务到不同的服务器里，例如用户登录表、网站首页涉及的表、文章帖子相关表，站内搜索表、LOG日志表，这样就减少了主库的写压力。并且这样的

mysql

延迟

原创推荐 2014-05-23 12:18:55 2437 阅读 3点赞 1评论

MariaDB 和 MySQL 性能测试比较

现在选择继续使用MySQL或抛弃它切换到MariaDB有足够的理由。MySQL和MariaDB的性能比较现在把目光移到benchmark上面来，它其实也是由MariaDB团队开发的，并加了一下额外的说明。这篇博客提到了一个有趣的地方：把MYSQL5.6的线程数一直增加到16，性能都很好，但是超过了16的话，尽管性能也有提升一点点，但比较发现，远不如其他版本(包括MairaDB-5.5.28a和Ma

mysql

性能

mariadb

转载精选 2014-04-29 16:59:43 1816 阅读

MySQL再度失势：继维基百科之后，Google也迁移到了MariaDB

请大家先看一下：对子查询优化，各版本的执行计划，就不难发现为啥谷歌要把MySQL给抛弃了。很好的一个产品，被Oracle做成了这样。。。摘要：即使饱受非议，MySQL当下仍然是开源数据库的人气之王。然而光鲜的背后，其神位似乎已摇摇欲坠。继维基百科及多家Linux发行公司弃用MySQL之后，互联网巨头Google也果断使用MariaDB来替换公司内上万的MySQL实例。尽管被Oracle捕获后，My

子查询

mariadb

原创推荐 2014-04-29 15:38:01 5861 阅读 4点赞 3评论

MariaDB 引入原子写特性（ACID）

Sysbench OLTP，每秒处理事务数在使用高性能低延迟的存储设备（如SSD）时，我们可能会遇到意想不到的瓶颈。本文讲述的就是遭遇和处理这样的一个瓶颈的故事。 InnoDB 有一个独特的特性叫“双写缓存”（Double Write Buffer）。这个特性用于恢复那些未完整写入的页（Page），如果电源出现故障时 InnoDB 正在往硬盘上写一个页（1页=16KB=32磁道），那

mariadb

原子写

转载精选 2014-04-19 20:20:20 1483 阅读

生产环境一个like模糊匹配SQL优化

SELECT s.* FROM pre_common_member s WHERE s.`username` LIKE('%植物大战僵尸%') LIMIT 100;like后面接'%关键字%' 这样是用不到索引的，会导致全表扫描，这条SQL查询耗时，见下图：耗时：27.89秒--------------------------------------------------------------

优化

like

原创推荐 2014-03-01 22:33:03 10000+阅读 3点赞 4评论

Percona5.6增加了对NUMA架构的支持

目前主流服务器都支持NUMA架构，我们可以通过命令numactl --hardware查看，如图：在这里，NUMA架构把CPU逻辑上划分为两个节点node0和node1，每个节点上分配4核CPU、16G内存。NUMA默认策略：内存优先分配给node0，当InnoDB_Buffer_Pool设置为22G时，node0使用完本地内存，此时就应该使用node1节点的内存，但它宁可使用SWAP，也不会选择

NUMA

percona

原创 2014-02-26 19:22:44 1226 阅读 2点赞

一条统计Group By语句优化

在检查慢SQL时，发现一条统计SQL执行过慢，如下：原SQLSELECT platform, channel, COUNT(DISTINCT(platformUserId)) as cnt FROM( SELECT platform, channel, platformUserId, MIN(insertTimestamp) as rtime FROM tsz_user

优化

SQL

group by

原创推荐 2014-02-17 11:42:25 3377 阅读 4点赞 2评论

archive存储引擎注意事项

我这有个业务，专门存储LOG日志的，每天都会有上千万数据，所以采用了archive存储引擎，这样写入上较快，也比较节省空间。archive存储引擎这里简单介绍下：这个可以说和MyISAM引擎差不多，备份的时候直接cp拷贝数据文件，恢复时直接cp拷贝到MySQL数据目录，而且在空间上节省了不少，下面来看看。通过物理文件，可以明显的对比出来。看看磁盘IO性能图压力有所变小。好，下面说一个注意事项。今天

引擎

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

贺春旸的技术博客

MariaDB Spider：实现MySQL横纵向扩展的小能手

MySQL5.7 GR VS MariaDB10.1.19 Galera Cluster性能压测

MySQL 5.7.17 VS MariaDB 10.1.19 Enterprise性能压测

MaxScale2.0.1结合Java Druid连接池实现读写分离注意事项

SQL语句常见优化十大案例

HaProxy VS MaxScale VS OneProxy压测对比（虚拟机环境）

/dev/sr0光驱挂载引起的CPU io_wait升高一“血案”

oneproxy中间件架构及注意事项

OneProxy中间件生产使用经验视频分享

MariaDB Spider分库分表引擎调研

Percona5.6自身已支持杀死慢SQL

小技巧：Percona5.5/5.6可以杀死空闲事务

一种可以避免数据迁移的分库分表scale-out扩容方式

讨论 innodb_log_block_size 变量

MariaDB 10之并行复制--延迟测试结果

tcmalloc jemalloc glibc内存分配管理模块性能测试对比

MariaDB10和MySQL5.6社区版压力测试

优化MySQL的21个建议

安装完 MySQL 后必须调整的 10 项配置

针对MySQL数据库主从延迟的问题

MariaDB 和 MySQL 性能测试比较

MySQL再度失势：继维基百科之后，Google也迁移到了MariaDB

MariaDB 引入原子写特性（ACID）

生产环境一个like模糊匹配SQL优化

Percona5.6增加了对NUMA架构的支持

一条统计Group By语句优化

archive存储引擎注意事项

欢迎