hcymysql的博客_python,Mysql,自动化运维,MongoDB,redis,MySQL管理,MySQL优化,日常工作原创(7)

按发布时间
按阅读量
时间轴

全部332篇
2025年10篇 03月2篇 02月3篇 01月5篇 2024年87篇 12月4篇 11月5篇 10月5篇 09月12篇 08月11篇 07月11篇 06月9篇 05月2篇 04月4篇 03月1篇 02月12篇 01月11篇 2023年41篇 12月17篇 11月6篇 10月5篇 09月2篇 08月2篇 07月1篇 06月3篇 05月3篇 02月1篇 01月1篇 2022年14篇 12月2篇 07月1篇 06月5篇 05月2篇 04月1篇 02月2篇 01月1篇 2021年7篇 12月2篇 11月2篇 10月1篇 07月1篇 01月1篇 2020年13篇 12月1篇 10月1篇 09月1篇 08月2篇 07月3篇 06月2篇 05月1篇 03月1篇 01月1篇 2019年17篇 12月6篇 11月6篇 10月1篇 09月1篇 08月1篇 04月1篇 03月1篇 2018年15篇 12月1篇 11月1篇 10月3篇 09月1篇 08月2篇 07月3篇 06月2篇 05月1篇 01月1篇 2017年9篇 12月1篇 11月1篇 07月1篇 05月2篇 04月1篇 01月3篇 2016年9篇 12月1篇 11月2篇 10月1篇 08月1篇 06月1篇 03月2篇 02月1篇 2015年20篇 10月6篇 09月3篇 08月1篇 07月1篇 06月2篇 04月1篇 03月3篇 02月1篇 01月2篇 2014年61篇 11月8篇 10月4篇 09月5篇 07月3篇 06月5篇 05月8篇 04月6篇 03月8篇 02月11篇 01月3篇 2013年9篇 12月3篇 11月4篇 05月1篇 04月1篇 2012年20篇 12月1篇 11月3篇 10月4篇 09月3篇 08月2篇 07月1篇 06月6篇
推荐/精选
原创

全部原创转载翻译

MySQL 8.0解决Too many connections数据库连接数被打满

其实这个功能，MySQL增加的着实太晚了。在MariaDB 10.0和Percona5.6版本中，有个参数extra_port可以登录“后门”解决。在MySQL 8.0版本中，有个类似的参数实现了该功能。admin_address = 127.0.0.1 admin_port = 13308 create_admin_listener_thread = ON注：不支持动态

Too many connection

连接数打满

mysql

原创 2019-11-05 16:53:16 7916 阅读

Explain Analyze在MySQL 8.0.18版本中的扩展使用

在之前的版本里，我们是用explain命令来查看SQL的具体执行计划。在MySQL 8.0.18版本里新增了explain扩展，一个是explain format=tree，另一个是基于explain format=tree延伸扩展的Explain Analyze，今天我们查看下该命令是怎样执行的。还是用sbtest1表做测试。explain analyze select count(*) fro

mysql8

explain

执行计划

原创 2019-11-05 14:53:38 2890 阅读

MySQL 8.0.18 Hash Join不支持left/right join左右连接

在MySQL 8.0.18中，增加了Hash Join新功能，它适用于未创建索引的字段，做等值关联查询。在之前的版本里，如果连接的字段没有创建索引，查询速度会是非常慢的，优化器会采用BNL（块嵌套）算法。Hash Join算法是把一张小表数据存储到内存中的哈希表里，并逐行去匹配大表中的数据，计算哈希值并把符合条件的数据，从内存中返回客户端。用sysbench生成4张表，并删除默认的k字段索引。我们

hash join

哈希

mysql

原创 2019-11-04 16:27:56 2252 阅读

MySQL8.0 Mgr自动安装脚本

MySQL8.0 自动安装脚本mysql8_install.shmy_test.cnfmysql-8.0.18-linux-glibc2.12-x86_64.tar.xz三个文件放在同一个目录下，例如/root/soft/1）安装并启动mysql进程（主和从库都执行）#/bin/bash mysql8_install.sh2）配置主从复制（从库执行）#/bin/bash mysql8_instal

mysql8.0

mariadb

mongodb

原创 2019-10-22 16:28:04 3594 阅读 2评论

MariaDB FLUSH TABLES命令只关闭未使用的表

例会话一select id,sleep(60) from t1;因未执行完，t1表持有METADATA LOCK(MDL)元数据锁会话二FLUSH TABLES;在MariaDB 10.4 版本以前，执行FLUSH TABLES会把所有的表强制关闭，因会话一持有MDL元数据锁，固FLUSH TABLES会等待Waiting for table metadata lock在MariaDB 10.4

mariadb

mha

原创 2019-09-04 16:57:00 1767 阅读

MariaDB 10.4.6 (GA)的变化和改进

1、支持对DROP COLUMN删除字段采用ALGORITHM=INSTANT算法例：alter table t1 drop column name,ALGORITHM=INSTANT;MySQL 8.0.17版本不支持该算法2、支持更改字符集utf8->utf8mb4转换采用ALGORITHM=INSTANT算法例：alter table t1 change name name varch

mariadb

新特性

原创 2019-08-26 10:45:41 1777 阅读

MariaDB - Mariabackup热备份工具

MariaDB - Mariabackup热备份工具自MariaDB10.2.7（含）以上版本，不再支持使用Percona XtraBackup工具在线物理热备份。MariaDB 10.1引入了MariaDB独有的功能，例如InnoDB页面压缩和静态数据加密。这些独家功能在MariaDB用户中非常受欢迎。但是，来自MySQL生态系统的现有备份解决方案（如Percona XtraBackup）不支持

xtrabackup

Mariabackup

mariadb

原创 2019-04-03 14:24:50 6154 阅读 1点赞 1收藏

Slowquery图形化显示MySQL慢日志工具

Slowquery图形化显示MySQL慢日志工具在线演示：http://fander.jios.org:8008/slowquery/slowquery.php背景：由于天兔Lepus慢查询工具是运行在PHPCI框架里，而不是作为一个独立的web页面接口，所以想直接接入自动化运维平台里，移植代码比较困难，固考虑重构。参考了开源工具Anemometer图形展示思路，并且把小米Soar工具集成进去，开

慢查询

slowlog

原创 2019-03-16 11:31:15 5987 阅读 1点赞 13评论

Percona MongoDB HotBackup热备份工具

Percona MongoDB HotBackup热备份工具前言：目前官方MongoDB社区版是不支持Hot Backup热备份的，我们只能通过mongodump等逻辑备份工具导出bson文件，再mongorestore导入，类似MySQL的mysqldump工具。在备份副本集时，我们需指定--oplog选项记录备份间产生的增量数据，类似mysqldump --single-transaction

mongodb

热备份

php

原创 2018-12-13 10:58:29 4885 阅读

Percona PT-kill重构版(PHP)

/**Percona PT-kill重构版(PHP)https://github.com/hcymysql/pt-killUPDATE:Modified by: hcymysql 2018/11/271、增加慢SQL邮件报警功能2、增加慢SQL微信报警功能环境准备:shell> yum install -y php-process php php-mysql*/概述原生Percona版 P

pt-kill

慢SQL

慢查询

kill

原创 2018-11-28 10:32:40 682 阅读 1收藏 3评论

MariaDB 10.3支持update多表ORDER BY and LIMIT

MariaDB 10.3支持update多表ORDER BY and LIMIT1）update连表更新，limit语句update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;MySQL 8.0 直接报错MariaDB

mariadb

update

limit

order by

多表更新

原创 2018-10-10 16:29:31 1841 阅读

MariaDB10.3 增补AliSQL补丁---安全执行Online DDL

Online DDL从名字上看很容易误导新手，以为不论什么情况，修改表结构都不会锁表，理想很丰满，现实很骨感，注意这个坑！有以下两种情况执行DDL操作会锁表的，Waiting for table metadata lock（元数据表锁）1、增加、删除字段或索引不会锁全表，删除主键、更改字段属性会锁全表，见下图所示：2、在添加字段alter table表时，对该表的增、删、改、查均不会锁表。而在这之

mariadb

online

ddl

aisql

原创 2018-10-10 14:01:34 3232 阅读 1收藏

MariaDB Window Functions窗口函数分组取TOP N记录

窗口函数在MariaDB10.2版本里实现，其简化了复杂SQL的撰写，提高了可读性。在某些方面，窗口函数类似于聚集函数，但它不像聚集函数那样每组只返回一个值，窗口函数可以为每组返回多个值。作为一种高级查询功能，解释起来并非易事。提供窗口函数介绍的最佳方法是通过示例，让我们看看窗口函数实现分组取TOP N记录。表结构CREATE TABLE `student` ( &

窗口函数

分析函数

mariadb

window functions

原创 2018-10-09 14:30:09 2382 阅读

MariaDB 10.3支持自动KILL掉未提交的空事务

下面介绍给大家一个参数innodb_kill_idle_transaction（这个是Percona XtraDB引用的参数），意思为当一个事务长时间未提交，那么这个连接就不能关闭，内存就不释放，并发一大，导致DB连接数增多，就会对性能产生影响。默认是0秒，你可以根据自己的情况设定阈值。超过这个阈值，服务端自动杀死未提交的空闲事务。MariaDB在10.2.6版本里将其移除，因不再捆绑Pe

空事务

kill

mariadb

原创 2018-09-03 18:29:39 5636 阅读

MariaDB 10.3 解决掉了UPDATE不支持同一张表的子查询更新

MariaDB 10.3 解决掉了UPDATE不能在同一表中查询的数据作为同一表的更新，及支持UPDATE具有相同源和目标的更新语句。下面直接看案例CREATE TABLE t1 (c1 INT, c2 INT); INSERT INTO t1 VALUES (10,10), (20,20

update

mariadb

原创 2018-08-09 14:47:50 5057 阅读

Percona pt-archiver重构版--大表数据归档工具

Percona pt-archiver重构版--大表数据归档工具相信很多小伙伴们，在日常对接开发时，有很多大表在业务上并没有采取任何形式的切分，数据不停地往一张表里灌入，迟早有一天，磁盘空间报警。作为一个DBA，侧重点是对数据库的操作性能（大表增加字段/索引，QPS等）和存储容量加以考虑，我们会建议开发对数据库里的大表进行数据归档处理，例如将3个月内的订单表保留在当前表，历史数据切分后保存在归档表

archiver

归档

工具

原创 2018-08-07 18:01:36 10000+阅读 2点赞 2评论

Semi-sync master failed on net_flush() before wait

BUG描述：Semi-sync master failed on net_flush() before waiting for slave replyMariaDB 10.0.25 Centos6.6这是7月7下午5点因网络抖动，发生的半同步复制hang住的一个BUG。当时的现象就是主库无法插入，从库IO Thread线程挂起，与主库失连。错误日志截图当时的报警信息截图监控图后立即关闭半同步复制，

半同步

复制

bug

原创 2018-07-18 22:08:53 6585 阅读 1评论

参数binlog_row_image设置MINIMAL，你今天被坑了吗？

今天网友陈俊聪跟我讨论一个参数binlog_row_image，在什么场景下设置为MINIMAL，我觉得这个案例很有意义，尤其是在生产环境中，要慎重设置这个参数。首先这个MINIMAL，只会在binlog里记录被影响的行，而不能像默认的FULL一样，记录完整的变更前和变更后的所有记录，这里就会产生一个问题，数据被误更改，无法用mysqlbinlog等工具闪回，另外大数据那边用canal抽binlo

binlog

row

image

原创精选 2018-07-15 21:14:56 10000+阅读 1点赞

MariaDB 10.3 instant ADD COLUMN亿级大表毫秒级加字段

加字段是痛苦的，需要对表进行重建，尤其是对亿级别的大表，虽然Online DDL可以避免锁表，但如果在主库上执行耗时30分钟，那么再复制到从库上执行，主从复制就出现延迟。使用instant ADD COLUMN特性，只需弹下烟灰的时间，字段就加好了，享受MongoDB那样的非结构化存储的灵活方便。限制1、如果指定了AFTER，字段必须是在最后一列，否则会重新建立表2、不适用于ROW_FORMAT

大表

加字段

快速

原创 2018-07-10 17:30:58 3493 阅读 1收藏

Percona5.7 TokuBackup支持TokuDB热备份

Percona5.7 TokuBackup支持TokuDB热备份一、安装tokudb引擎执行以下脚本，自动安装tokudb。bin/ps-admin --defaults-file=/etc/my3308.cnf --enable -uroot -p123456 -S /tmp/mysql3308.sock Checking S

tokudb

备份

percona

mysql

5.7

原创 2018-06-20 16:14:17 7078 阅读

大表DROP删除小技巧

在日常工作中，经常会遇到历史大表从主库上迁移到备份机，以便腾出主库空间，那么如果你直接droptable后，可能会引起数据库抖动，连接数升高等问题，从而影响业务。那么用一个小技巧，即可轻松平滑的从主库上删除历史大表。1、创建一个硬链接，在droptable表时，"欺骗"MySQL已经删除完毕。lntest.ibdtest.ibd.hdlk2、这个时候不要直接rmtest.ibd

drop

删除

硬链接

原创 2018-06-17 11:34:19 3485 阅读

MariaDB10.3 系统版本表有效防止数据丢失

系统版本表是SQL:2011标准中首次引入的功能。系统版本表存储所有更改的历史数据，而不仅仅是当前时刻有效的数据。举个例子，同一行数据一秒内被更改了10次，那么就会保存10份不同时间的版本数据。就像《源代码》电影里的平行世界理论一样，你可以退回任意时间里。从而有效保障你的数据是安全的，DBA手抖或程序BUG引起的数据丢失，在MariaDB10.3里已成为过去。

闪回

数据丢失

原创推荐 2018-05-28 18:48:27 10000+阅读 23点赞 6收藏 5评论

DBA的40条军规

DBA操作规范1、涉及业务上的修改/删除数据，在得到业务方、CTO的邮件批准后方可执行，执行前提前做好备份，必要时可逆。2、所有上线需求必须走工单系统，口头通知视为无效。3、在对大表做表结构变更时，如修改字段属性会造成锁表，并会造成从库延迟，从而影响线上业务，必须在凌晨0:00后业务低峰期执行，另统一用工具pt-online-schema-change避免锁表且降低延迟执行时间。使用范例：#pt-

SQL

规范

原创推荐 2018-01-16 11:16:28 10000+阅读 44点赞 27收藏 16评论

SQL自动审核-自助上线平台 V2.0

为了让DBA从日常繁琐的工作中解放出来，通过SQL自助平台，可以让开发自上线，开发提交SQL后就会自动返回优化建议，无需DBA的再次审核，从而提升上线效率，有利于建立数据库开发规范。借鉴了去哪网Inception的思路并且把美团网SQLAdvisor（索引优化建议）集成在一起，并结合了之前写的《DBA的40条军规》纳入了审核规则里，用PHP实现。目前在我公司内部使用。下面是首页界面：使用说明：1、

审核

inception

sql

原创推荐 2017-12-23 11:27:39 10000+阅读 17点赞 11收藏 147评论

MariaDB ColumnStore一些限制和BUG总结

字段属性限制1、不支持CHARACTER SET语法MariaDB [test]> create table t1(id int,name varchar(10) CHARACTER SET utf8)-> engine=Columnstore;ERROR 1178 (42000): The storage engine for the table doesn’t support Th

MPP

columnstore

原创推荐 2017-11-09 22:38:43 10000+阅读 7点赞 1收藏

orzdba监控工具【增加远程监控】

orzdba工具默认必须在本地使用，这不是很方便，现增加了远程调用。使用方法：./orzdba_remote --host=192.168.148.1 --user=admin --password=123456 --port=3308 -mysql -sys附件下载脚本。

mysql

监控

orzdba

原创 2017-07-04 13:35:40 5299 阅读 4点赞 1收藏 3评论

Timestamp时间戳精确到微妙级别，出现bug

timestamp时间戳精确到微妙级别，出现bug 自MariaDB5.3版本起，timestamp时间戳精确到微妙级别，但这里存在一个致命bug，它会导致binlog记录的内容损坏，致使闪回恢复功能失效、Canal工具抓取binlog失败。影响版本MariaDB 5.5/10.0 复现：我使用的版本为10.0.29-MariaDB-enterpriseBinlog格式为ROW（Mixed不存

mysql

原创 2017-05-22 16:09:06 4644 阅读 2点赞 1评论

MariaDB10.1.22 Spider3.3腾讯补丁版分库分表下载

鉴于腾讯Tspider未开源，我拿到了原作者Kentoku Shiba的Spider3.3源代码（集成了腾讯的补丁，性能有所加强），并且编译到MariaDB 10.1.22 GA版本里，二进制下载地址http://www.liyanlan.com/download/mariadb/spider/mariadb-10.1.22-spider-3.3.11-linux-x86_64.tgz 注：

mysql

原创推荐 2017-05-03 13:40:26 10000+阅读 3点赞 3评论

MariaDB Spider：实现MySQL横纵向扩展的小能手

什么是Spider？当您的数据库不断增长时，您绝对需要考虑其他技术，如数据库分片。Spider 是 MariaDB 内置的一个可插拔用于 MariaDB/MySQL 数据库分片的存储引擎，充当应用服务器和远程后端 DB 之间的代理（中间件），它可以轻松实现 MySQL 的横向和纵向扩展，突破单台 MySQL 的限制，支持范围分区、列表分区、哈希分区，支持XA分布式事务，支持跨库join。通过 Sp

mysql

分片

sharding

原创推荐 2017-04-27 15:02:17 10000+阅读 8点赞 4收藏 4评论

MySQL5.7 GR VS MariaDB10.1.19 Galera Cluster性能压测

MySQL5.7 GR VS MariaDB10.1.19 Galera Cluster性能压测视频演示：http://pan.baidu.com/s/1sk87tfB工具sysbench0.5 128并发 10张表100万行硬件配置R720 64G RAID10(SAS 15000转)192.168.143.244 gr（primary-3306端口） &nbs

mariadb

galera

原创 2017-01-06 14:55:16 3828 阅读 2点赞 2评论

欢迎

首页
3
4
5
6
7
8
9
10
共311条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

贺春旸的技术博客

MySQL 8.0解决Too many connections数据库连接数被打满

Explain Analyze在MySQL 8.0.18版本中的扩展使用

MySQL 8.0.18 Hash Join不支持left/right join左右连接

MySQL8.0 Mgr自动安装脚本

MariaDB FLUSH TABLES命令只关闭未使用的表

MariaDB 10.4.6 (GA)的变化和改进

MariaDB - Mariabackup热备份工具

Slowquery图形化显示MySQL慢日志工具

Percona MongoDB HotBackup热备份工具

Percona PT-kill重构版(PHP)

MariaDB 10.3支持update多表ORDER BY and LIMIT

MariaDB10.3 增补AliSQL补丁---安全执行Online DDL

MariaDB Window Functions窗口函数分组取TOP N记录

MariaDB 10.3支持自动KILL掉未提交的空事务

MariaDB 10.3 解决掉了UPDATE不支持同一张表的子查询更新

Percona pt-archiver重构版--大表数据归档工具

Semi-sync master failed on net_flush() before wait

参数binlog_row_image设置MINIMAL，你今天被坑了吗？

MariaDB 10.3 instant ADD COLUMN亿级大表毫秒级加字段

Percona5.7 TokuBackup支持TokuDB热备份

大表DROP删除小技巧

MariaDB10.3 系统版本表有效防止数据丢失

DBA的40条军规

SQL自动审核-自助上线平台 V2.0

MariaDB ColumnStore一些限制和BUG总结

orzdba监控工具【增加远程监控】

Timestamp时间戳精确到微妙级别，出现bug

MariaDB10.1.22 Spider3.3腾讯补丁版分库分表下载

MariaDB Spider：实现MySQL横纵向扩展的小能手

MySQL5.7 GR VS MariaDB10.1.19 Galera Cluster性能压测

欢迎