hcymysql的博客_MySQL管理(5)

Percona MongoDB HotBackup热备份工具

Percona MongoDB HotBackup热备份工具前言：目前官方MongoDB社区版是不支持Hot Backup热备份的，我们只能通过mongodump等逻辑备份工具导出bson文件，再mongorestore导入，类似MySQL的mysqldump工具。在备份副本集时，我们需指定--oplog选项记录备份间产生的增量数据，类似mysqldump --single-transaction

mongodb

热备份

php

原创 2018-12-13 10:58:29 4885 阅读

Percona PT-kill重构版(PHP)

/**Percona PT-kill重构版(PHP)https://github.com/hcymysql/pt-killUPDATE:Modified by: hcymysql 2018/11/271、增加慢SQL邮件报警功能2、增加慢SQL微信报警功能环境准备:shell> yum install -y php-process php php-mysql*/概述原生Percona版 P

pt-kill

慢SQL

慢查询

kill

原创 2018-11-28 10:32:40 681 阅读 1收藏 3评论

MariaDB 10.3支持update多表ORDER BY and LIMIT

MariaDB 10.3支持update多表ORDER BY and LIMIT1）update连表更新，limit语句update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;MySQL 8.0 直接报错MariaDB

mariadb

update

limit

order by

多表更新

原创 2018-10-10 16:29:31 1839 阅读

MariaDB10.3 增补AliSQL补丁---安全执行Online DDL

Online DDL从名字上看很容易误导新手，以为不论什么情况，修改表结构都不会锁表，理想很丰满，现实很骨感，注意这个坑！有以下两种情况执行DDL操作会锁表的，Waiting for table metadata lock（元数据表锁）1、增加、删除字段或索引不会锁全表，删除主键、更改字段属性会锁全表，见下图所示：2、在添加字段alter table表时，对该表的增、删、改、查均不会锁表。而在这之

mariadb

online

ddl

aisql

原创 2018-10-10 14:01:34 3232 阅读 1收藏

MariaDB 10.3支持自动KILL掉未提交的空事务

下面介绍给大家一个参数innodb_kill_idle_transaction（这个是Percona XtraDB引用的参数），意思为当一个事务长时间未提交，那么这个连接就不能关闭，内存就不释放，并发一大，导致DB连接数增多，就会对性能产生影响。默认是0秒，你可以根据自己的情况设定阈值。超过这个阈值，服务端自动杀死未提交的空闲事务。MariaDB在10.2.6版本里将其移除，因不再捆绑Pe

空事务

kill

mariadb

原创 2018-09-03 18:29:39 5636 阅读

MariaDB 10.3 解决掉了UPDATE不支持同一张表的子查询更新

MariaDB 10.3 解决掉了UPDATE不能在同一表中查询的数据作为同一表的更新，及支持UPDATE具有相同源和目标的更新语句。下面直接看案例CREATE TABLE t1 (c1 INT, c2 INT); INSERT INTO t1 VALUES (10,10), (20,20

update

mariadb

原创 2018-08-09 14:47:50 5057 阅读

Percona pt-archiver重构版--大表数据归档工具

Percona pt-archiver重构版--大表数据归档工具相信很多小伙伴们，在日常对接开发时，有很多大表在业务上并没有采取任何形式的切分，数据不停地往一张表里灌入，迟早有一天，磁盘空间报警。作为一个DBA，侧重点是对数据库的操作性能（大表增加字段/索引，QPS等）和存储容量加以考虑，我们会建议开发对数据库里的大表进行数据归档处理，例如将3个月内的订单表保留在当前表，历史数据切分后保存在归档表

pt

archiver

归档

工具

原创 2018-08-07 18:01:36 10000+阅读 2点赞 2评论

Semi-sync master failed on net_flush() before wait

BUG描述：Semi-sync master failed on net_flush() before waiting for slave replyMariaDB 10.0.25 Centos6.6这是7月7下午5点因网络抖动，发生的半同步复制hang住的一个BUG。当时的现象就是主库无法插入，从库IO Thread线程挂起，与主库失连。错误日志截图当时的报警信息截图监控图后立即关闭半同步复制，

半同步

复制

bug

原创 2018-07-18 22:08:53 6585 阅读 1评论

参数binlog_row_image设置MINIMAL，你今天被坑了吗？

今天网友陈俊聪跟我讨论一个参数binlog_row_image，在什么场景下设置为MINIMAL，我觉得这个案例很有意义，尤其是在生产环境中，要慎重设置这个参数。首先这个MINIMAL，只会在binlog里记录被影响的行，而不能像默认的FULL一样，记录完整的变更前和变更后的所有记录，这里就会产生一个问题，数据被误更改，无法用mysqlbinlog等工具闪回，另外大数据那边用canal抽binlo

binlog

row

image

原创精选 2018-07-15 21:14:56 10000+阅读 1点赞

MariaDB 10.3 instant ADD COLUMN亿级大表毫秒级加字段

加字段是痛苦的，需要对表进行重建，尤其是对亿级别的大表，虽然Online DDL可以避免锁表，但如果在主库上执行耗时30分钟，那么再复制到从库上执行，主从复制就出现延迟。使用instant ADD COLUMN特性，只需弹下烟灰的时间，字段就加好了，享受MongoDB那样的非结构化存储的灵活方便。限制1、如果指定了AFTER，字段必须是在最后一列，否则会重新建立表2、不适用于ROW_FORMAT

大表

加字段

快速

原创 2018-07-10 17:30:58 3490 阅读 1收藏

Percona5.7 TokuBackup支持TokuDB热备份

Percona5.7 TokuBackup支持TokuDB热备份一、安装tokudb引擎执行以下脚本，自动安装tokudb。bin/ps-admin --defaults-file=/etc/my3308.cnf --enable -uroot -p123456 -S /tmp/mysql3308.sock Checking S

tokudb

备份

percona

mysql

5.7

原创 2018-06-20 16:14:17 7080 阅读

大表DROP删除小技巧

在日常工作中，经常会遇到历史大表从主库上迁移到备份机，以便腾出主库空间，那么如果你直接droptable后，可能会引起数据库抖动，连接数升高等问题，从而影响业务。那么用一个小技巧，即可轻松平滑的从主库上删除历史大表。1、创建一个硬链接，在droptable表时，"欺骗"MySQL已经删除完毕。lntest.ibdtest.ibd.hdlk2、这个时候不要直接rmtest.ibd

drop

删除

硬链接

原创 2018-06-17 11:34:19 3487 阅读

MariaDB10.3 系统版本表有效防止数据丢失

系统版本表是SQL:2011标准中首次引入的功能。系统版本表存储所有更改的历史数据，而不仅仅是当前时刻有效的数据。举个例子，同一行数据一秒内被更改了10次，那么就会保存10份不同时间的版本数据。就像《源代码》电影里的平行世界理论一样，你可以退回任意时间里。从而有效保障你的数据是安全的，DBA手抖或程序BUG引起的数据丢失，在MariaDB10.3里已成为过去。

闪回

数据丢失

原创推荐 2018-05-28 18:48:27 10000+阅读 23点赞 6收藏 5评论

DBA的40条军规

DBA操作规范1、涉及业务上的修改/删除数据，在得到业务方、CTO的邮件批准后方可执行，执行前提前做好备份，必要时可逆。2、所有上线需求必须走工单系统，口头通知视为无效。3、在对大表做表结构变更时，如修改字段属性会造成锁表，并会造成从库延迟，从而影响线上业务，必须在凌晨0:00后业务低峰期执行，另统一用工具pt-online-schema-change避免锁表且降低延迟执行时间。使用范例：#pt-

SQL

规范

原创推荐 2018-01-16 11:16:28 10000+阅读 44点赞 27收藏 16评论

SQL自动审核-自助上线平台 V2.0

为了让DBA从日常繁琐的工作中解放出来，通过SQL自助平台，可以让开发自上线，开发提交SQL后就会自动返回优化建议，无需DBA的再次审核，从而提升上线效率，有利于建立数据库开发规范。借鉴了去哪网Inception的思路并且把美团网SQLAdvisor（索引优化建议）集成在一起，并结合了之前写的《DBA的40条军规》纳入了审核规则里，用PHP实现。目前在我公司内部使用。下面是首页界面：使用说明：1、

审核

inception

sql

原创推荐 2017-12-23 11:27:39 10000+阅读 17点赞 11收藏 147评论

MariaDB ColumnStore一些限制和BUG总结

字段属性限制1、不支持CHARACTER SET语法MariaDB [test]> create table t1(id int,name varchar(10) CHARACTER SET utf8)-> engine=Columnstore;ERROR 1178 (42000): The storage engine for the table doesn’t support Th

MPP

columnstore

原创推荐 2017-11-09 22:38:43 10000+阅读 7点赞 1收藏

orzdba监控工具【增加远程监控】

orzdba工具默认必须在本地使用，这不是很方便，现增加了远程调用。使用方法：./orzdba_remote --host=192.168.148.1 --user=admin --password=123456 --port=3308 -mysql -sys附件下载脚本。

mysql

监控

orzdba

原创 2017-07-04 13:35:40 5301 阅读 4点赞 1收藏 3评论

TiDB VS MariaDB10.1.19 Enterprise性能压测

视频演示：https://pan.baidu.com/s/1qYRMp7Q工具sysbench0.5 128并发 10张表100万行硬件配置R720 64G RAID10(15000转)分别压测100秒sysbench --test=/root/soft/sysbench-0.5/sysbench/tests/db/oltp.lua --mysql-table-engine=innod

ERP

tidb

原创 2017-01-02 00:35:14 8391 阅读 3点赞 1收藏 4评论

pt-online-schema-change你今天滥用了吗？

注：本文来自真实生产案例，感谢网友小豚提供，本人加以故障重现校验。场景因想整理一下线上的独立表空间碎片，故使用了pt-online-schema-change在slave从库上执行，目的是怕影响主库的CPU，维护的时候再进行一次主从切换，然后再收缩主库上的表空间碎片。slave从库上执行的命令如下：# pt-online-schema-change -S /tmp/m

schema

online

pt

原创推荐 2016-12-06 13:39:21 7802 阅读 11点赞 2收藏 7评论

MySQL5.7 切不要"乱射" --transaction-write-set-extraction=MURMUR32

今天早上一个朋友找到了我，说他们备份失败了，使用的版本为MySQL 5.7.15报错信息如下：mysqldump: Couldn't execute 'SAVEPOINT sp': The MySQL server is running with the --transacti

备份

mysql

导出

原创推荐 2016-11-23 11:52:33 6801 阅读 3点赞 3收藏 1评论

让pt-slave-restart支持MariaDB

restart

slave

pt

原创推荐 2016-10-25 16:21:56 2929 阅读 2点赞 2评论

MySQL管理之道：第二版上市！China-Pub首发

订购网址：http://product.china-pub.com/4977176http://product.dangdang.com/24032329.htmlhttp://item.jd.com/11973797.htmlhttps://www.amazon.cn/MySQL%E7%AE%A1%E7%90%86%E4%B9%8B%E9%81%93-%E6%80%A7%E8%83%BD%E8%

mysql

书

原创 2016-08-31 11:55:54 2852 阅读 8点赞 28评论

MariaDB 10审计日志去除记录select操作

默认情况下，记录select操作完全是蛋疼的功能，记录一些没有必要的操作。去除以后，只会记录增删改、DDL操作。安装使用：把附件里的server_audit.so放入到/usr/local/mysql/lib/plugin/并chown mysql.mysql server_audit.so> INSTALL PLUGIN server_audit S

mysql

audit

审计

原创 2016-06-29 18:36:07 1451 阅读 3点赞 2收藏

一步完成 MySQL 向 Redis 迁移

参考国外大牛的方法，http://www.oschina.net/translate/mysql-to-redis-in-one-step实验成功，以下是操作方法：MySQL表结构数据[test]> select * from hechunyang;+----+--------+---------+| id | myname | mymoney |+----+--------+-------

mysql

迁移

redis

原创 2016-03-10 12:58:15 1703 阅读 1点赞 1收藏

MySQL实战课程---通过录像手把手带您学会当前互联网流行架构

通过本课程，可以让您学会当前互联网流行的高可用架构搭建MHA(Master High Availability)，VIP机制不采用Keepalived实现（会出现脑裂），通过修改脚本实现。以及读写分离，分库分表中间件Oneproxy和MariaDB MaxScale，以及Percona/MariaDB Galera Cluster集群+Haproxy的搭建和维护。为您今后的就业，助一臂之力！另外，

MySQL实战课程

原创 2015-10-21 18:29:04 3532 阅读 2点赞 2评论

MySQL中AES_ENCRYPT('密码','钥匙')函数可以对字段值做加密处理

MySQL中AES_ENCRYPT('密码','钥匙')函数可以对字段值做加密处理 AES_DECRYPT(表的字段名字,'钥匙')函数解密处理例，表结构：现在插入一条数据，对passwd密码字段加密。INSERT INTO credit_card(cid,NAME,email,passwd)

加密

mysql

原创推荐 2015-10-10 17:07:31 6066 阅读

MariaDB 10.0.X中，动态列支持 JSON 格式来获取数据。

MariaDB 10.0.X中，动态列（Dynamic Columns），可以支持 JSON 格式来获取数据。为了兼容传统SQL语法，MariaDB 10和MySQL5.7支持原生JSON格式，即关系型数据库和文档型NoSQL数据库集于一身。使用说明：###表结构create table assets ( item_name var

json

mongodb

动态列

mariadb

原创推荐 2015-09-12 22:51:46 10000+阅读 1收藏

总结一下，MariaDB 10（MySQL5.6企业版分支）的主要新特性

① 支持48核的CPU，而5.5支持24核的CPU② 内存热数据持久化，我们知道当系统重启或者mysql进程重启后，Innodb的内存池里面的热数据全部清空，需要重新把磁盘的数据缓存进来，然后根据 LRU最近最少使用原则，把热数据保持在内存里，冷数据踢出到磁盘里。这个过程是缓慢的。5.6里改进了这一点，会自动把内存的热数据导出到磁盘里，这样 mysql重启后，会立即从磁盘里导入Innodb内存池

mariadb

原创 2015-09-11 17:21:47 2551 阅读

MariaDB 10 Slave Crash-Safe需转为GTID复制模式

之前写了一篇《MySQL5.6 crash-safe replication》，但在Mariadb10.0.X和10.1.X上不支持relay_log_info_repository = TABLE参数，官网建议用GTID复制模式代替传统复制模式，传统复制模式是不支持Slave Crash-Safe的。在mysql库下，会有一张gtid_slave_pos表（在安装初始化时，就已经是innodb

gitd

crash safe

mariadb10

原创 2015-09-02 16:07:52 1304 阅读

oneproxy检测主从复制同步延迟

Q:为什么要实现读写分离延迟检测？A:就好比你在ATM机存钱，你老婆收到短信后乐呵呵的拿网银APP查看，结果钱没过来。其实钱已经到账了，只是查询的ATM机节点钱还没过来。所以我们dba要监控数据，一旦发现钱没有复制到另一ATM机节点，会强制你从存钱的那个ATM机节点去查看。读写分离可以通过php yii框架、java mybatis框架实现，但主从复制的延迟检测一直是重难点，OneProxy内部支

延迟

读写分离

oneproxy

原创 2015-06-24 11:13:08 1439 阅读 1点赞 2评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

贺春旸的技术博客

Percona MongoDB HotBackup热备份工具

Percona PT-kill重构版(PHP)

MariaDB 10.3支持update多表ORDER BY and LIMIT

MariaDB10.3 增补AliSQL补丁---安全执行Online DDL

MariaDB 10.3支持自动KILL掉未提交的空事务

MariaDB 10.3 解决掉了UPDATE不支持同一张表的子查询更新

Percona pt-archiver重构版--大表数据归档工具

Semi-sync master failed on net_flush() before wait

参数binlog_row_image设置MINIMAL，你今天被坑了吗？

MariaDB 10.3 instant ADD COLUMN亿级大表毫秒级加字段

Percona5.7 TokuBackup支持TokuDB热备份

大表DROP删除小技巧

MariaDB10.3 系统版本表有效防止数据丢失

DBA的40条军规

SQL自动审核-自助上线平台 V2.0

MariaDB ColumnStore一些限制和BUG总结

orzdba监控工具【增加远程监控】

TiDB VS MariaDB10.1.19 Enterprise性能压测

pt-online-schema-change你今天滥用了吗？

MySQL5.7 切不要"乱射" --transaction-write-set-extraction=MURMUR32

让pt-slave-restart支持MariaDB

MySQL管理之道：第二版上市！China-Pub首发

MariaDB 10审计日志去除记录select操作

一步完成 MySQL 向 Redis 迁移

MySQL实战课程---通过录像手把手带您学会当前互联网流行架构

MySQL中AES_ENCRYPT('密码','钥匙')函数可以对字段值做加密处理

MariaDB 10.0.X中，动态列支持 JSON 格式来获取数据。

总结一下，MariaDB 10（MySQL5.6企业版分支）的主要新特性

MariaDB 10 Slave Crash-Safe需转为GTID复制模式

oneproxy检测主从复制同步延迟

欢迎