往事_Jim_遗的博客_MySQL/MariaDB

Perl工具包percona-toolkit修复MySQL主从同步实践

近期发现MySQL的主从同步出现异常，需要修复，目前MySQL的主从同步使用的是GTID方式进行复制，目前尝试过各种方法都不能比较完美的解决主从同步异常，这里环境 master: 192.168.2.152，slave: 192.168.2.154。主要生产环境中数据交换比较频繁，binlog又是GTID的方式同步，查看master的binlog来在slave中重新执行事务就显得比

percona-toolkit

pt-table-checksum

pt-table-sync

Perl

原创精选 2021-05-25 11:42:36 1205 阅读 1点赞

MySQL error writing file 错误

前一段时间在MySQL中归档整理历史数据时发现有很多的SQL无法被执行，刚刚开始以为时写的SQL语句有问题，在把所有在执行的SQL拿出来看时发现语法并没有错，但是在INSERT语句执行时报错：而把INSERT语句LIMIT 1条插入是没有问题的。初步估计是INSERT的事务过大，去查了下资料才知道原来MySQL在创建临时表时缺省会将数据文件放在系统的

MySQL

tmpdir

原创 2018-10-03 10:34:03 4077 阅读 1点赞

infobright数据仓库中的comment lookup

infobright数据仓库能在高强度的压缩中把大量的数据压缩存储，平时在不断查询的过程就是在做数据解压的过程，当然具体的详细介绍在以前有提过，这里就不做过程的介绍（http://blog.51cto.com/jim123/1975029）在infobright中支持所有的MySQL原有的数据类型，其中对整形的效率会比其他类型高，这一点同MySQL差不多，在infobri

infobright

lookup

原创精选 2018-01-22 23:06:40 2354 阅读 1点赞

MySQL二进制包使用mysql_upgrade版本更新升级MySQL 5.7

在部署MySQL的过程一般使用的都是二进制包，所以在升级MySQL的版本时也是把最新的MySQL包解压到basedir下即可，当然如果是MySQL中没有任何数据的直接删除重新安装也可以，在更新时需要把停止MySQL的服务，注意如果是生产环境下需要做好相应的备机切换后在升级，其次升级时只能正常的版本迭代，而不能夸版本更新，如5.1升级到5.7是不可行的，正常应该是5.6升级

MySQL

mysql

upgrade

原创 2018-01-22 00:30:34 6426 阅读

MySQL中利用RENAME TABLE快速高效重命名库（schema）

目前的MySQL中一旦创建的了新的库（schema）就无法对它进行重命名，所以如果需要对一个库重命名一般的做法是把目标库中的数据dump出来后导入想重命名的新库中，在MySQL的导入中是使用大量的insert，大量使用了DML，如果是大数据量的库那就很低效，其实在MySQL中可以利用RENAMETABLE这种DDL的方式来移动表数据后来重命名库，下面就简单的介绍一下。首先，RENAMETABLE使

MySQL

rename

schema

原创 2018-01-10 22:58:58 10000+阅读 1收藏

MySQL的触发器

触发器—trigeer是数据库下用于数据下监视某种情况，并触发执行某种操作的一个功能。在MySQL下当然也是支持触发器的功能，在这里就简单的说一说在MySQL下如何使用触发器。在使用MySQL的触发器可以检查数据完整性、可以捕获数据库层中业务逻辑中的错误、对于有使用审计表中数据的更改非常有用，但是，它的缺点是在使用会触发器后只能提供扩展验证，并且无法替换所有验证，其次增加了维护成本，最后是在目前M

MySQL

trigeer

原创精选 2018-01-08 01:39:26 4891 阅读 2点赞 1收藏

MySQL的FEDERATED引擎实现类Oracle的DBlink

随着业务的复杂度不断的增加、数据库不断的切分，在分布式系统中往往一台或几台数据库并不能满足我们的需求，所以常常需要多台同时时用，而在平时需要通过其它服务器的数据库获取信息最为方便的就是数据链接，而比较常见的如Oracle中的DBlink一般，使用过Oracle的DBlink—数据库的链接的人都知道可以跨服务器数据库的来进行数据查询。而在MySQL5.0以后中通过使用FED

MySQL

FEDERATED

DBlink

原创精选 2017-12-04 00:06:45 3189 阅读

MySQL主从延时复制

MySQL的主从复制是实现MySQL大规模集群的基础，其在日常生产环境中被广泛的被应用，而在MySQL5.6开始对MySQL的底层代码不断的重构完善后在MySQL的主从复制取得极大的进步，且在5.7版本引入主从多线程复制（http://blog.51cto.com/jim123/1961241），而在5.6版本开始MySQL的主从复制就支持slave上延时复制

MySQL

SQL_Delay

Master

Slave

原创 2017-11-25 23:03:19 3582 阅读

MySQL下的表分区简述

MySQL表分区就是把一张表根据设定好的条件下把表切分成若干个小表相互之间，在MySQL的5.1版本以后就开始支持表分区的功能，在使用表的分区后会使MySQL中大表在平时查询统计时性能提升。使用MySQL的表分区有以下这些优点：1.与单个磁盘或文件系统分区相比，可以存储更多的数据 2.很容易就能删除不用或者过时的数据 3.一些查询可以得到极大的优化 4.涉及到

MySQL

PARTITION

原创 2017-11-10 01:53:04 1416 阅读

DDL、DML和DCL的区别与理解

在关系型数据库中DDL、DML、DCL这三者是SQL的重要组成部分，恰好在网上找到一篇不错的文章在这里就摘录分享下。以下来自于：http://www.jb51.net/article/40359.htmDML、DDL、DCL区别 . 总体解释： DML（data manipulation language）：它们是SELECT、UPDATE、INSERT、DELETE，

DDL

DML

DCL

转载 2017-11-06 00:52:35 4383 阅读 3收藏

MySQL的高效导入导出

MySQL在本身有提供高效的导入导出文件的服务，当然在这里指的并不是把结果转储成SQL脚本，在平时把查询的结果过导出成CSV文件的就是一种，在这里简单的说一说如何在MySQL中正确的使查询结果导入导出成文件及用文件快速导入，首先MySQL查询结果的导出可以借助于各种客户端工具来快速时间，如Navicat等等，或者是自身的mysql二进制文件来把结果导出而其中在MySQL

MySQL

CSV

原创 2017-10-28 21:18:44 1364 阅读

MySQL开源引擎infobright数据仓库解决方案

infobright是开源的MySQL数据仓库解决方案，它基于在MySQL上二次开发，infobright主要实现的就是一个存储引擎，但因为它自身存储逻辑跟关系型数据库根本不同，所以，它不能像InnoDB那样直接作为插件挂接到mysql，它的逻辑层是mysql的逻辑层加上它自身的优化器。 infobright有以下几个特点：1、高强度的数据压缩在普通10:1

MySQL

infobright

BRIGHTHOUSE

原创精选 2017-10-22 14:15:30 4537 阅读 2点赞 1收藏

MySQL的GROUP_CONCAT函数

随着业务的不断增长，最近一段需要对大量的历史数据整理，而在整理过程中有一张表的数据需要把其中一张表中一个不唯一的字段的列作为唯一字段在新表中而其中相关联的字段全部存入同一条记录中，刚刚开始想了一会，到后来在得知GROUP_CONCAT函数就可以解决，作用是在使用聚合函数时使用该函数返回一个字符串结果，并带有非NULL值一组中的值，如果没有非NULL值，则返回NULL，自

MySQL

GROUP

CONCAT

原创 2017-10-19 00:18:51 1473 阅读

使用logrotate轮替MySQL的mysql-audit审计日志

最近一段时间发现在一台服务器上的MySQL的audit（http://jim123.blog.51cto.com/4763600/1955487）插件日志没有数据，刚开始以为是配置出问题就进数据库检查了一下发现没有问题，后来发现在MySQL的audit的指定文件路径下发现有轮替日志，初步分析是在使用系统的logrotate（http://jim123.blog.51cto

MySQL

audit

logrotate

原创精选 2017-10-06 13:08:28 2124 阅读 2点赞 1收藏

MySQL的SQL_MODE

在MySQL下MySQL所使用的模型SQL_MODE对MySQL来说至关重要，SQL_MODE即用来定义字符超出的操作和模仿别的数据库的类型，平时通过合理的设置可以MySQL能够应用于各种场景下，但是如果设置错误MySQL的SQL_MODE也会带来很大的影响，在这里就简要的介绍下MySQL下的SQL_MODE，MySQL的SQL_MODE变量时针对session的平时建议

MySQL

SQL

MODE

原创精选 2017-10-01 16:03:37 2583 阅读 3点赞 1收藏

MySQL的事务与事务隔离

MySQL中自从引入InnoDB引擎后，在MySQL中就支持事务，事务就是一组原子性的查询语句，也即将多个查询当作一个独立的工作单元，平时通过提交工作单元来完成在事务中的相应的查询或修改，在能支持事务的数据库中必须要满足ACID测试，即事务的四个特性： A：Atomicity，原子性（都执行或者都不执行）

MySQL

InnoDB

transactions

原创精选 2017-09-09 21:57:31 1664 阅读 5点赞 3收藏

MySQL的视图

MySQL同其它数据库一样都有视图-VIEW，VIEW并不是真实存在的表，它其实是通过SELECT查询出来的投影（查询结果）来当成表来查询，在VIEW中存储的其实都是事先写好的SELECT语句，这样在平时就可以直接查询VIEW中的内容而查询到相应数据，在这里就用简单的2张表来演示下,建表的SQL如下附件，而在MySQL中创建删除VIEW也很简单：创建： &nb

MySQL

VIEW

原创精选 2017-09-03 13:28:15 2059 阅读 3点赞 1收藏

MySQL 5.7 下的对super用户只读

在MySQL的主从复制场景下，遇上slave被意外写入数据是一件比较严重的问题，毕竟在一般情况下我们都希望slave仅用只读数据库，如果被意外写入数据可能会造成数据的不一致，从而导致主从的报错。因此在MySQL中可以通过设置变量参数read_only使MySQL的slave设置为只读，在缺省条件下read_only变量参数是关闭的，但是read_only变量参数有一个问题

MySQL

super

read

原创 2017-09-02 00:52:56 3068 阅读 1收藏

MySQL 5.7下主从复制延迟解决方案

在MySQL下主从复制的延迟问题一直是在业界内比较大的困扰，主从的延迟会因为受到网络磁盘等等相关的因素影响，但其中最主要的影响是就是在master太过繁忙的写入导致slave无法有效的从relay_log中读取到最新的相关记录，这样对于数据实时性很高的业务来说slave的数据并不是最新的有一定的延时，此时使用主从的读写分离就有点显的鸡肋了，不能做到slave上能查到最新的

MySQL

Replication

原创精选 2017-08-30 23:42:14 10000+阅读 2点赞 1收藏

MySQL的GTID复制

MySQL在5.6后多了一个新的功能就是在做主从复制时使用GTID，和传统的使用relaylog中指定log_pos+log_file的主从复制相比，在使用GTID做主从复制时可以不指定slave需求读取master中的哪一个binlog和偏移量。在传统的MySQL主从复制中，一旦指定错误master的偏移量后，那么就会造成主从不一致，而在基于GTID做的主从复制中就不会

MySQL

Replication

GTID

原创精选 2017-08-30 01:26:12 5469 阅读 2点赞 1收藏

Windows环境MySQL5.5二进制版部署

最近因为一些客户的需求需要对MySQL的环境做一次调优，得知对方环境是Windows系统，可能有些调优的修改的部分和Unix系统下不太一样，既然如此，在这里就简单的说一说。首先，毋庸置疑的是去MySQL官网：https://dev.mysql.com/downloads/mysql/去下载相应版本的包。当然通Unix系统上的一样Windows版本官网也有给出安装包和直接解

MySQL

Windows

原创精选 2017-08-22 23:56:50 1046 阅读 2点赞 2收藏

使用MySQL init_connect功能做SQL审计

MySQL的audit插件是一个比较实用的第三方MySQL插件，它可以实现MySQL的SQL审计通过json的格式记录在文件中，需要可以参看：http://jim123.blog.51cto.com/4763600/1955487，当然比较遗憾的是目前macfee公司只用做Unix/Linux系统下的插件，如果是在DOS系统（Windows）中使用MySQL就没有audit插件了，所

MySQL

init

binlog

原创精选 2017-08-19 16:47:06 5902 阅读 2点赞 1收藏

MySQL audit—SQL审计插件

自从MySQL5.6出现以来开始对json的支持后，使得在MySQL上增加了一些新特性，为此这一点让MySQL增加了一些新的插件支持，在这里就说一说MySQL的SQL审计插件，SQL审计插件并不是MySQL官方的，它是由macfee公司基于percona开发的，所以，在添加SQL审计的插件功能时需要去下载对应版本的MySQL audit插件（支持MariaDB），至于My

MySQL

audit

原创 2017-08-11 15:47:45 7192 阅读 1收藏

MySQL慢查询日志分析的配置

在实际生产环境中MySQL在使用的过程中，遇到慢查询时要进行慢查询分析时就需要开启MySQL的慢查询日志，当然在缺省配置下MySQL的慢查询日志是关闭的，因为在一定程度上开启MySQL的日志都会略微的降低性能。当然，在日常使用MySQL的过程中发现有慢查询时就需要开启MySQL的慢查询日志来进行分析，以查找出设计不合理的查询、查询大表时不分页、大表没有按相应条件做表分区等

MySQL

log

slow

原创 2017-07-16 19:32:28 1032 阅读

mysql5.7新特性

mysql5.7版本出来后还是有大量的修改以及一些调优，修复一些bug，删掉了一些旧的参数，在这里就简单的整理一下因为平时都是使用二进制包安装mysql，所以这里就以mysql的二进制包部署开始。首先，mysql的安装初始化抛弃了旧版的mysql_install_db而使用mysqld --initialize初始化，在完成初始化后m

mysql

原创 2017-06-20 00:52:28 1051 阅读 1收藏

简述MariaDB和二进制包简单部署

MySQL最早是由Michael Widenius在所研发，而在后来Michael先生以10亿美元的价格把MySQL卖给了SUN以后不久SUN就被Oracle公司给收购了，在Oracle收购Michael先生担心MySQL将来会有闭源的风险，就以他的女儿Maria名字所命名建立的一个新的项目——MariaDB，MariaDB默认的存储引擎是Maria，不是MyISAM。M

MySQL

DB

Maria

原创精选 2017-03-21 23:56:17 923 阅读 2收藏

mysql主从切换维护时的几点注意

随着业务量的不断增加，数据库的压力总是会越来越大的，如果是要对mysql数据库的硬件升级，势必是要对mysql主从做切换，mysql的主从复制的结构如果不借助第三方工具时做mysql的高可用，要做主从的切换是要做停机维护手动切换的，这里就以普通的一主一从的结构中简单的说一说mysql数据库主从切换的几个要注意的点： 1、server id以前看见很

master

mysql.slave

原创精选 2017-03-19 20:43:19 10000+阅读

简述mysql半同步复制—semisync

mysql的半同步复制-semisync是基于默认的异步复制和完全同步复制之间，它是在master在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个slave收到并写到relay log中才返回给客户端。相对于异步复制，semisync提高了数据的安全性，但是又比完全同步性能好，所以master和slave之间的时间一定要一致，以免造成semisync失败。

mysql

semisync

原创精选 2017-03-06 16:40:04 1045 阅读

mysql的logrotate脚本

随着业务量的增加和时间的推移mysql的日志势必会越来越多、越来越大,那么就要用系统的logrotate轮替mysql的日志（logrotate可以参看:http://jim123.blog.51cto.com/4763600/1880582），当然平时用的mysql都是二进制包部署安装的，其实mysql的二进制包中的support-files文件夹里就有提供mysql的

mysql

logrotate

原创精选 2017-02-23 17:05:30 3454 阅读

mysqldumpslow命令的使用

mysql自带了一个查看慢日志的工具mysqldumpslow。执行mysqldumpslow –h可以查看帮助信息。主要介绍两个参数-s和-t-s 这个是排序参数，可选的有：al: 平均锁定时间ar: 平均返回记录数at: 平均查询时间c: 计数l: 锁定时间r: 返回记录t: 查询时间-t n 显示头n条记录。实例：mysqldumpslow -s c -t 20 h

mysqldumpslow

转载 2016-12-05 14:31:13 1141 阅读 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Jim的技术随笔

Perl工具包percona-toolkit修复MySQL主从同步实践

MySQL error writing file 错误

infobright数据仓库中的comment lookup

MySQL二进制包使用mysql_upgrade版本更新升级MySQL 5.7

MySQL中利用RENAME TABLE快速高效重命名库（schema）

MySQL的触发器

MySQL的FEDERATED引擎实现类Oracle的DBlink

MySQL主从延时复制

MySQL下的表分区简述

DDL、DML和DCL的区别与理解

MySQL的高效导入导出

MySQL开源引擎infobright数据仓库解决方案

MySQL的GROUP_CONCAT函数

使用logrotate轮替MySQL的mysql-audit审计日志

MySQL的SQL_MODE

MySQL的事务与事务隔离

MySQL的视图

MySQL 5.7 下的对super用户只读

MySQL 5.7下主从复制延迟解决方案

MySQL的GTID复制

Windows环境MySQL5.5二进制版部署

使用MySQL init_connect功能做SQL审计

MySQL audit—SQL审计插件

MySQL慢查询日志分析的配置

mysql5.7新特性

简述MariaDB和二进制包简单部署

mysql主从切换维护时的几点注意

简述mysql半同步复制—semisync

mysql的logrotate脚本

mysqldumpslow命令的使用