Mydumper介绍
- Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。
- Mydumper主要特性:
- 轻量级C语言写的
- 执行速度比mysqldump快10倍
- 事务性和非事务性表一致的快照(适用于0.2.2以上版本)
- 快速的文件压缩
- 支持导出binlog
- 多线程恢复(适用于0.2.1以上版本)
- 以守护进程的工作方式,定时快照和连续二进制日志(适用于0.5.0以上版本)
- 开源 (GNU GPLv3)
- 注意事项
- mydumper采用多线程导出,所以无法保证导出顺序和使用mysqldump一致,可能会给某些依赖时间的特性(routine,event等)带来数据不一致,建议把mysql库和其他数据库分开导出导入。
- mydumper提供的库提取和库合并功能依赖于分割符,所以要求用户数据库名不包含点号(.) ,表名不包含减号(-)。
Mydumper安装说明
- 下载解压
mydumper_v1.0.0.tar.gztar xzvf cdb_mydumper_v1.0.0.tar.gz
- 解压后,会出现mydumper文件夹,里面有2个二进制执行文件。文件说明如下:
mydumper
:云数据库数据多线程导出工具。myloader
:云数据库数据多线程导入工具. - 无需安装直接加上执行权限即可以使用
mydumper参数介绍
-B, --database 需要备份的库
-T, --tables-list 需要备份的表,用,分隔
-o, --outputdir 输出目录
-s, --statement-size Attempted size of INSERT statement in bytes, default 1000000
-r, --rows 试图分裂成很多行块表
-c, --compress 压缩输出文件
-e, --build-empty-files 即使表没有数据,还是产生一个空文件
-x, --regex 支持正则表达式
-i, --ignore-engines 忽略的存储引擎,用,分隔
-m, --no-schemas 不导出表结构
-k, --no-locks 不执行临时共享读锁 警告:这将导致不一致的备份
-l, --long-query-guard 长查询,默认60s
--kill-long-queries kill掉长时间执行的查询(instead of aborting)
-b, --binlogs 导出binlog
-D, --daemon 启用守护进程模式
-I, --snapshot-interval dump快照间隔时间,默认60s,需要在daemon模式下
-L, --logfile 日志文件
-h, --host
-u, --user
-p, --password
-P, --port
-S, --socket
-t, --threads 使用的线程数,默认4
-C, --compress-protocol 在mysql连接上使用压缩
-V, --version
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
mydumper输出文件:
metadata:元数据 记录备份开始和结束时间,以及binlog日志文件位置。
table data:每个表一个文件
table schemas:表结构文件
binary logs: 启用--binlogs选项后,二进制文件存放在binlog_snapshot目录下
daemon mode:在这个模式下,有五个目录0,1,binlogs,binlog_snapshot,last_dump。
备份目录是0和1,间隔备份,如果mydumper因某种原因失败而仍然有一个好的快照,
当快照完成后,last_dump指向该备份。
myloader参数介绍
-d, --directory 导入备份目录
-q, --queries-per-transaction 每次执行的查询数量, 默认1000
-o, --overwrite-tables 如果表存在删除表
-B, --database 需要还原的库
-e, --enable-binlog 启用二进制恢复数据
-h, --host
-u, --user
-p, --password
-P, --port
-S, --socket
-t, --threads 使用的线程数量,默认4
-C, --compress-protocol 连接上使用压缩
-V, --version
-v, --verbose 更多输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
命令示例
- 导出整个库
./mydumper -h 127.0.0.1 –P 3306 –u root -p 123 -G -R -E -l -A -o alldb
- 导入整个库
./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -d alldb
- 导出多个库
./mydumper -h 127.0.0.1 –P 3306 –u root -p 123 -G -R -E -l -B alarmDB,db_cms_logging,test -o dbs
- 导入多个库
./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -d dbs
- 导出单库多表
./mydumper -h 127.0.0.1 –P 3306 –u root -p 123 -G -R -E -l -B alarmDB -T alarm_history,alarm_strategy -o tbs
- 导入单库多表
./myloader -h 127.0.0.1 –P 3306 –u root -p 123 –t 2 -d tbs
- 提取库导入
./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -B alarmDB, db_cms_logging -d alldb
- 提取表导入
./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -B alarmDB -T alarm_history,alarm_strategy -d dbs
- 多库导入单库(合服)
./myloader -h 127.0.0.1 –P 3306 –u root -p 123 -A newdir -B alarmDB -T alarm_history,alarm_strategy -d dbs