mysqldump优缺点

优点 使用场景: 10G以下的数据库操作简单

缺点 数据量范围:30G --> TB级别 的时候备份、恢复操作很慢,效率低

xtrabackup备份软件

使用场景: 1、数据量大,变换量小 2、数据量小,变化量大

介绍

percona公司官网 https://www.percona.com/

Xtrabackup是由percona开源的免费数据库热备份软件,它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份同样需要加表锁);mysqldump备份方式是采用的逻辑备份,其最大的缺陷是备份和恢复速度较慢,如果数据库大于50G,mysqldump备份就不太适合。

Xtrabackup安装完成后有4个可执行文件,其中2个比较重要的备份工具是innobackupex、xtrabackup

1)xtrabackup 是专门用来备份InnoDB表的,和mysql server没有交互; 2)innobackupex 是一个封装xtrabackup的Perl脚本,支持同时备份innodb和myisam,但在对myisam备份时需要加一个全局的读锁。 3)xbcrypt 加密解密备份工具 4)xbstream 流传打包传输工具,类似tar 5)物理备份工具,在同级数据量基础上,都要比逻辑备份性能好的多,特别是在数据量较大的时候,体现的更加明显。

Xtrabackup优点 1)备份速度快,物理备份可靠

2)备份过程不会打断正在执行的事务(无需锁表)

3)能够基于压缩等功能节约磁盘空间和流量

4)自动备份校验

5)还原速度快

6)可以流传将备份传输到另外一台机器上

7)在不增加服务器负载的情况备份数据

8)物理备份工具,在同级数据量基础上,都要比逻辑备份性能要好的多。几十G到不超过TB级别的条件下。但在同数据量级别,物理备份恢复数据上有一定优势。

备份原理

拷贝数据文件、拷贝数据页

对于innodb表可以实现热备。

(1)在数据库还有修改操作的时刻,直接将数据文件备走,此时,备份走的数据对于当前mysql来讲是不一致的。
(2)将备份过程中的redo和undo一并备走。
(3)为了恢复的时候,只要保证备份出来的数据页lsn能和redo lsn匹配,将来恢复的就是一致的数据。redo应用和undo应用。

对于myisam表实现自动锁表拷贝文件。

  备份开始时首先会开启一个后台检测进程,实时检测mysql redo的变化,一旦发现有新的日志写入,立刻将日志记入后台日志文件xtrabackup_log中,之后复制innodb的数据文件一系统表空间文件ibdatax,复制结束后,将执行flush tables with readlock,然后复制.frm MYI MYD等文件,最后执行unlock tables,最终停止xtrabackup_log

## xtrabackup的安装

1、安装依赖关系 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL

2、下载软件包,并安装软件 wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm yum -y install percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

xtrabackup实践操作

全量备份 innobackupex --defaults-file=/etc/my.cnf --user=root --password=123 /backup/xfull

恢复 1、/etc/init.d/mysqld stop 2、innobackupex --apply-log /backup/xfull/ 3、rm -rf /data/mysql/* 4、innobackupex --defaults-file=/etc/my.cnf --copy-back /backup/xfull/ 5、chown -R mysql.mysql /data/mysql/ 6、/etc/init.d/mysqld start

增量备份与恢复

innobackupex增量备份过程中的"增量"处理,其实主要是相对innodb而言,对myisam和其他存储引擎而言,它仍然是全拷贝(全备份) 增量备份从哪增量? 基于上一次的备份进行增量。 redo默认情况下是一组两个文件,并且有固定大小。其使用的文件是一种轮询使用方式,他不是永久的,文件随时可能被覆盖。

注意:千万不要在业务繁忙时做备份。

备份什么内容?

1、可以使用binlog作为增量

2、自带的增量备份,基于上次备份后的变化的数据页,还要备份在备份过程中的undo、redo变化

操作 1、先进行第一次全备 innobackupex --user=root --password=123 /bakcup/xfull

2、再进行增量备份。这个是在全备的基础上做的,需要指定全量备份的目录:/backup/xfull/ ;增量备份到 /backup/xinc1 innobackupex --user=root --password=123 --incremental --incremental-basedir=/backup/xfull/ /backup/xinc1

恢复 1、先应用全备日志 innobackupex --apply-log --redo-only /backup/xfull/

2、合并增量到全备中(一致性的合并) innobackupex --apply-log --incremental-dir=/backup/xinc1 /backup/xfull/ innobackupex --apply-log /backup/xfull

3、合并完成进行恢复 使用innobackupex命令进行恢复(推荐) innobackupex --defaults-file=/etc/my.cnf --copy-back /backup/xfull chown -R mysql.mysql /date/mysql

数据库备份策略 每周的周日进行一次全备;周一到周六每天做上一天增量,每周轮询一次。 备份方案: xtrabackup全备+增量

备份策略(crontab):

crontab -e 00 03 * * 1 /root/allbak.sh &>/dev/null //每周一的凌晨3点执行完全备份

vim /root/allbak.sh #!/bin/bash [ ! -e /backup ]&& mkdir /backup //新建个文件夹专门放备份文件的 day=date +%F //定义日期是时间 user=root pass=123456 innobackupex --user $user --password $pass /backup/allbak${day} --no-timestamp //用innobackupex做完全备份 mysql -u$user -p$pass -e "flush logs" #启用binlog日志,每次完全备份之后,每周刷新一遍binlog日志

00 04 * * 2-7 /root/newbak.sh & >/dev/null //每周二到周7的凌晨4点执行增量备份

#周一全备,如果是周二执行,判断dir1 存在,则增量备份,如果不存在,则判断昨天的增量,存在则执行周三的增量,如果都没有,则全备执行一次吧 vim /root/newbak.sh #!/bin/bash d1=date +%F //定义时间,用日期来区分 d2=date +%F -d "-1 days" //找到昨天的日期,好指明上一次备份的备份文件 dir1=/backup/allbak${d2} //昨天做的完全备份文件 dir2=/backup/newbak${d2} //昨天做的增量备份文件 user=root pass=123456 [ ! -e /backup ]&& mkdir /backup //如果文件不存在,则创建文件夹 if [ -e ${dir1} ];then //判断昨天做的是完全备份 innobackupex --user $user --password $pass --incremental /backup/newbak${d1} --incremental-basedir=${dir1} --no-timestamp //指定昨天备份的完全备份文件 elif [ -e ${dir2} ];then //判断昨天做的是增量备份 innobackupex --user $user --password $pass --incremental /backup/newbak${d1} --incremental-basedir=${dir2} --no-timestamp //指定昨天备份的增量备份文件 else innobackupex --user $user --password $pass /backup/allbak${d1} --no-timestamp //昨天既没有做增量备份,又没有做完全备份,则做一次完全备份。 fi

实际应用

binlog日志 默认大小:1G左右,设置 ,配置文件里加一个 max_binlog_size = ?

数据创建阶段

1、创建备份需要的目录

mkdir full inc1 inc2

2、周日全备

innobackupex --user=root --password=123 --no-timestamp /backup/xbackup/full/

3、模拟数据变化 use oldboy create table test(id int,name char(20),age int); insert into test values(8,'outman',99); insert into test values(9,'outgirl',100); commit;

4、周一增量备份 innobackupex --user=root --password=123 --incremental --no-timestamp --incremental-basedir=/backup/xbackup/full/ /backup/xbackup/inc1

5、模拟数据变化 use oldboy insert into test values(8,'outman1',119); insert into test values(9,'outgirl1',120); commit;

6、周二的增量备份 innobackupex --user=root --password=123 --incremental --no-timestamp --incremental-basedir=/backup/xbackup/inc1 /backup/xbackup/inc2

  1. 再插入新的行操作 use oldboy insert into test values(10,'outman2',19); insert into test values(11,'outgirl2',10); commit;

模拟误操作事故

模拟场景,周二下午2点误删除test表

use oldboy; drop table test;

准备恢复数据

1.准备xtrabackup备份,合并备份

innobackupex --apply-log --redo-only /backup/xbackup/full innobackupex --apply-log --redo-only --incremental-dir=/backup/xbackup/inc1 /backup/xbackup/full innobackupex --apply-log --incremental-dir=/backup/xbackup/inc2 /backup/xbackup/full innobackupex --apply-log /backup/xbackup/full 2.确认binlog起点,准备截取binlog。

cd /backup/xbackup/inc2/ cat xtrabackup_binlog_info mysql-bin.000001 1121 3.截取到drop操作之前的binlog

mysqlbinlog --start-position=1121 /tmp/mysql-bin.000003 找到drop之前的event和postion号做日志截取,假如 1437 这个可以用mysqlbinlog master-bin.000032|less 打开查看 详细信息:https://blog.csdn.net/u010433704/article/details/54962680?utm_source=blogxgwz8 mysqlbinlog --start-position=1121 --stop-position=1437 /tmp/mysql-bin.000003 >/tmp/incbinlog.sql

4.关闭数据库、备份二进制日志

/etc/init.d/mysqld stop cd /application/mysql/data/ cp mysql-bin.000001 /tmp

5.删除MySQL所有数据

cd /application/mysql/data/ rm -rf *

恢复数据

1.将全量备份的数据恢复到数据目录下

innobackupex --copy-back /backup/xbackup/full/ chown -R mysql.mysql /application/mysql/data/ /etc/init.d/mysqld start

2.恢复binlog记录

set sql_log_bin=0 source /tmp/incbinlog.sql