在innobackupex 2.4版本中,有两个参数用来限制备份速度:

MySQL Backup--Xtrabackup备份限速问题_mysql

--throttle=#        
This option specifies a number of I/O operations (pairs
of read+write) per second.  It accepts an integer
argument.  It is passed directly to xtrabackup's
--throttle option.

--parallel=#       
On backup, this option specifies the number of threads
the xtrabackup child process should use to back up files
concurrently.  The option accepts an integer argument. It
is passed directly to xtrabackup's --parallel option. See
the xtrabackup documentation for details.

MySQL Backup--Xtrabackup备份限速问题_mysql

在percoan官方网站上对throttle参数有如下解释:

MySQL Backup--Xtrabackup备份限速问题_mysql

Although xtrabackup does not block your database’s operation, 
any backup can add load to the system being backed up. On systems 
that do not have much spare I/O capacity, it might be helpful to 
throttle the rate at which xtrabackup reads and writes data. 
You can do this with the xtrabackup --throttle option. This option 
limits the number of chunks copied per second. The chunk size is 10 MB.
https://www.percona.com/doc/percona-xtrabackup/2.4/advanced/throttling_backups.html

MySQL Backup--Xtrabackup备份限速问题_mysql

如果想将备份速度控制在50MB/s以下的话,那么throttle参数需要设置为5,使用该参数备份开始后IO使用情况为:

MySQL Backup--Xtrabackup备份限速问题_数据_05

备份进程一直在写xtrabackup_logfile文件,如果备份实例的数据操作较多时,会导致备份进程一直处于该状态无法继续后面操作。

PS: 备份目录下xtrabackup_logfile文件的增长速度和参数throttle密切相关。

在备份实例停止全部操作情况,使用throttle=5进行备份,备份进行执行10分钟还在处理xtrabackup_logfile文件,备份效率无法保证。

调整为throttle=10后,备份过程中期IO使用情况为:

MySQL Backup--Xtrabackup备份限速问题_数据文件_06

10*10MB/S=100MB/S=102400KB/S,证明throttle=10的确有效。

参数parallel使用多个进程来备份数据文件,在磁盘速度够快情况下,parallel能有效提升备份效率,但无法进行限速操作。

 

======================================================================================

由于参数throttle设置较低会导致无法正常备份,而设置较高又无法起到限速目的,因此考虑使用pv方式来限速。

PV 由Andrew Wood 开发,是 Pipe Viewer 的简称,经过管道显现数据处理进展的信息,控制管道数据的流入流出速度,就到控制备份的速度。

为验证pv限速和对比stream备份和普通备份的差距,设计下面三种测试方案:

方案1:使用stream=tar流时备份+使用tar -x解压到本地+使用PV限制速度200M(下图红色框标识)
方案2:不使用stream流式备份+备份本地+不限制速度(下图绿色框标识)
方案3:使用stream=tar流时备份+使用tar -x解压到本地+不限制速度(下图黄色框标识)

测试脚本为:

MySQL Backup--Xtrabackup备份限速问题_mysql

## 使用stream=tar流时备份
## 使用tar -x解压到本地
## 使用PV限制速度200M
innobackupex \
--defaults-file="/export/servers/mysql/etc/my.cnf" \
--host="localhost" \
--port=3358 \
--user='root' \
--password='root_password' \
--stream=tar \
"/export/bak/tmp/" |pv -q -L200m | tar -x

## 不使用stream流式备份
## 不限制速度
innobackupex \
--defaults-file="/export/servers/mysql/etc/my.cnf" \
--host="localhost" \
--port=3358 \
--user='root' \
--password='root_password' \
"/export/bak/full/"

## 使用stream=tar流时备份
## 使用tar -x解压到本地
## 不限制速度
innobackupex \
--defaults-file="/export/servers/mysql/etc/my.cnf" \
--host="localhost" \
--port=3358 \
--user='root' \
--password='root_password' \
--stream=tar \
"/export/bak/tmp/" | tar -x

MySQL Backup--Xtrabackup备份限速问题_mysql

 

备份对CPU的影响:

MySQL Backup--Xtrabackup备份限速问题_mysql_09

备份对IO读写次数的影响:

MySQL Backup--Xtrabackup备份限速问题_数据操作_10

备份对IO读写速度的影响:

MySQL Backup--Xtrabackup备份限速问题_数据文件_11

 

对比发现:

1、使用pv命令可以有效限制备份读写速度,但不能精确限制读写速度(限速200MB/S,实际速度170MB/S)

2、使用stream压缩+解压进行备份时,CPU有轻微增长,但影响并不明显。

3、在不限速情况下,使用stream压缩+解压的备份效率远低于普通备份(上面测试环境下接近差一倍)

4、使用stream压缩+解压进行备份时,可以增减备份线程parallel来提高备份效率。