在innobackupex 2.4版本中,有两个参数用来限制备份速度:
--throttle=# This option specifies a number of I/O operations (pairs of read+write) per second. It accepts an integer argument. It is passed directly to xtrabackup's --throttle option. --parallel=# On backup, this option specifies the number of threads the xtrabackup child process should use to back up files concurrently. The option accepts an integer argument. It is passed directly to xtrabackup's --parallel option. See the xtrabackup documentation for details.
在percoan官方网站上对throttle参数有如下解释:
Although xtrabackup does not block your database’s operation, any backup can add load to the system being backed up. On systems that do not have much spare I/O capacity, it might be helpful to throttle the rate at which xtrabackup reads and writes data. You can do this with the xtrabackup --throttle option. This option limits the number of chunks copied per second. The chunk size is 10 MB. https://www.percona.com/doc/percona-xtrabackup/2.4/advanced/throttling_backups.html
如果想将备份速度控制在50MB/s以下的话,那么throttle参数需要设置为5,使用该参数备份开始后IO使用情况为:
备份进程一直在写xtrabackup_logfile文件,如果备份实例的数据操作较多时,会导致备份进程一直处于该状态无法继续后面操作。
PS: 备份目录下xtrabackup_logfile文件的增长速度和参数throttle密切相关。
在备份实例停止全部操作情况,使用throttle=5进行备份,备份进行执行10分钟还在处理xtrabackup_logfile文件,备份效率无法保证。
调整为throttle=10后,备份过程中期IO使用情况为:
10*10MB/S=100MB/S=102400KB/S,证明throttle=10的确有效。
参数parallel使用多个进程来备份数据文件,在磁盘速度够快情况下,parallel能有效提升备份效率,但无法进行限速操作。
======================================================================================
由于参数throttle设置较低会导致无法正常备份,而设置较高又无法起到限速目的,因此考虑使用pv方式来限速。
PV 由Andrew Wood 开发,是 Pipe Viewer 的简称,经过管道显现数据处理进展的信息,控制管道数据的流入流出速度,就到控制备份的速度。
为验证pv限速和对比stream备份和普通备份的差距,设计下面三种测试方案:
方案1:使用stream=tar流时备份+使用tar -x解压到本地+使用PV限制速度200M(下图红色框标识)
方案2:不使用stream流式备份+备份本地+不限制速度(下图绿色框标识)
方案3:使用stream=tar流时备份+使用tar -x解压到本地+不限制速度(下图黄色框标识)
测试脚本为:
## 使用stream=tar流时备份 ## 使用tar -x解压到本地 ## 使用PV限制速度200M innobackupex \ --defaults-file="/export/servers/mysql/etc/my.cnf" \ --host="localhost" \ --port=3358 \ --user='root' \ --password='root_password' \ --stream=tar \ "/export/bak/tmp/" |pv -q -L200m | tar -x ## 不使用stream流式备份 ## 不限制速度 innobackupex \ --defaults-file="/export/servers/mysql/etc/my.cnf" \ --host="localhost" \ --port=3358 \ --user='root' \ --password='root_password' \ "/export/bak/full/" ## 使用stream=tar流时备份 ## 使用tar -x解压到本地 ## 不限制速度 innobackupex \ --defaults-file="/export/servers/mysql/etc/my.cnf" \ --host="localhost" \ --port=3358 \ --user='root' \ --password='root_password' \ --stream=tar \ "/export/bak/tmp/" | tar -x
备份对CPU的影响:
备份对IO读写次数的影响:
备份对IO读写速度的影响:
对比发现:
1、使用pv命令可以有效限制备份读写速度,但不能精确限制读写速度(限速200MB/S,实际速度170MB/S)
2、使用stream压缩+解压进行备份时,CPU有轻微增长,但影响并不明显。
3、在不限速情况下,使用stream压缩+解压的备份效率远低于普通备份(上面测试环境下接近差一倍)
4、使用stream压缩+解压进行备份时,可以增减备份线程parallel来提高备份效率。