rsync官方网址:https://rsync.samba.org/
一:rsync介绍
rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份工具。
在守护进程模式(daemon mode)下,rsync默认监听TCP端口873,以原生rsync传输协议或者通过远程shell如RSH或者SSH提供文件。SSH模式下,rsync客户端运行程序必须同时在本地和远程机器上安装。
全量与增量,全量:将全部数据进行传输覆盖,增量:只传输差异部分的数据,rsync通过独特的“quick check”算法,实现增量数据传输
rsync的功能
类似与cp命令 — (本地备份传输数据)
类似于scp命令 — (远程备份传输数据)
类似于rm命令 — (实现无差异同步备份)
类似于ls命令 — (本地文件信息查看)
模拟环境,两台机器:Linux 系统Centos 7
备份服务器ip:172.16.2.4
, 客户端服务器(nfs存储共享)ip:172.16.2.3
目的:将nfs服务器/www
目录的数据,备份到备份服务器的/backup/web
目录
扩展配置:
1:rsync+inotify实时监控同步备份 2:rsync+sersync实时监控同步备份
二:rsync的安装:
服务端(备份服务器)和客户端都要安装。
yum -y install rsync
如果想安装最新版本,则自己wget官网最新版本,然后编译安装。
基本命令语法:
Local: rsync [OPTION...] SRC... [DEST]
Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
当然如果觉得记得复杂的话,就记住从前往后传即可:rsync 参数 前面(源路径) 后面(目的路径)
注:源路径如果是一个目录的话,带上尾随斜线和不带尾随斜线是不一样的,不带尾随斜线表示的是整个目录包括目录本身,带上尾随斜线表示的是目录中的文件,不包括目录本身。
三:三种传输方式
1:本地模式:类似与cp命令:
将/etc/fstab同步至/tmp目录,如果fstab加斜杠/,则将fstab目录下所有文件同步至/tmp。
以下命令类似功能 cp /etc/fstab /tmp
rsync /etc/fstab /tmp #在本地同步,将fstab目录同步至/tmp
rsync /etc/fstab/ /tmp #将fstab目录下所有文件同步至/tmp
2:远程模式:类似于scp命令:
远程分pull下载和push上传两种:
rsync -r /www 172.16.2.4:/backup/web # 将本地/www目录上传至远程主机的/backup/web下,
远程/backup/web目录和本地/www保持同步
rsync -r 172.16.2.4:/backup/web /www # 将远程主机的/backup/web目录下载到本地/www下,
本地/www目录和远程/backup/web保持同步
3:守护进程模式(最主要的用法):
#注意:如果是下载数据,远端服务器源数据目录权限可以为任意权限
#注意:如果是上传数据,远端接收文件的目录权限必须是rsync权限
3.1 服务端配置
创建rsync系统用户
useradd rsync -s /sbin/nologin -M #创建一个rsync的虚拟用户,只被程序使用
修改服务端配置文件
vim /etc/rsyncd.conf
配置如下:fake super = yes
这个选项版本以前是没有的,在新版本中如果不加上这个参数,会报权限错误 rsync: chgrp “.hosts.G6sZha” (in backup) failed: Operation not permitted (1)
注:配置文件最后要删除掉所有#注释部分的备注信息,否则同步过程有可能会失败
uid = rsync #用户 远端命令使用rsync访问共享目录
gid = rsync #用户组
use chroot = no #安全相关
max connections = 200 #最大连接数
timeout = 300 #超时时间(不进行备份多长时间断开)
pid file = /var/run/rsyncd.pid #进程对应进程号文件(存放服务运行时进程id号)
lock file = /var/run/rsync.lock #锁文件
log file = /var/log/rsyncd.log #日志文件,显示出错信息
fake super = yes #在新版本中必须加这个
#模块信息:
[backup]
comment = "backup"
path = /backup/web #模块对应的位置(路径)
ignore errors #忽略错误程序
read only = false #是否只读(这里是假,表示能写入)
list = false #是否可以列表*
hosts allow = 172.16.2.0/24 #准许访问rsync服务器客户范围(白名单)
#hosts deny = 0.0.0.0/32 #禁止访问rsync服务器客户范围(黑名单)
auth users = rsync_backup #不存在的用户,只用于认证
#设置进行连接认证的密钥文件:
secrets file = /etc/rsync.password #认证时密钥文件
创建数据备份存储目录
创建备份目录,将backup目录及目录以下文件权限改为rsync
mkdir /backup/web
chown -R rsync.rsync /backup/ #一定要将文件属主和属组改成rsync用户
创建认证用户密码文件,修改文件权限
注:密码文件必须是600权限,否则报错
echo "rsync_backup:123456" >/etc/rsync.password
chmod 600 /etc/rsync.password #为了安全起见,把认证用户的密码文件权限改成600
启动rsync守护进程,并查看是否启动
rsync --daemon #启动守护进程
ps -ef |grep rsync #查看是否启动进程
netstat -lntup |grep rsync #查看是否监听873端口
查看已经正常启动并监听873端口:
3.2 客户端配置
创建密码文件,客户端密码文件中,只需要密码即可,密码文件的权限是600
echo "123456" >/etc/rsync.password
chmod 600 /etc/rsync.password
3.3 传输测试,相关参数为服务端配置文件设置的
客户端上传至服务端测试:/www/
将本地www文件下所有文件上传至备份服务器172.16.2.4。如果是/www
,则是将整个www文件夹备份过去。
rsync_backup
为服务器中配置文件的auth users
参数,::backup
是以后的模块参数及配置文件中的[backup]
,后面接配置文件中的密码文件路径,免交互,不用输入密码就可传输。
rsync -avz /www/ rsync_backup@172.16.2.4::backup --password-file=/etc/rsync.password
在客户端下载测试:
将备份服务器的backup模块配置的path路径的文件下载至本地www目录下。
rsync -avz rsync_backup@172.16.2.4::backup --password-file=/etc/rsync.password /www
到此配置完成!!!
3.4 添加开机启动守护进程
echo "/usr/bin/rsync --daemon" >> /etc/rc.local
四:rsync命令参数(参考)
参数 | 说明 |
-v | –verbose 详细模式输出 |
-a | –archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD |
-z | 对备份的文件在传输时进行压缩处理 |
-v | –verbose 详细模式输出 |
-v | –verbose 详细模式输出 |
-v | –verbose 详细模式输出 |
-P | 显示进度 |
-r, | –recursive 对子目录以递归模式处理 |
-l, | –links 保留软链结 |
-p, | –perms 保持文件权限 |
-o, | –owner 保持文件属主信息 |
-g, | –group 保持文件属组信息 |
-D, | –devices 保持设备文件信息 |
-t, | –times 保持文件时间信息 |
-e, | –rsh=command 指定使用rsh、ssh方式进行数据同步 |
-S, | –sparse 对稀疏文件进行特殊处理以节省DST的空间 |
-n, | –dry-run 现实哪些文件将被传输 |
-w, | –whole-file 拷贝文件,不进行增量检测 |
-B, | –block-size=SIZE 检验算法使用的块尺寸,默认是700字节。 |
-x, | –one-file-system 不要跨越文件系统边界 |
-R, | -relative 使用相对路径信息 |
-b, | –backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用–suffix选项来指定不同的备份文件前缀。 |
-u, | –update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件,不覆盖更新的文件 |
-q, | –quiet 精简输出模式 |
-c, | –checksum 打开校验开关,强制对文件传输进行校验 |
–exclude=PATTERN | 指定排除不需要传输的文件模式 |
–exclude-from=FILE | 排除FILE中指定模式的文件 |
–bwlimit=KBPS | 限制I/O带宽,KBytes per second |
–delete | 删除那些DST中SRC没有的文件 |
–password-file=FILE | 从FILE中得到密码 |
平常经常使用命令参数有rsync -avz
排除同步:–exclude=a (排除a)
rsync -avz --exclude=a /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password
排除a 和b
[root@nfs01 backup]# rsync -avz --exclude={a,b} /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password
排除连续的a-f
rsync -avz --exclude={a..f} /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password
完全同步:无差异同步–delete
rsync -avz --delete /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password
五:服务端配置文件属性参数详解(参考)
文件配置在vim /etc/rsyncd.conf
,没有的话需自己创建。
参数配置分为全局参数和模块参数
全局参数如下:
常见的全局参数: | 说明 |
port | # 指定后台程序使用的端口号,默认为873。 |
uid | # 该选项指定当该模块传输文件时守护进程应该具有的uid,配合gid选项使用可以确定哪些可以访问怎么样的文件权限,默认值是" nobody"。 |
gid | # 该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。 |
max connections | # 指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知随后再试。 默认值是0,也就是没有限制。 |
lock file | # 指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock。 |
motd file | # " motd file"参数用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客户, 默认是没有motd文件的。 |
log file | # " log file"指定rsync的日志文件,而不将日志发送给syslog。 |
pid file | # 指定rsync的pid文件,通常指定为“/var/run/rsyncd.pid”,存放进程ID的文件位置。 |
hosts allow = | # 单个IP地址或网络地址 ,允许访问的客户机地址 |
模块参数[modul]如下:
常见的模块参数: | 主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是在 rsync 客户端看到的名字,服务器真正同步的数据是通过 path 来指定的。 |
Comment | # 给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户。 默认没有描述定义。 |
Path | # 指定该模块的供备份的目录树路径,该参数是必须指定的。 |
read only | # yes为只允许下载,no为可以下载和上传文件到服务器 |
exclude | # 用来指定多个由空格隔开的多个文件或目录(相对路径),将其添加到exclude列表中。 这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传。 |
exclude from | # 指定一个包含exclude模式的定义的文件名,服务器从该文件中读取exclude列表定义, 每个文件或目录需要占用一行 |
include | # 用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式,结合include和exclude可以定义复杂的exclude/include规则。 |
include from | # 指定一个包含include模式的定义的文件名,服务器从该文件中读取include列表定义。 |
auth users | # 该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块, 这里的用户和系统用户没有任何关系。 如果" auth users"被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。 |
secrets file | # 该选项指定一个包含定义用户名:密码对的文件。 只有在" auth users"被定义时,该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名,注意:该文件的权限一定要是600,否则客户端将不能连接服务器。 |
hosts allow | # 指定哪些IP的客户允许连接该模块。定义可以是以下形式: 单个IP地址,例如:192.167.0.1,多个IP或网段需要用空格隔开,整个网段,例如:192.168.0.0/24,也可以是192.168.0.0/255.255.255.0,“*”则表示所有,默认是允许所有主机连接。 |
hosts deny | # 指定不允许连接rsync服务器的机器,可以使用hosts allow的定义方式来进行定义。 默认是没有hosts deny定义。 |
list | # 该选项设定当客户请求可以使用的模块列表时,该模块是否应该被列出。 如果设置该选项为false,可以创建隐藏的模块。默认值是true。 |
timeout | # 通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟,0表示没有超时定义,这也是默认值。对于匿名rsync服务器来说,一个理想的数字是600。 |
ignore errors | # 忽略I/P不正确 . |
ignore nonreadable | # 忽略对用户没有可读的文件. |