本文只说明rsync的简单用法,若要深究,请看上面的参考文章

一、介绍

rsync的目的是实现本地主机和远程主机上的文件同步(包括本地推送到远程,远程拉取到本地两种同步方式),也可以实现本地不同路径下文件的同步,但不能实现远程路径1到远程路径2之间的同步(scp可以实现)。


不考虑rsync的实现细节,就文件同步而言,涉及了源文件和目标文件的概念,还涉及了以哪边文件为同步基准。例如,想让目标主机上的文件和本地文件保持同步,则是以本地文件为同步基准,将本地文件作为源文件推送到目标主机上。反之,如果想让本地主机上的文件和目标主机上的文件保持同步,则目标主机上的文件为同步基准,实现方式是将目标主机上的文件作为源文件拉取到本地。当然,要保持本地的两个文件相互同步,rsync也一样能实现,这就像Linux中cp命令一样,以本地某文件作为源,另一文件作为目标文件,但请注意,虽然rsync和cp能达到相同的目的,但它们的实现方式是不一样的。

既然是文件同步,在同步过程中必然会涉及到源和目标两文件之间版本控制的问题,例如是否要删除源主机上没有但目标上多出来的文件,目标文件比源文件更新(newer than source)时是否仍要保持同步,遇到软链接时是拷贝软链接本身还是拷贝软链接所指向的文件,目标文件已存在时是否要先对其做个备份等等。

rsync同步过程中由两部分模式组成:1、决定哪些文件需要同步的检查模式。2、文件同步时的同步模式。

(1)检查模式是指:按照指定规则来检查哪些文件需要被同步,例如哪些文件是明确被排除不传输的。默认情况下,rsync使用"quick check"算法快速检查源文件和目标文件的大小、mtime(修改时间)是否一致,如果不一致则需要传输。当然,也可以通过在rsync命令行中指定某些选项来改变quick check的检查模式,比如"–size-only"选项表示"quick check"将仅检查文件大小不同的文件作为待传输文件。rsync支持非常多的选项,其中检查模式的自定义性是非常有弹性的。

(2)同步模式是指:在文件确定要被同步后,在同步过程发生之前要做哪些额外工作。例如上文所说的是否要先删除源主机上没有但目标主机上有的文件,是否要先备份已存在的目标文件,是否要追踪链接文件等额外操作。rsync也提供非常多的选项使得同步模式变得更具弹性。

相对来说,为rsync手动指定同步模式的选项更常见一些,只有在有特殊需求时才指定检查模式,因为大多数检查模式选项都可能会影响rsync的性能。



二、三种工作方式

本地:
rsync [OPTION...] SRC... [DEST]



使用远程shell和远程主机通信:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST:DEST



通过网络套接字连接远程主机上的rsync daemon:
Pull:
rsync [OPTION...] [USER@]HOST::SRC... [DEST]rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

Push:
rsync [OPTION...] SRC... [USER@]HOST::DESTrsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST



说明:
[OPTION…]:可用选项,下面会说明
SRC:源文件(被操作的文件)
DEST:目标文件(将源文件送到的地方)



三、选项说明


-v:显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。

-P:显示文件传输的进度信息。(实际上"-P"="--partial --progress",其中的"--progress"才是显示进度信息的)。

-n --dry-run :仅测试传输,而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。

-a --archive :归档模式,表示递归传输并保持文件属性。等同于"-rtopgDl"。

-r --recursive:递归到目录中去。

-t --times:保持mtime属性。强烈建议任何时候都加上"-t",否则目标文件mtime会设置为系统时间,导致下次更新检查出mtime不同从而导致增量传输无效。

-o --owner:保持owner属性(属主)。

-g --group:保持group属性(属组)。

-p --perms:保持perms属性(权限,不包括特殊权限)。

-D :是"--device --specials"选项的组合,即也拷贝设备文件和特殊文件。

-l --links:如果文件是软链接文件,则拷贝软链接本身而非软链接所指向的对象。

-z :传输时进行压缩提高效率。

-R --relative:使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端,包括它们的属性。用法见下文示例。

--size-only :默认算法是检查文件大小和mtime不同的文件,使用此选项将只检查文件大小。

-u --update :仅在源mtime比目标已存在文件的mtime新时才拷贝。注意,该选项是接收端判断的,不会影响删除行为。

-d --dirs :以不递归的方式拷贝目录本身。默认递归时,如果源为"dir1/file1",则不会拷贝dir1目录,使用该选项将拷贝dir1但不拷贝file1。

--max-size :限制rsync传输的最大文件大小。可以使用单位后缀,还可以是一个小数值(例如:"--max-size=1.5m")

--min-size :限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。

--exclude :指定排除规则来排除不需要传输的文件。

--delete :以SRC为主,对DEST进行同步。多则删之,少则补之。注意"--delete"是在接收端执行的,所以它是在exclude/include规则生效之后才执行的。

-b --backup :对目标上已存在的文件做一个备份,备份的文件名后默认使用"~"做后缀。

--backup-dir:指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。

-e :指定所要使用的远程shell程序,默认为ssh。

--port :连接daemon时使用的端口号,默认为873端口。

--password-file:daemon模式时的密码文件,可以从中读取密码实现非交互式。注意,这不是远程shell认证的密码,而是rsync模块认证的密码。

-W --whole-file:rsync将不再使用增量传输,而是全量传输。在网络带宽高于磁盘带宽时,该选项比增量传输更高效。

--existing :要求只更新目标端已存在的文件,目标端还不存在的文件不传输。注意,使用相对路径时如果上层目录不存在也不会传输。

--ignore-existing:要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能,见下文示例。

--remove-source-files:要求删除源端已经成功传输的文件。



rsync的选项非常多,能够实现非常具有弹性的功能,以上选项仅仅只是很小一部分常用的选项,关于更完整更详细的选项说明,请看这篇文章:



四、实例

4.1、本地模式

(1)将/etc/fstab拷贝到/tmp目录下。

rsync /etc/fstab /tmp



(2)将/etc/cron.d目录拷贝到/tmp下。

rsync -r /etc/cron.d /tmp



4.2、网络套接字模式

Pull:将hadoop@192.168.43.1的data模块的文件,拉取到test目录中

rsync -vzrtopg --progress hadoop@192.168.43.1::data test



Push:将hello.txt文件推送到hadoop@192.168.43.1的data模块指定的文件中

rsync -avzP hello.txt  hadoop@192.168.43.1::data --password-file=/etc/rsyncd.secrets