RSYNC的介绍和配置

1、软件介绍

可以实现全量或增量的本地或远程的数据镜像同步，可跨平台使用

         类似scp命令，但是功能优于scp，因为rsync可以做增量备份

         在同步备份数据时，默认情况下，rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可以根据权限、属主等属性的变化同步，但需要指定响应的参数，甚至可以实现指同步一根文件里有变化的内容部分，

2、rsync特性：

         1）支持拷贝特殊文件，如链接、设备等

         2）可以配出指定文件或目录同步的功能，相当于tar（tar -X）的排除功能

         3）可以做到保持原文件或目录的权限时间、软硬链接等所有属性不变

         4）可以实现增量同步，

         5）可以使用rcp、rsh、ssh等方式配合传输文件（rsync本身是不加密的），

    6）可以直接通过socket（进程方式）传输

          7）支持匿名的或认证的进程模式传输（无需系统用户，使用虚拟用户），可以实现方便安全的进行数据备份及镜像。

3、rsync的工作方式

         1）本地传输，类似cp

         2）借助rcp或ssh等通道加密传输数据

         3）以守护进程（socket）的方式传输数据（这是rsync的重要的功能）

注意：在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步的服务器称为备份源。在这需要注意的是：在下行同步（下载）中，备份源负责提供原始位置，发起端应具有对该位置读取权限；在上行同步（上传）中，备份源负责提供文档的目标位置，发起端应对·该位置有写入权限

4、rsync的配置文件

1）默认rsync不存在配置文件，需要我们手动创建 /etc/rsyncd.conf

2）配置文件中相关的配置参数

 全局配置的相关参数

port：指定后台程序使用的端口号，默认为873。

uid：指定该模块传输文件时守护进程的uid，配合gid选项使用确定文件的权限，默认值是" nobody" 。

gid：指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody" 。

max connections：指定该模块的最大并发连接数量，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。

strict modes 设置是否监听用户密码文件的权限，默认为yes，监听后密码文件必须为600

lock file：指定支持maxconnections参数的锁文件，默认值是/var/run/rsyncd.lock。

motd file：指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。

log file：指定rsync的日志文件，而不将日志发送给syslog。

pid file：指定rsync的pid文件，通常指定为"/var/run/rsyncd.pid"，存放进程ID的文件位置。

hosts allow = 单个IP地址或网络地址 //允许访问的客户机地址

常见的模块配置参数：

Comment：给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有

Path：指定该模块的供备份的目录树路径，该参数是必须指定的。

read only ：yes为只允许下载，no为可以下载和上传文件到服务器

exclude：用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用—exclude或----filter来指定某些文件或目录不下载或上传(既不可访问)

exclude from：指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行

include： 用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。

include from：指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。

ignore errors：指定rsyncd在判断是否运行传输时的删除操作时忽略server上的IO错误

ignorenonreadable：指定rysnc服务器完全忽略那些用户没有访问权限的文件

auth users：该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果" auth users" 被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。

secrets file：该选项指定一个包含定义用户名:密码对的文件。只有在" auth users" 被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。

hosts allow：指定哪些IP的客户允许连接该模块。定义可以是以下形式：

单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开，

整个网段，例如：192.168.0.0/24，也可以是192.168.0.0/255.255.255.0

"*"则表示所有，默认是允许所有主机连接。

hosts deny：指定不允许连接rsync服务器的机器，可以使用hostsallow的定义方式来进行定义。默认是没有hosts deny定义。

list：该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。

Timeout：通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。

log format：通过该选项用户在使用transfer logging可以自己定制日志文件的字段

dont compress：指定那些不进行压缩处理再传输的文件，默认值是*.gz *.tgz *.zip *.z*.rpm *.deb *.iso *.bz2 *.tbz

3）配置文件案例：

#############################global########################
uid = fuzj
gid = fuzj
use chroot = no
max connections= 4
strict modes =yes
port = 873
pid file = /var/run/rsyncd.pid
lock file =/var/run/rsync.lock
log file =/var/log/rsyncd.log
 
#############################modules####################
[webroot]
path = /webroot
comment =webroot backup
ignore errors
read only = yes
list = no
auth users = fuzj
secrets file =/etc/rsync.passwd
hosts allow =192.168.255.101
host deny =0.0.0.0/0
timeout 600

5.rsync的管理

rsync有两种管理方式：

一种是独立运行于系统后台，直接执行rsync –daemon ,便开始运行

一种是受xinetd管理，但是需要安装xinetd软件，并且修改/etc/xinetd.d/rsync中的disabled的值为no

命令：sed -i -e 's/= yes/= no/g' /etc/xinetd.d/rsync

6.rsync的使用方法

工作方式一：本地传输

rsync  [OPTION...]  SRC... [DEST]

工作方式二：借助rcp或ssh等通道加密传输数据

  Pull（拉）: rsync [OPTION...]  -e “ssh -p22”[USER@]HOST:SRC... [DEST] 

  Push（推）: rsync [OPTION...] -e “ssh -p 22”SRC... [USER@]HOST:DEST

注意：1、ssh一定要放在-p的前边，否则报错

         2、如果ssh的端口是22的话，可以不指定-p

         3、这里用的是系统用户oldboy，因此使用的是单冒号，如果是虚拟用户的话要用双冒号。

工作方式三：以守护进程（socket）的方式传输数据

Pull（拉）: rsync [OPTION...][USER@]HOST::SRC... [DEST]

        rsync[OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

  Push（推）: rsync [OPTION...] SRC...[USER@]HOST::DEST

        rsync[OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

 

rsync命令参数：常用的 -avz  --delete   

-v, --verbose 详细模式输出

-q, --quiet 精简输出模式

-c, --checksum 打开校验开关，强制对文件传输进行校验

-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r, --recursive 对子目录以递归模式处理

-R, --relative 使用相对路径信息

-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir 将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX 定义备份文件前缀

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)

-l, --links 保留软链结

-L, --copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结

--safe-links 忽略指向SRC路径目录树以外的链结

-H, --hard-links 保留硬链结     -p, --perms 保持文件权限

-o, --owner 保持文件属主信息     -g, --group 保持文件属组信息

-D, --devices 保持设备文件信息    -t, --times 保持文件时间信息

-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间

-n, --dry-run现实哪些文件将被传输

-W, --whole-file 拷贝文件，不进行增量检测

-x, --one-file-system 不要跨越文件系统边界

-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节

-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件

--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件

--delete 删除那些DST中SRC没有的文件

--delete-excluded 同样删除接收端那些被该选项指定排除的文件

--delete-after 传输结束以后再删除

--ignore-errors 即使出现IO错误也进行删除

--max-delete=NUM 最多删除NUM个文件

--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输

--force 强制删除目录，即使不为空

--numeric-ids 不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间，单位为秒

-I, --ignore-times 不跳过那些有同样的时间和长度的文件

--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间

--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0

-T --temp-dir=DIR 在DIR中创建临时文件

--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份

-P 等同于 --partial

--progress 显示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN 指定排除不需要传输的文件模式

--include=PATTERN 指定不排除而需要传输的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 绑定到特定的地址

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT 指定其他的rsync服务端口

--blocking-io 对远程shell使用阻塞IO

-stats 给出某些文件的传输状态

--progress 在传输时现实传输过程

--log-format=formAT 指定日志文件格式

--password-file=FILE 从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽，KBytes per second      

-h, --help 显示帮助信息

 

RSYNC的具体应用

1.本地复制文件和同步目录

创建1.txt文件并复制到/tmp目录下，
[root@localhost ~]# touch 1.txt
[root@localhost ~]# rsync 1.txt /tmp/
[root@localhost ~]# ls /tmp/
1.txt 
把/share/目录下的文件同步到/tmp下
[root@localhost ~]# ls /share/
123.jpg  123.sh
[root@localhost ~]# rsync -r /share/ /tmp/
[root@localhost ~]# ls /tmp/
123.jpg  123.sh
注意：若/share后面不加/，表示把share目录复制到/tmp下
[root@localhost ~]# rsync -r /share /tmp/ 
[root@localhost ~]# ls /tmp/
123.jpg  123.sh  share

2.远程复制文件，相当于备份

1）把192.168.255.100上的webroot中所有文件拉回到本地
[root@localhost ~]# rsync -avz jeck@192.168.255.100::webroot/backup_dir/
Password: 
receiving incremental file list
./
1.jpg
1.sh
1.txtr
sent 117 bytes  received252 bytes  25.45 bytes/sec
total size is 0  speedupis 0.00
 
发现上面的还得手动输入密码，可以使用--password-file来指定密码文件，不需要再手动输入
[root@localhost ~]# rsync -avz jeck@192.168.255.100::webroot/backup_dir/ --password-file=/etc/rsync.passwd 
receiving incremental file list
 
sent 57 bytes  received141 bytes  18.86 bytes/sec
total size is 0  speedupis 0.00
注意本次操作是在客户端上，所以需要客户端有密码文件，文件中只需要填写密码即可，且权限600
加—delet可以实现增量备份，如，删除1.jpg，然后再同步，会发现只取回了1.jpg
[root@localhost ~]# rsync -avz --deletejeck@192.168.255.100::webroot /backup_dir/ --password-file=/etc/rsync.passwd 
receiving incremental file list
./
1.jpg
 
sent 79 bytes  received180 bytes  24.67 bytes/sec
total size is 0  speedupis 0.00
 
2）把本地（192.168.255，101）上的backup_dir文件推送到192.168.255.100的webroot里，注意rsyncd.conf中的read only 为no才可以推送成功
rsync -avz --delete /backup_dir/ jeck@192.168.255.100::webroot --password-file=/etc/rsync.passwd

3.以守护进程（socket）的方式传输数据

拉取：
rsync –avz rsync://jeck@192.168.255.100::webroot/ /backup_dir/--password-file=/etc/rsync.passwd
推送命令:
rsync –avz  /backup_dir/rsync:// jeck@192.168.255.100::webroot/  --password-file=/etc/rsync.passwd

4.rsync实现无交互自动密码验证

1）SSH备份源无密码验证

对于ssh服务器来说，采用密钥对验证是避免交互式登录的最佳方式，只要在客户机中创建好无私钥短语的密钥对，再把公钥分发给服务器上的备份用户，就可以实现无交互式登录

[root@localhost ~]# ssh-keygen -t rsa                   创建公钥和私钥
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
04:07:8e:d5:48:36:13:61:7c:f4:f7:d4:e7:12:f4:[e-mail]
The key's randomart p_w_picpath is:
+--[ RSA 2048]----+
|     o%Bo     .  |
|     *o=o.   . +.|
|    . ... . . oE=|
|       .   . o o.|
|        S     o .|
|               . |
|                 |
|                 |
|                 |
+-----------------+
[root@localhost ~]# ssh-copy-id fuzj@192.168.255.100                    将公钥拷贝至服务器
fuzj@192.168.255.100's password: 
Now try logging into the machine, with "ssh'fuzj@192.168.255.100'", and check in:
 
  .ssh/authorized_keys                     公钥在服务器存放的位置
 
to make sure we haven't added extra keys that you weren'texpecting.
现在已经实现无交互密码验证登录了

 

2）Rsync备份源的无交互验证

rsync备份源的无交互验证，对于rsync备份源来说，可使用环境变量RSYNC_PASSWORD来存放密码。执行 rsync备份任务时，会自动读取该变量，并在需要时发送给rsync源服务器

[root@localhost ~]# export RSYNC_PASSWORD=fuzj
[root@localhost ~]# rsync -avzrsync://fuzj@192.168.255.100::webroot /backup_dir/
receiving incremental file list
 
sent 57 bytes  received141 bytes  18.86 bytes/sec
total size is 0  speedupis 0.00

3）使用密码文件进行自动验证

在服务器上rsync的配置文件需要使用secretsfile = /etc/rsync.passwd指定密码文件的位置，在/etc/rsync.passwd中以username：password形式存储密码，并设置权限为600；在客户端上也需要创建密码文件，但是密码文件中只需要写入密码即可，不用写username，权限同样设置为600

使用：在rsync命令后面用--password-file=密码文件的方式进行指定即可。

5.rsync+inotify实现时时同步

         通过rsync可以实现对远程服务器数据的增量备份，但是rsync自身也有瓶颈，同步数据时，rsync采用核心算法岁目标文件进行对比，只进行差异同步，但是如果服务器的文件的数据十分庞大，千万级的，那么对比耗时就会非常长，而inotify的出现可以解决这个缺点。

         inotify是一种细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了inotify支持，inotify可以监控文件系统中添加、删除、修改、移动等各种事件，

         inotify的实现是在rsync的基础上实现的，要配置在rsync的服务端

 

1）inotify工作原理

         inotify监控文件系统是否有改动，一旦发现有改动则调用rsync进行数据同步

2）inotify的安装

 查看系统是否支持
[root@localhost ~]# uname -r   
2.6.32-358.el6.x86_64
[root@localhost ~]# ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Jun 3 17:01 max_queued_events
-rw-r--r-- 1 root root 0 Jun 3 17:01 max_user_instances
-rw-r--r-- 1 root root 0 Jun 3 17:01 max_user_watches
提示：当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。例如可直接修改/etc/sysctl.conf配置文件，将管理队列设为32768，实例数设为1024，监控数设为1048576（建议大于监控目标的总文件数）。
[root@localhost ~]# echo "fs.inotify.max_queued_events =16384" >>/etc/sysctl.conf 
[root@localhost ~]# echo "fs.inotify.max_user_instances =1024" >>/etc/sysctl.conf           
[root@localhost ~]# echo "fs.inotify.max_user_watches =1048576" >>/etc/sysctl.conf          
[root@localhost ~]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
error: "net.bridge.bridge-nf-call-ip6tables" is anunknown key
error: "net.bridge.bridge-nf-call-iptables" is anunknown key
error: "net.bridge.bridge-nf-call-arptables" is anunknown key
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
 
下载inotify软件包，编译安装
wgethttp://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
tar zxf inotify-tools-3.14.tar.gz -C /usr/src/
cd /usr/src/inotify-tools-3.14/
./configure
make
make install

3）inotify的使用

 

时时监控/webroot中的文件变化，

执行inotifywait -mqr -e modify,create,move,delete,attrib /webroot/命令后，再另个终端中在/webroot里创建文件，删除等操作，会在打印出来

命令参数

-m， 即--monitor，表示始终保持事件监听状态。
-r， 即--recursive，表示递归查询目录。
-q， 即--quiet，表示打印出监控事件。

-e， 即--event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等

补充：--timefmt  用来指定-%T中所表现出来的时间格式。定义字符跟date命令中的一样。如： %Y表示完整格式的年，%m月，%d日,%H时,%M分,%S秒。

--format  用来定义发生事件以后所发出的通知格式。如： %T 时间，%w事件目录，%f事件文件，%e事件类型。

 

[root@localhost ~]# inotifywait -mqr -emodify,create,move,delete,attrib /webroot/
/webroot/ CREATE,ISDIR test1
/webroot/ ATTRIB 1.sh
/webroot/ CREATE sss
/webroot/ ATTRIB sss

 

4）rsync+inotify时时同步的脚本

注意：本脚本是基于ssh源来远程同步，所以在运行脚本之前需要做好无交互式ssh密码认证。只需要把本脚本在后台时时运行即可。  sh rsync+inotify_backup.sh&

 

 

 

 

#!/bin/bash
 
BACKUP_DIR="/webroot/"
TARGET_DIR="/backup_dir/"
TARGET_HOST="192.168.255.101"
INOTIFY_CMD="/usr/local/bin/inotifywait -mrq   -e modify,create,move,delete,attrib$BACKUP_DIR "
RSYNC="/usr/bin/rsync"
BACKUP_WAY="-avz --delete"
BACKUP_USER="fuzj"
RSYNC_CMD="$RSYNC $BACKUP_WAY $BACKUP_DIR$BACKUP_USER@$TARGET_HOST:$TARGET_DIR "
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ `pgrep rsync | wc-l` -gt 0 ]
     then
         $RSYNC_CMD
    else
        echo "thersync no running"
    fi
done

 

下面是一个rsync客户端定时去同步备份源的脚本

#!/bin/bash
 
SOURCE_HOST="192.168.255.100"
SOURCE_DIR="webroot"
LOCAL_DIR="/backup_dir"
BCAKUP_USER="fuzj"
USER_PASSWORD="fuzj"
BACKUP_WAY="-avz --delete"
RSYNC="/usr/bin/rsync"
export RSYNC_PASSWORD="$USER_PASSWORD"
$RSYNC $BACKUP_WAY $BACKUP_USER@$SOURCE_HOST::$SOURCE_DIR$LOCAL_DIR 
if [ $? -eq 0 ] 
then
    unset RSYNC_PASSWORD 
    echo "RSYNC backupsuccessfull"
else
    unset RSYNC_PASSWORD 
    echo "RSYNC backupfaild"
fi

以上两个脚本仅供参考---