RSYNC
rsync ---->全量和增量，本地或远程
http://www.samba.org/ftp/rsync/rsync.html
rsync可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于scp命令，但优于scp命令的功能；当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这类似于cp命令，同样也优于cp命令。
提示：rsync还可以实现类似rm的删除功能！
在同步备份数据时，默认情况下，rsync通过其独特的“quick check”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可根据权限、属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以可以实现快速的同步备份数据。。
rsync的特性如下：
支持拷贝特殊文件如链接、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变。
可实现增量同步，既只同步发生变化的数据，因此数据传输效率很高。
可以使用rcp,rsh,ssh等方式来配合传输文件。
可以通过socket（进程方式）传输文件和数据。
支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像。
rsync的工作方式：
1.主机本地间的数据传输（此时类似于cp命令的功能）
2.借助rcp,ssh等通道来传输数据（此时类似于scp命令的功能）
3.以守护进程（socket)的方式传输数据（这个是rsync的重要功能）
一、本地数据传输模式（local-only mode)
语法： rsync [OPTION..] SRC... [DEST]
语法说明：1、rsync为同步的命令
2、[OPTION...]为同步时的参数选项；
3、SRC为源，即待拷的分区、文件或目录等；
4、[DEST]为目的分区、文件或目录等；
实例1.把系统的hosts文件同步到/opt目录
rsync /etc/hosts /opt<---------cp /etc/hosts /opt
实例2. 把opt目录拷贝到/mnt下
rsync -avz /opt /mnt<---------cp -ap /opt /mnt
二、通过远程shell进行数据传输（remote shell mode)
通过远程shell（rcp,ssh等）传输可以分为两种情况，其语法分别为
拉取pull:rsync [OPTION...] [USER@]HOST:SRC... [DEST]
推送push:rsync [OPTION...] SRC... [USER@]HOST:DEST
语法说明：
1.rsync为同步的命令；
2.[OPTION...]为同步的参数选项
3.[USER@]HOST...为rsync同步的远程的连接用户和主机地址
4.SRC为源，即待拷的分区、文件或目录等，和HOST之间用一个冒号连接
5.[DEST]为目的分区、文件或目录等。
拉取实例：
rsync -vzrtopgP -e 'ssh -p 22' user1@192.168.1.147:/opt /mnt
推送实例：
rsync -vzrtopP -e 'ssh -p 22' /etc user1@192.168.1.147:/tmp
关键语法说明：
1.-vzrtopg相当于上文的-avz，表示同步文件和目录属性不变。
2.--progress显示同步的过程，可以用-P替换
3.-e 'ssh -p 22' ，表示通过ssh的通道传输数据，-p 22可省略。
4.user1@192.168.1.147:/opt远程的主机系统用户，地址，路径。
5./tmp本地的路径
三、使用守护进程的方式数据传输（daemon mode)
通过守护进程方式传输同样分为两种情况，每种情况又有两种语法写法，分别为：
拉取：（1） rsync [OPTION...] [USER@]HOST::SRC... [DEST]
（2) rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
推送： (1) rsync [OPTION...] SRC... [USER@]HOST::DEST
(2) rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
特别值得注意的是，与远程shell方式的命令不同的是，第（1）种语法格式，本节命令
[USER@]HOST::SRC和[USER@]HOST::DEST结尾处，均为双冒号连接SRC或DEST，另外，这个SRC或DEST也不再是路径了，而是守护进程中配置的模块名称。下文会以例子详细说明。
第2种方法实例（rsync://):
拉取实例命令：rsync -vzrtopgP rsync://rsync_backup@10.0.0.141:/peng /test --password-file=/etc/rsync.password
推送实例命令：rsync -vzrtopgP /test/ rsync://rsync_backup@10.0.0.141:/peng --password-file=/etc/rsync.password
特别说明：以上的用法是个不错的方法，它在拉取和推送时的写法极其类似，尤其是后面讲守护进程服务时，第一种方法通过双冒号加模块名的方法不利于记忆，所以对于初学者，建议大家也可以记忆此语法格式。
以守护进程（socket）的方式传输数据（重点）
部署环境：
操作系统：
[root@server ~]# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.4 (Santiago)
内核版本：
[root@server ~]# uname –r
2.6.32-358.el6.x86_64
[root@server ~]# uname -m
x86_64
[root@www ~]# lsb_release –a ------》可以查看系统版本信息
LSB Version: :core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch
Distributor ID: RedHatEnterpriseA-server
Description: Red Hat Enterprise Linux A-server release 6.2 (Santiago)
Release: 6.2
Codename: Santiago
主机网络参数配置：
主机名 | 网卡eth0 | 默认网关 | 用途 |
A-server | 192.168.1.145 | 192.168.1.254 | rsync服务端 |
B-server | 192.168.1.147 | 192.168.1.254 | rsync节点 |
C-server | 192.168.1.150 | 192.168.1.254 | rsync节点 |
提示: 如无特殊要求，子网掩码都是255.255.255.0
具体要求： 要求在A-server上以rsync守护进程的方式部署rsync服务，使得所有rsync节点客户端主机，可以把本地数据通过rsync的方式备份到数据备份服务器A-server上。本例的客户端仅以B-server、C-server为例。
备份拓扑：
开始部署rsync服务—Rsync服务器端操作过程 ：
1） 配置rsyncd.conf
首先确认软件是否安装：
[root@server ~]# rpm -qa rsync
rsync-3.0.6-9.el6.x86_64
2） 开始编辑 /etc/rsyncd.conf
[root@server ~]# cat /etc/rsyncd.conf
#rsync_config____________start
#created by peng 13:05 2014-12--9
##rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[peng]
path = /peng/
ignore errors
read only = false
list = false
hosts allow = 192.168.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#rsync_config__________end
[root@A-server ~]# dos2unix /etc/rsyncd.conf ---------》windows下的文件粘贴到linux下，尽可能的执行dos2unix查看下！
dos2unix: converting file /etc/rsyncd.conf to UNIX format ...
3) 配置文件常用参数选项说明：
Rsyncd.conf参数 | 参数说明 |
uid = rsync | rsync使用的用户，缺省uid为-2，通常为nobody. |
gid = rsync | rsync使用的组（用户所在的组），缺省gid为-2，通常为nobody. |
use chroot = no | 如果为true, daemon会在给客户端传输文件前“chroot to the path” ,这是rsync 安全的一个配置，因为我们大多数都是在内网使用rsync,所以不配也可以。 |
max connections = 200 | 设置最大连接数，默认为0，意为无限制，负值为关闭这个模块。 |
timeout = 300 | 默认为0，意为no timeout ,建议为300-600（5分钟-10分钟） |
pid file = /var/run/rsyncd.pid | rsync daemon服务启动后将进程号写入此文件中，如果这个文件已经存在，rsync进程不会覆盖该文件，而是会终止。 |
lock file = /var/run/rsyncd.lock | 指定lock文件用来支持“max connections” 参数，使得总连接数不会超过限制，默认为 /var/run/rsyncd.lock。 |
log file = /var/log/rsyncd.log | 不设置或者设置错误，rsync会使用syslog输出相关日志信息 |
ignore errors | 忽略i/o错误 |
read only = false | 指定客户端是否可以上传文件，默认对所有模块都为true. |
list = false | 是否允许客户端可以查看可用模块列表，默认为可以。 |
hosts allow = 192.168.1.0/24 | 指定可以联系的客户端主机名或ip地址或地址段，默认情况没有此参数，即都可以连接。 |
hosts deny = 0.0.0.0/32 | 指定不可以联系的客户端主机名或ip地址或地址段，默认情况没有此参数，即都可以连接。 |
auth users = rsync_backup | 指定以空格或逗号分隔的用户可以使用哪些模块，用户不需要在本地系统中存在，默认所有用户无密码的访问 |
secrets file = /etc/rsync.password | 指定用户名和密码存放的文件，格式为用户名：密码，密码不超过8位。 |
[peng] | 这里是模块名称，需要用中括号括起来，起名称没有特殊的要求，但最好是有意义的名称，便于以后维护。 |
path = /peng/ | 在这个模块中，daemon使用的文件系统或目录，目录的权限要注意和配置文件中的权限一致，否则会遇到读写的问题。 |
#exclude = a c b/2 | 排错的文件或目录，相当路径。 |
man rsyncd.conf查看配置参数细节：
特别说明：
1） 模块中的参数项可以拿到全局配置中使用
2） 以上配置文件中的参数，为经常使用的参数。
3） 以上配置文件中没有提到的参数请参考man rsyncd.conf查看
4） 如果配置中的path = /peng/提到的路径不存在则需要创建，命令为：
mkdir /peng -p
useradd rsync -s /sbin/nologin -M
chown -R rsync.rsync /peng/ -----》授权权限可以根据配置文件中的属主来 ！
配置用于rsync同步的账号，密码及账号文件权限
操作过程：
[root@A-server ~]# echo "rsync_backup:redhat">>/etc/rsync.password
注意：其中rsync_backup:redhat 中的rsync_backup为同步传输用到的虚拟账号，这个账号仅为rsync的账号，不需要系统账号。后面的redhat为密码，不超过8位。账号和密码中间用冒号分隔。
[root@A-server ~]# cat /etc/rsync.password
rsync_backup:redhat
[root@A-server ~]# chmod 600 /etc/rsync.password ------》必须为600权限。
启动rsync服务
以守护进程方式来启动rsync服务：
rsync --daemon ----》--daemon表示以守护进程的方式启动rsync服务。
拓展：
--address --》绑定指定ip地址提供服务
--config=FILE ---》更改配置文件路径，而不是默认的/etc/rsyncd.conf
--port=PORT --》更改其他端口提供服务，而不是缺省的873端口
提示：以上几个选项为了解内容，生产场景使用的不多。
[root@server ~]# rsync --daemon
[root@server ~]# netstat -tunlp |grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 10983/rsync
tcp 0 0 :::873 :::* LISTEN 10983/rsync
[root@server ~]# ps -ef |grep rsync |grep -v grep
root 10983 1 0 03:47 ? 00:00:00 rsync –daemon
设置服务开机自启动：
echo “/usr/bin/rsync –daemon” >> /etc/rc.local
注意：当然还可以用chkconfig rsync on 命令，但是必须要编写适合chkconfig操作的脚本才行。
（脚本：
#!/bin/bash
#rsync Start/Stop Rsync service
#chkconfig: 35 13 91
#description:This is Rsync service management shell script
#processname:rsyncd
#Source function library
. /etc/rc.d/init.d/functions
start() {
rsync --daemon
if [ $? -eq 0 -a `ps -ef |grep -v grep |grep rsync|wc -l` -gt 0 ];then
action "Starting Rsync:" /bin/true
sleep 1
else
action "Starting Rsync:" /bin/false
sleep 1
fi
}
stop() {
pkill rsync;sleep 1;pkill rsync
#if [ $? -eq 0 -a `ps -ef|grep -v grep|grep rsync |wc -l` -lt 1 ];then
if [ `ps -ef|grep -v grep|grep "rsync --daemon"|wc -l` -lt 1 ];then
action "Stopping Rsync:`ps -ef|grep -v grep|grep rsync|wc -l`" /bin/true
sleep 1
else
action "Stopping Rsync:`ps -ef|grep -v grep|grep "rsync --daemon"|wc -l`" /bin/false
sleep 1
fi
}
case "$1" in
start)
start;
;;
stop)
stop;
;;
restart|reload)
$0 stop;
$0 start;
;;
*)
echo $"Usage: $0 {start|stop|restart|reload}"
;;
esac
）
保存成rsyncd,放到/etc/init.d/rsyncd
chmod 700 /etc/init.d/rsyncd
chkconfig rsyncd on
chkconfig –list |grep rsyncd
/etc/init.d/rsyncd start
netstat -tunlp |grep 873
开始部署rsync客户端：
在192.168.1.147和192.168.1.150上操作
请注意与服务端的配置区别
echo "redhat" > /etc/rsync.password ------》这里仅配置了密码，不需要账号了。这是与服务端的区别。
chmod 600 /etc/rsync.password ------》必须为600权限
检查部署的rsync服务：
默认情况下，以下均在rsync客户端执行操作：
在192.168.1.147客户端上操作:
[root@www www]# pwd
/var/www
[root@www www]# tar -zcvf html_$(date +%F)_tar.gz ./html/ ---》压缩份文件
./html/
./html/index.html
[root@www www]# ll
drwxr-xr-x. 2 root root 4096 Dec 10 14:57 html
-rw-r--r--. 1 root root 173 Dec 10 14:58 html_2014-12-10_tar.gz
开始推送到192.168.1.145服务器上：
[root@B-server www]# rsync -avzP html_2014-12-10_tar.gz rsync_backup@192.168.1.145::peng----------->服务器端模块的名字
Password: -----》需要输入密码
sending incremental file list
html_2014-12-10_tar.gz
173 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)
sent 260 bytes received 27 bytes 114.80 bytes/sec
total size is 173 speedup is 0.60
在服务端192.168.1.145上查看已经收到此文件
[root@A-server peng]# ls
html_2014-12-10_tar.gz
或不提示输入密码操作：
[root@www www]# rsync -avzP html_2014-12-10_tar.gz rsync_backup@192.168.1.145::peng --password-file=/etc/rsync.password
sending incremental file list
sent 43 bytes received 8 bytes 102.00 bytes/sec
total size is 173 speedup is 3.39
或
[root@www www]# rsync -avzP html_2014-12-10_tar.gz rsync://rsync_backup@192.168.1.145/peng --password-file=/etc/rsync.password
sending incremental file list
html_2014-12-10_tar.gz
173 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)
sent 260 bytes received 27 bytes 574.00 bytes/sec
total size is 173 speedup is 0.60
或者从客户端192.168.1.147推送到服务端192.168.1.145的/peng/test目录下
先在服务端设置：
[root@A-server peng]# mkdir test
[root@A-server peng]# chown rsync test ------》要对创建的子目录赋予权限
开始在客户端推送：
[root@B-serve www]# rsync -avzP html_2014-12-10_tar.gz rsync://rsync_backup@192.168.1.145/peng/test --password-file=/etc/rsync.password
sending incremental file list
html_2014-12-10_tar.gz
173 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)
sent 260 bytes received 27 bytes 574.00 bytes/sec
total size is 173 speedup is 0.60
也可以写成：[root@B-server www]# rsync -avzP html_2014-12-10_tar.gz rsync://rsync_backup@192.168.1.145:/peng/test - -password-file=/etc/rsync.password
问题排查：NO route to host问题
解决办法：可能是防火墙阻挡了，telnet ip 873检查，如果出现connection refuse字样表示防火墙阻挡或服务没开启。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------
rsync命令同步参数选项：
-v,--verbose 详细模式输出，传输时的进度等信息
-z，--compress 传输时进行压缩以提高传输效率，--compress-level=NUM可按级别压缩
-r,--recursive 对子目录以递归模式，即目录下的所有目录都同样传输，注意是小写r
-t,--times 保持文件时间信息
-a,--archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rtopgDl
-D,--devices 保持设备文件信息
-l,--links 保持软链接
-o,--owner 保持文件属主信息
-p,--perms 保持文件权限
-g,--group 保持文件属组信息
-P，--progress 显示同步的过程及传输时的进度等信息
-e,--rsh=COMMAND 使用的信道协议，指定替代rsh的shell程序。例如：ssh
--exclude=PATTERN 指定排除
保持同步目录及文件属性：
这里的-avzP相当于 -vzrtopgDlP(还多了Dl功能），生产环境常用的参数选项为-avzP或-vzrtopgP，如果是放入脚本中，也可以把-v和-P去掉，这里的--progress可以用-P代替。
特别注意:
请注意一下两命令的差别：
1)rsync -avz /opt/ /tmp
2)rsync -avz /opt /tmp
1)中的/opt/意思是，仅把/opt/目录里面的内容同步过来，opt目录本身并不同步；而
后者2）中/opt表示把opt本身及其内部内容全都同步到/tmp下，仅一个/（斜线之差），意义就大不相同，请读者注意使用的差别。
2)在后面讲的通过远程shell进行数据传输的内容也会有类似的问题，要牢记！
分发脚本：
[root@www ~]# cat fenfa.sh
#!/bin/bash
. /etc/init.d/functions
if [ $# -ne 1 ];then
echo "Usage:$0 argv"
exit
fi
for ip in 150
do
scp -P22 $1 root@192.168.1.$ip:/test >&/dev/null
rsync -avzP $1 -e "ssh -p 22" root@192.168.1.$ip:/test >&/dev/null
if [ $? -eq 0 ];then
action "fenfa $1 successful." /bin/true
else
action "fenfa $1 failure." /bin/false
fi
done
专注事业！
