rsync 传输文件名乱码 rsync 大文件

rsync简单介绍

Rsync（remote synchronize）是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

Rsync本来是用于替代rcp的一个工具，目前由rsync.samba.org维护，所以rsync.conf文件的格式类似于samba的主配 置文件。Rsync可以通过rsh或ssh使用，也能以daemon模式去运行，在以daemon方式运行时Rsync server会打开一个873端口，等待客户端去连接。连接时，Rsync server会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。第一次连通完成时，会把整份文件传输一次，以后则就只需进行增量备份。

 

rsync基本特点

1.可以镜像保存整个目录树和文件系统；
2.可以很容易做到保持原来文件的权限、时间、软硬链接等；
3.无须特殊权限即可安装；
4.优化的流程，文件传输效率高；
5.可以使用rsh、ssh等方式来传输文件，当然也可以通过直接的socket连接；
6.支持匿名传输。

rsync同步算法

2、Rsync同步算法
Rsync只所以同步文件的速度相当快，是因为“Rsync同步算法”能在很短的时间内计算出需要备份的数据，关于Rsync的同步算法描述如下：

假定在1号和2号两台计算机之间同步相似的文件A与B，其中1号对文件A拥有访问权，2号对文件B拥有访问权。并且假定主机1号与2号之间的网络带宽很小。那么rsync算法将通过下面的五个步骤来完成：

1、2号将文件B分割成一组不重叠的固定大小为S字节的数据块，最后一块可能会比S 小。

2、2号对每一个分割好的数据块执行两种校验：一种是32位的滚动弱校验，另一种是128位的MD4强校验

3、2号将这些校验结果发给1号。

4、1号通过搜索文件A的所有大小为S的数据块(偏移量可以任选，不一定非要是S的倍数)，来寻找与文件B的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。

5、1号发给2号一串指令来生成文件A在2号上的备份。这里的每一条指令要么是对文件B经拥有某一个数据块而不须重传的证明，要么是一个数据块，这个数据块肯定是没有与文件B的任何一个数据块匹配上的。

 

rsync源码安装

[root@cdh-namenode rsync-3.1.2]# ./configure --prefix=/usr/loca/rsync-3.1.2
[root@cdh-namenode rsync-3.1.2]# make
[root@cdh-namenode rsync-3.1.2]# make install

安装后信息(其中conf目录及其文件需要手动添加)

[root@cdh-namenode rsync-3.1.2]# tree /usr/local/rsync-3.1.2
/usr/local/rsync-3.1.2
├── bin
│   └── rsync
├── conf
│   ├── rsyncd.conf
│   ├── rsyncd.motd
│   └── rsyncd.secrets    -->这里权限须为600
└── share
    └── man
        ├── man1
        │   └── rsync.1
        └── man5
            └── rsyncd.conf.5

6 directories, 6 files

rsyncd.conf配置文件详解

rsyncd.conf:rsync以daemon模式运行时的配置文件名称

rsync服务器配置(Daemon模式)

说明： 
1. rsync的配置文件为rsyncd.conf，可以使用–config选项指定要使用的配置文件。默认情况下，并没有提供该配置文件，需要手动创建。 
2. 该配置文件由两部分组成，模块和参数。 
3. 模块的格式：[Module] 
4. 参数的格式：属性 = 值 
5. 以#开头的表示注释。值的部分可以是yes、no、0、1、true或false。

全局参数

motd file：指定motd（message of the day）的位置。当客户端每一次连接时都会显示该文件中的内容，没有默认值。 
pid file：指定rsync的pid文件存储位置。 
lock file：指定lock文件的位置，确保不会达到最大连接数。默认为/var/run/rsyncd.lock
log file：指定rsync的log文件存储位置。这个文件会在chroot函数被调用前打开
port：指定rsync监听的端口。默认为873
address：指定rsync监听的地址。address = 0.0.0.0表示监听在本机上的所有地址。 
syslog facility：指定rsync将log发送到syslog时的log级别。

模块选项如下

comment：指定模块的描述信息
path：指定模块所映射的目录路径 
max connections：模块所允许的最大连接数。如果是0则表示没有限制，如果是负值则表示关闭该模块。如果用于全局，则表示所有模块的最大连接数。 
read only：是否允许客户端上传。yes表示不允许上传，no表示允许上传。默认为yes。如果设置为yes，则表示只能下载。 
write only：是否允许客户端下载。yes表示不允许客户端下载，no允许客户端下载。默认为no。如果设置为yes，表示只能上传。 
list：是否允许客户端列出该模块下的内容。yes允许，no不允许。 
uid：username或user ID。指定该模块传输文件时（上传或下载），守护进程应该具有的UID权限，默认为nobody。当以root权限启动服务时，uid和gid则表示修改上传的文件的uid和gid。 
gid：groupname或group ID。指定该模块传输文件时（上传或下载），守护进程应该具有的GID权限，默认为nobody。 
exclude：指定多个文件或目录(相对路径)不被同步,并将其添加到 exclude 列表中.多个文件(目录)用空格分隔.作用等同于在客户端命令中使用–exclude来指定模式. 
include：该选项针对于exclude,即同步exclude中的哪个文件(目录),并将其添加到include列表中，覆盖了exclude指定的文件或目录。多个文件(目录)用空格分隔.作用等同于在客户端命令中使用–include来指定模式. 
exclude from：和exclude的作用一样，只不过是exclude是将排除的文件或目录作为value的，而exclude from则是将排除的文件和目录写在文件中的，一行一个文件或目录。 
include from：和include的作用一样，将包括的文件写在文件中。

incoming chmod：修改服务器收到的文件的权限。如：incoming chmod = D2775,F664。（D表示目录，F表示文件） 
outcoming chmod：修改服务器发送的文件的权限。 
auth users与secrets file：这两个选项只能组合使用 
auth users指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块,这里的用户和系统用户没有任何关系，用户名和口令以明文方式存放在 secrets file 参数指定的文件中，格式为username:password，常用的文件名为：/etc/rsyncd.secrets，password不能超过8个字符。 
注意：secrets file文件的权限只能是启动rsyncd服务的用户具有rw权限，其他用户不能具有任何权限，即600. 
示例： 
auth users = joe:deny @guest:deny admin:rw @rsync:ro susan joe sam 
说明：用户joe以及在guest组中的任何用户将不能访问指定的模块。admin用户将具有rw的权限（会忽略read only和write only的设置），rsync组中的用户将具有ro的权限，以及susan、joe和sam将会获取read only和write only的设置的权限。 
timeout：通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。 
strict modes：指定是否检测口令文件的权限.若为 yes 则口令文件只能被 rsync 服务器运行身份的用户访问,其他任何用户不可以访问该文件，默认为yes。也就是该文件的权限为600或400。 
hosts allow：用一个主机列表指定哪些主机客户允许连接该模块.不匹配主机列表的主机将被拒绝.也就是说如果指定hosts allow那么不在hosts allow指定中的主机都将都拒绝. 
hosts deny：用一个主机列表指定哪些主机不能连接rsync模块.如果hosts allow和hosts deny同时指定一台主机,则以hosts allow为准.hosts allow和hosts deny的格式可以是x.x.x.x或x.x.x.x/n 或x.x.x.x/x.x.x.x或*的形式，也可以是主机名，要求能够被解析。 
ignore errors ：可以忽略一些无关的IO错误 
use chroot：若为 true,则 rsync 在传输文件之前首先 chroot 到 path 参数所指定的目录下.这样做的原因是实现额外的安全防护,但是缺点是需要 root 权限,并且不能备份指向 path 外部的符号连接所指向的目录文件。 
transfer logging：该选项开启则记录下载和上传操作。如果不配置该选项，则即使配置了log format时，也不会生效。 
log format通过该选项用户在使用transfer logging可以自己定制日志文件的字段. 
其格式是一个包含格式定义符的字符串,但要注意log format使用要在transfer logging选项开启的时候才可以. 
常用的如下： 
%o表示服务端提供什么操作,比如是接收send还是发送recv 
%a表示客户端的IP地址. 
%m表示服务端的模块名称 
%P表示服务端模块指定的路径. 
%t 当前时间 
%u 认证的用户名(匿名时是null) 
%b 实际传输的字节数 
%f表示同步的文件. 
%l表示同步文件的大小. 
如：log format = [op]:%o [ip]:%a [module]:%m [path]:%P [file]:%f [size]:%l

生产应用rsyncd.conf配置文件

我是按照自己的需求来编写rsyncd.conf文件的，首先我希望只有特定的网段可以连接到我的rsync备份服务器进行备份，我两个业务系统的文件要分两个目录进行存储这样方便管理，客户端传送过来的文件中排除特定文件后缀的文件，上传到服务器的文件只有root用户才能进行编辑修改其配置文件如下：

[root@cdh-namenode conf]# cat rsyncd.conf 
# Minimal configuration file for rsync daemon
# See rsync(1) and rsyncd.conf(5) man pages for help

# This line is required by the /etc/init.d/rsyncd script
#
#################### GLOBAL OPTIONS #######################################################
#
uid = root
gid = root

use chroot = no 

max connections = 200

# limit access to private LANs
hosts allow = 192.168.100.0/255.255.255.0
hosts deny = * 

# The default is for all modules to be read only
read only = no  
write only = no

incoming chmod = Du=rwx,Dgo=rx,Fu=rwx,Fgo=rx

pid file = /var/run/rsyncd.pid             

lock file = /var/run/rsyncd.lock

# This  parameter determines whether or not the permissions on the secrets file will be checked.  If “strict modes”
# is true, then the secrets file must not be readable by any user ID other than the one that the  rsync  daemon  is running under.
strict modes = yes
secrets file = /usr/local/rsync-3.1.2/conf/rsyncd.secrets  

motd file = /usr/local/rsync-3.1.2/conf/rsyncd.motd 

log file = /var/log/rsyncd.log

transfer logging = yes 

log format = [time]:%t [op]:%o [ip]:%a [module]:%m [path]:%P [file]:%f [size]:%l 
syslog facility = local3
timeout = 300


###################################### MODULE OPTIONS ###############################################
[xn_backup]               
path = /home/fbackup/xn_backup                 
list=yes                                 
ignore errors                              
auth users = xn                          
comment = xn_backup home                  
exclude = upload/ log/ logs/ data/ temp/ tmp/ bak/ *.log *.out *.csv *.txt *.dat *.tar *.zip *.tar.gz *.CSV *.rpm *.tgz *.cap *.bin *.iso *.pcap *.gz *.csv.gz *.CSV.gz

[ot_backup]
path = /home/fbackup/ot_backup
list=yes
ignore errors
auth users = ot
comment = ot_backup home
exclude = upload/ log/ logs/ data/ temp/ tmp/ bak/ *.log *.out *.csv *.txt *.dat *.tar *.zip *.tar.gz *.CSV *.rpm *.tgz *.cap *.bin *.iso *.pcap

rsyncd.motd文件

[root@cdh-namenode conf]# cat rsyncd.motd 
+++++++++++++++++++++++++++
+      rsync backup       +
+++++++++++++++++++++++++++

rsyncd.secrets文件

[root@cdh-namenode conf]# ls -l rsyncd.secrets 
-rw-------. 1 root root 26 7月  19 11:55 rsyncd.secrets
[root@cdh-namenode conf]# cat rsyncd.secrets 
xn:redhat123
ot:redhat123

全部配置好了后，就可以启动rsync daemon服务了

[root@cdh-namenode conf]# /usr/local/rsync-3.1.2/bin/rsync --daemon --config=/usr/local/rsync-3.1.2/conf/rsyncd.conf
[root@cdh-namenode conf]# ps -ef|grep rsync
root     115113      1  0 12:10 ?        00:00:00 /usr/local/rsync-3.1.2/bin/rsync --daemon --config=/usr/local/rsync-3.1.2/conf/rsyncd.conf
root     123185  97353  0 12:55 pts/1    00:00:00 grep rsync
[root@cdh-namenode conf]#

 

从客户端上小试牛刀一把(具体详见续章利用rsync备份生产应用(二))

备份cdh-datanode1（192.168.100.101）上的/home目录下的所有内容到rsync服务器(192.168.100.100)上

首先登录到cdh-datandoe1上，切换到root用户下在/etc/目录下新建rsync.passwd文件，里面填写认证密码，认证密码先需要在服务端rsyncd.secrets上配置好，其文件权限需要设置为600.

[root@cdh-datanode1 home]# ls -l /etc/rsync.passwd 
-rw-------. 1 root root 10 7月  19 12:00 /etc/rsync.passwd
[root@cdh-datanode1 home]# cat /etc/rsync.passwd 
redhat123
[root@cdh-datanode1 home]#

备份文件到备份服务器(push)

常用需求：备份应用数据到统一备份服务器

[root@cdh-datanode1 home]# /usr/bin/rsync -azvP --password-file="/etc/rsync.passwd" /home/ xn@192.168.100.100::xn_backup/cdh-datanode1
+++++++++++++++++++++++++++
+      rsync backup       +
+++++++++++++++++++++++++++

sending incremental file list
created directory cdh-datanode1
./
kl/
kl/.bash_logout
          18 100%    0.00kB/s    0:00:00 (xfer#1, to-check=73/76)
kl/.bash_profile
         176 100%  171.88kB/s    0:00:00 (xfer#2, to-check=72/76)
kl/.bashrc
         124 100%  121.09kB/s    0:00:00 (xfer#3, to-check=71/76)
kl/.gnome2/
kl/ss/
kl/ss/auditd
        3580 100%    3.41MB/s    0:00:00 (xfer#4, to-check=68/76)
kl/ss/blk-availability
        1343 100%    1.28MB/s    0:00:00 (xfer#5, to-check=67/76)
kl/ss/crond
        2826 100%    1.35MB/s    0:00:00 (xfer#6, to-check=66/76)
kl/ss/functions
       25419 100%    3.46MB/s    0:00:00 (xfer#7, to-check=65/76)
kl/ss/halt

从备份服务器下载文件(pull)

常用需求：某个应用服务器上的文件被误删了，现在需要恢复这个文件

客户端模拟重要文件被误删

[root@cdh-datanode1 kl]# cd ss/
[root@cdh-datanode1 ss]# ls
auditd            functions  iptables  killall       mdmonitor   netfs    nfs-rdma  postfix  restorecond  rsyslog      saslauth
blk-availability  halt       jexec     lvm2-lvmetad  messagebus  network  ntpd      rdisc    rhnsd        salt-minion  single  
crond             ip6tables  kdump     lvm2-monitor  netconsole  newss    ntpdate   rdma     rhsmcertd    sandbox      ss
[root@cdh-datanode1 ss]# rm functions 
rm：是否删除普通文件 "functions"？y
[root@cdh-datanode1 ss]# ls
auditd            ip6tables  killall       messagebus  newss     postfix      rhnsd        sandbox    sshd
blk-availability  iptables   lvm2-lvmetad  netconsole  nfs-rdma  rdisc        rhsmcertd    saslauthd  udev-post
crond             jexec      lvm2-monitor  netfs       ntpd      rdma         rsyslog      single
halt              kdump      mdmonitor     network     ntpdate   restorecond  salt-minion  ss
[root@cdh-datanode1 ss]# pwd
/home/kl/ss
[root@cdh-datanode1 ss]#

到备份服务器端查看备份的文件，查询到后，直接在客户端利用rsync进行备份还原

[root@cdh-namenode ss]# pwd
/home/fbackup/xn_backup/cdh-datanode1/kl/ss
[root@cdh-namenode ss]# ls
auditd            functions  iptables  killall       mdmonitor   netfs    nfs-rdma  postfix  restorecond  rsyslog      saslauthd  sshd
blk-availability  halt       jexec     lvm2-lvmetad  messagebus  network  ntpd      rdisc    rhnsd        salt-minion  single     udev-post
crond             ip6tables  kdump     lvm2-monitor  netconsole  newss    ntpdate   rdma     rhsmcertd    sandbox      ss
[root@cdh-namenode ss]#

在客户端利用rsync进行备份还原，这里有一点要非常注意的就是源路径地址最后的/,加/表示同步数据的时候不包含ss目录只同步ss目录下面的文件，不加/表示包含ss目录

[root@cdh-datanode1 ss]# /usr/bin/rsync -azvP --password-file="/etc/rsync.passwd" xn@192.168.100.100::xn_backup/cdh-datanode1/kl/ss/ /home/kl/ss/
+++++++++++++++++++++++++++
+      rsync backup       +
+++++++++++++++++++++++++++

receiving incremental file list
./
functions
       25419 100%   24.24MB/s    0:00:00 (xfer#1, to-check=65/70)

sent 64 bytes  received 8777 bytes  17682.00 bytes/sec
total size is 332288  speedup is 37.58
[root@cdh-datanode1 ss]# ls
auditd            halt       kdump         mdmonitor   network   ntpdate  restorecond  salt-minion  ss
blk-availability  ip6tables  killall       messagebus  newss     postfix  rhnsd        sandbox      sshd
crond             iptables   lvm2-lvmetad  netconsole  nfs-rdma  rdisc    rhsmcertd    saslauthd    udev-post
functions         jexec      lvm2-monitor  netfs       ntpd      rdma     rsyslog      single
[root@cdh-datanode1 ss]#