rsync+ inotify

rsync是一个快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,保存连接和权限,且采用优化的同步算法,传输前执行压缩,因此

非常适合用于异地备份,镜像服务器等应用,rsync保证了数据的同步一致性,那我们把两台web服务器的数据保持一致,这样可以用两台web服务器做负载

均衡,所以rsync是实现LVS的重要工具的一种,需要注意的是必须在主服务器和同步服务器上都安装rsync,其中主服务器上是以服务器模式运行rsync,

而同步上则以客户端方式运行rsync。这样在主服务器上运行rsyn守护进程,在同步上用crond定时运行客户程序来同步主服务器上需要同步的内容。

rsync保证了服务器有的数据,客户端一定有,但是客户端比服务器多出的额外的数据,服务器那边是没有的

 

rsync命令的工作模式有四种:
   1shell模式,也称为本地模式,速度要比cp
   2、远程shell模式,其可以借助于ssh协议承载其数据传输过程
   3、列表模式,其工作方式与ls相似,仅列出源的内容:-nv
   4、服务器模式,此时,rsync可以工作为守护进程,能够接收客户端的数据传输请求,在使用时可以在客户端使用rsync命令发送给守护进程,也可以向服务器主获取文件。

 

1.安装rsync服务器

yum -y install  rsync

 

2.建立rsync的三个配置文件,

touch /etc/rsyncd.conf(rsync的配置文件)

touch /etc/rsyncd.secrets(用户的密码文件)  

chmod 600 /etc/rsyncd.secrets(权限要设置为600,否则无法备份成功) 

touch /etc/rsyncd.motd(rsync服务器信息,这个不是必须创建的)

 

3.自己手动建立rsync的配置文件的信息

vim /etc/rsyncd.conf

########前面为#号的可以不要

uid = nobody      # 备份以什么身份进行,用户ID

gid = nobody      # 备份以什么身份进行,组ID

use chroot = no   #禁锢在源目录

max connections = 0  #最大连接数,0代表没有限制

port = 873         #默认端口873

address = 172.16.1.10  #rsync服务器的ip地址

pid file = /var/run/rsyncd.pid   #运行进程的ID写到哪里                                                  

log file = /var/log/rsyncd.log  #日志记录文件

#hosts allow = 172.16.1.0/24   #允许连接服务器的主机IP地址,如果多个ip则用空格隔开

#hosts deny = 0.0.0.0/0.0.0.0        #禁止连接服务器的主机IP地址,也可为*,表示所有。

#strict modes =yes        #是否检查口令文件的权限

#motd file = /etc/rsyncd.motd    #欢迎消息

#lock file = /var/run/rsync.lock

[wwwroot]          # 指定认证的备份模块名

path = /var/www/html  # 需要备份的目录,这里备份web存放网页目录的路径,真是环境写你需要备份的路径

comment = BACKUP attachment          # 注释,提示信息

ignore errors             # 忽略一些无关的IO错误

read only = false         # 设置为非只读,即可以传至服务器的相应目录。

auth users = backuper                   # 认证的用户名,如果没有这行,则表明是匿名

secrets file = /etc/rsyncd.secrets    # 认证文件名,用来存放密码

#list = false               # 不允许列文件

#exclude = test/ test.php     #设置不同步的目录或文件用空格隔开

######配置完成保存退出

 

4.设置密码文件

vim /etc/rsyncd.secrets

####

backuper:pwd123   #这里的用户名对应配置文件里面的用户,配置文件里面有几个用户就建立几个用户  类容格式 用户名:密码

####编辑完成保存退出

 

5.可以启动rsync服务了

rsync --daemon #启动rsync服务,如果你的配置文件是/etc/rsyncd/rsyncd.conf那启动的时候就 sync --daemon  --config=/etc/rsyncd/rsyncd.conf

netstat -tnlp | grep rsync  #查看端口

kill $(cat /var/run/rsyncd.pid)  orpkill rsync  #杀死rsync的进程

 

6.如果是异地备份,因为数据不需要全天不断运行,只是有用户在客户机连接的时候才启用,因此可以将rsync交给超级服务xinetd管理

yum -y install xinetd

 

vim /etc/xinetd.d/rsync 

#####

service rsync

{

        disable = no

        flags          = IPv6

        socket_type    = stream

        wait           = no

        user           = root

        server         = /usr/bin/rsync

        server_args    = --daemon

        log_on_failure += USERID

}

####

service xinted restart 启动xinted服务

                                      

命令的解释:

-v表示verbose(详细)

-z表示zip(压缩)

-r表示recursive(递归目录)

-topg是保持文件原有属性如o=owner(属主)、t=times(时间)、p=perms(权限)、g=group(组)的参数

-H表示保持硬连接

-l:保留软链结

-u:表示只更新源文件比目标时间新的文件

--progress是指显示出详细的进度情况

--delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致。如果客户机和服务器的文件有不同的那么

        客户机的文件将被删除,所以此参数慎用

--password-file = /etc/rsyncd.secrets来指定密码文件,这里需要注意的是这份密码文件权限属性要设得只有属主可读(权限为600),属主为正在运行此命令的用户。

如果是指定密码文件了,则就不需要输入密码,但是客户端的这个文件必须存在

vim /etc/rsyncd.secrets

###

pwd123 #只需要写用户的密码

### chmod 600  /etc/rsyncd.secrets

 

命令格式及常用的备份选项

Rync [选项] 原始位置 目标位置

-v, --verbose 详细模式输出

-q, --quiet 精简输出模式

-c, --checksum 打开校验开关,强制对文件传输进行校验

-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD

-r, --recursive 对子目录以递归模式处理

-R, --relative 使用相对路径信息

-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir 将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX 定义备份文件前缀

-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)

-l, --links 保留软链结

-L, --copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结

--safe-links 忽略指向SRC路径目录树以外的链结

-H, --hard-links 保留硬链结

-p, --perms 保持文件权限

-o, --owner 保持文件属主信息

-g, --group 保持文件属组信息

-D, --devices 保持设备文件信息

-t, --times 保持文件时间信息

-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间

-n, --dry-run现实哪些文件将被传输

-W, --whole-file 拷贝文件,不进行增量检测

-x, --one-file-system 不要跨越文件系统边界

-B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节

-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件

--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件

--delete 删除那些DST中SRC没有的文件

--delete-excluded 同样删除接收端那些被该选项指定排除的文件

--delete-after 传输结束以后再删除-

-ignore-errors 及时出现IO错误也进行删除

--max-delete=NUM 最多删除NUM个文件-

-partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输

--force 强制删除目录,即使不为空

--numeric-ids 不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间,单位为秒-I, 

--ignore-times 不跳过那些有同样的时间和长度的文件

--size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间

--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0

-T --temp-dir=DIR 在DIR中创建临时文件

--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份

-P 等同于 --partial--progress 显示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN 指定排除不需要传输的文件模式

--include=PATTERN 指定不排除而需要传输的文件模式

--exclude-from=FILE 排除FILE中指定模式的文

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 绑定到特定的地址

--config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件

--port=PORT 指定其他的rsync服务端口

--blocking-io 对远程shell使用阻塞IO

-stats 给出某些文件的传输状态

--progress 在传输时现实传输过程

--log-format=formAT 指定日志文件格式

--password-file=FILE 从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽,KBytes per second

-h, --help 显示帮助信息

 

注意:rsync命令使用中,如果源参数的末尾有斜线,就会复制指定目录内容,而不复制目录本身;没有斜线,则会复制目录本身,因此有如下命令:
   # rsync -r /mydata/data /backups/:会把目录data直接同步至/backups目录中去
   # rsync -r /mydata/data/ /backups/:会把目录中的data/中的内容同步至/backups目录中

rsync本地用法:
   # cd /etc /tmp/
   # rsync /tmp/etc/passwd/tmp/test/passwd -nv
推送到远程主机上去,把本地的etc文件推送到172.16.251.244主机上去:
   # rsync -r -e ssh /tmp/etcroot@172.16.20.1:/tmp/

拉取远程服务器上的文件:
   # rsync -e ssh -r -aroot@172.16.20.1:/etc/pam.d ./ --stats

把文件推送到服务器端上去:
# rsync -auzv messages myuser@172.16.20.2::my_data_rsync

如果我们从服务器上拉取文件时必须要指定文件路径
# rsync myuser@172.16.20.2::my_data_rsync/messages/tmp/

 

 

关于以下知识,本人正握不多,还在研究阶段,有一大部分是摘录至其他博客,望见谅!

初识inotify
 Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。
在上面章节中,我们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。

安装inotify工具inotify-tools
 由于inotify特性需要Linux内核的支持,在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上,如果Linux内核低于2.6.13版本,就需要重新编译内核加入inotify的支持,也可以用如下方法判断,内核是否支持inotify:
[root@localhost webdata]# uname -r
2.6.18-164.11.1.el5PAE
[root@localhost webdata]# ll /proc/sys/fs/inotify
总计 0
-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches
如果有上面三项输出,表示系统已经默认支持inotify,接着就可以开始安装inotify-tools了。
可以到
http://inotify-tools.sourceforge.net/下载相应的inotify-tools版本,然后开始编译安装:
[root@localhost  ~]# tar zxvf inotify-tools-3.14.tar.gz 
root@localhost  ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure
[root@localhost inotify-tools-3.14]# make
[root@localhost inotify-tools-3.14]# make install
[root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa*
-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait
-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch
inotify-tools
安装完成后,会生成inotifywait和inotifywatch两个指令,其中,inotifywait用于等待文件或文件集上的一个特定事件,它可以监控任何文件和目录设置,并且可以递归地监控整个目录树。
inotifywatch用于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息。

inotify相关参数
inotify定义了下列的接口参数,可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数,因此,可以根据应用需求,实时的调节其大小。下面分别做简单介绍。
   /proc/sys/fs/inotify/max_queued_evnets     
       表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。
    /proc/sys/fs/inotify/max_user_instances
        表示每一个realuser ID可创建的inotify instatnces的数量上限。
    /proc/sys/fs/inotify/max_user_watches
        表示每个inotifyinstatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小,例如:
echo 30000000 > /proc/sys/fs/inotify/max_user_watches

inotifywait相关参数
Inotifywait是一个监控等待事件,可以配合shell脚本使用它,下面介绍一下常用的一些参数:
 -m, 即--monitor,表示始终保持事件监听状态。
 -r, 即--recursive,表示递归查询目录。
 -q, 即--quiet,表示打印出监控事件。
 -e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等。
更详细的请参看man  inotifywait。