从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。
从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。
配置文件主要内容如下:
uid = root gid = root port = 873 max connections = 200 timeout = 600 pid file = /var/run/rsyncd.pid log file = /var/log/rsync.log lockfile = /var/run/rsyncd.lock motd file = /etc/rsyncd/rsyncd.moth log format = %t %a %m %f %b syslog facility = local3 host allow = 10.34.38.130 host deny = * [test] path = /home/rsync ignore errors = yes list = no ignore errors read only = no auth users = root host allow = 10.34.38.130 secrets file = /etc/rsyncd/rsyncd.secrets
启动rsync服务:
rsync --daemon 以守护进程的方式启动rsync服务
--address 绑定指定IP地址提供服务
--config=xxx 指定配置文件路径
--port= 897 指定端口,而非默认端口时使用
rsync参数:
-a 以archive模式操作、复制目录、符号连接 相当于 -rlptgoD
-r 是递归
-l 是链接文件,意思是拷贝链接文件
-p 保持文件原有权限
-t 保持文件原有时间
-g 保持文件原有用户组
-o 保持文件原有属主
-D 相当于块设备文件
-z 传输时压缩
-P 传输进度
-V 传输时的进度等消息,和-P点关系
-e ssh的参数建立起加密的连接
-u 只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时
--progress 是指显示出详细的进度情况
--delete 是指如果服务器端删除了这一文件,那么客户端也相应把文件删除,保持真正的一致
--password-file=/password/path/file 指定密码文件,这样就可以在脚本中使用而无需交互式地输入验证密码了,这里需要注意的是这份密码文件权限属性要设得只有属主可读
--exclude 上传时不包括某文件时使用
密码文件的权限设置 为600 即 chmod 600 /etc/xxx/password
打包:
tar -zcvf html_$(date +%F).tar.gz ./html/
推送:
rsync -avzp html_2015-01-03.tar.gz root@10.34.38.128::test --password-file=/etc/rsync/rsync.password 后面为密码存放的文件目录
find /xxx -type f -name "*.gz" -mtime +7 | xargs rm -f
rsync -avzP --delete a/ b/ 将a下的内容复制到b下,同时删除b中原来的文件内容
rsync -avzP --delete b/ root@10.34.38.128::test --password-file=/etc/rsync/rsync.password 将本地a中内容同步到rsync服务端,同步a中的内容,如果服务端中有其他内容也一并删除掉
Inotify工具
Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统 中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样 的一个第三方软件。
在上面章节中,我们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题
inotifywait相关参数:
Inotifywait是一个监控等待事件,可以配合shell脚本使用它,下面介绍一下常用的一些参数:
-m, 即--monitor,表示始终保持事件监听状态
-r, 即--recursive,表示递归查询目录
-q, 即--quiet,表示打印出监控事件
-e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等
--timefmt:指定时间的输出格式
--format:指定变化文件的详细信息
这两个参数一般配合使用,通过指定输出格式,输出类似与:
15/04/10 00:29 /web/www/xxxx.shDELETE,ISDIR was rsynced
15/04/10 00:30 /web/www/index.htmlMODIFY was rsynced
相应的脚本为:
#!/bin/bash src=/root/rsync/ des1=test host=10.34.38.128 user=root /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib $src|while read files do /usr/bin/rsync -avzP --delete $src $user@$host::$des1 --password-file=/etc/rsync/rsync.password echo "${files} was rsynced" >>/var/log/rsync2.log 2>&1 done ###########################################################
这个脚本的作用就是通过inotify监控文件目录的变化,进而触发rsync进行同步操作,由于这个过程是一种主动触发操作,通过系统内核完成的,所以,比起那些遍历整个目录的扫描方式,效率要高很多。
有时会遇到这样的情况:向inotify监控的目录(这里是/root/rsync)写入一个很大文件时,由于写入这个大文件需要一段时间,此时 inotify就会持续不停的输出该文件被更新的信息, 这样就会持续不停的触发rsync去执行同步操作,占用了大量系统资源,那么针对这种情况,最理想的做法是等待文件写完后再去触发rsync同步。 在这种情况下,可以修改inotify的监控事件,即:“-e close_write,delete,create,attrib”。
将此脚本/etc/rsync/inotify.sh加入系统自启动文件中
chmod +x inotify.sh
echo “/etc/rsync/inotify.sh &”>>/etc/rc.local
至此,即可测试同步是否成功了!!
文章参考过:http://ixdba.blog.51cto.com/2895551/580280