1.Inotify
Inotify,它是一个内核用于通知用户空间程序文件系统变化的机制。众所周知,Linux 桌面系统与 MAC 或 Windows 相比有许多不如人意的地方,为了改善这种状况,开源社区提出用户态需要内核提供一些机制,以便用户态能够及时地得知内核或底层硬件设备发生了什么,从而能够更好地管理设备,给用户提供更好的服务,如hotplug、udev 和 inotify 就是这种需求催生的。Hotplug 是一种内核向用户态应用通报关于热插拔设备一些事件发生的机制,桌面系统能够利用它对设备进行有效的管理,udev 动态地维护 /dev 下的设备文件,inotify 是一种文件系统的变化通知机制,如文件增加、删除等事件可以立刻让用户态得知,该机制是著名的桌面搜索引擎项目 beagle 引入的,并在 Gamin 等项目中被应用。
2.rsync
rsync其实就是remote rsync,它是一个远程同步工具,兼具cp和scp的功能,rsync命令的使用几乎和scp是一样一样的。rsync是通过超级守护进程xinetd进行触发同步的。
1)优点:与cp和scp相比来说,rsync更快,更安全,支持增量备份。rsync在数据同步的过程中,不像cp一样全部都拷贝,而是先去比对特征码,只有不一样的才会去拷贝,如果一样了,就不需再做多余操作。通过使用rsync+crontab可以解决对实时性要求不是太高的场景。
2)缺点:在这个大数据年代,如果你的数据量非常大,你每做一次任务计划,rsync都会先去遍历目标目录,把所有数据做一次特征码比对,然后进行差量传输,这个过程会是很漫长的,对于那些要求实时性更新比较高的企业来说,无疑是一场噩梦。但是如果能够出现一个工具能够实时的去监控我们的文件系统,只有在数据改变时才会触发它去同步,那该有多好啊!为了满足广大需求者的心声rsync+inotify组合就出现了
3.rsync+inotify 之推荐理由
1)服务器性能:rsync+crontab会定时去检查是否有文件更新,这势必会造成服务器性能下降;而rsync+inotify组合是触发式更新,只有在数据文件有变化时,才会去更新,因此相对前者而言,是提高了服务器性能
2)数据实时性:rsync+crontab是周期性任务计划,不能保证数据的实时性;rsync+inotify组合是触发式更新,只要有数据变化,就立刻同步更新
4.系统平台环境
1、操作系统:CentOS6.4-X86_64
2、rsync客户端(rsync+inotify):172.16.150.150
3、rsync服务端:172.16.251.93,172.16.251.194
实验拓扑
4.配置rsync服务端(172.16.251.93、172.16.251.194)
配置rsync服务端:172.16.251.93
1)检查系统是否已经安装rsync和xinetd超级守护进程,CentOS6.4默认已经安装rsync,但未安装xinetd
[root@nmshuishui www]# rpm -qa | grep rsync
rsync-3.0.6-9.el6.x86_64
[root@nmshuishui www]#yum -y install xinetd rsync
2)为rsync服务提供配置文件
vim /etc/rsyncd.conf
01.#Global Settings 全局配置
02.uid = nobody #运行rsync的用户
03.gid = nobody #运行rsync的用户组
04.use chroot = no #是否让进程离开工作目录
05.max connections = 5 #最大并发连接数,0为不限制
06.timeout = 600 #超时时间
07.pid file = /var/run/rsyncd.pid #指定rsync的pid存放路径
08.lockfile = /var/run/rsyncd.lock #指定rsync的锁文件存放路径
09.log file = /var/log/rsyncd.log #指定rsync的日志存放路径
10.#模块配置
11.[web1]
12.path = /var/www #认证的模块名,在client端需要指定
13.ignore errors = yes #忽略一些无关的I/O错误
14.read only = no #客户端是否能拉(PULL)
15.write only = no #客户端是否能推(PUSH)
16.hosts allow = 172.16.150.150 #白名单,可以访问此模块的主机
17.hosts deny = * #黑名单,*表示任何主机
18.list = yes #客户端请求是否可以列出模块列表
19.uid = root #以root的身份去获取文件
20.gid = root
21.auth users = web #认证此模块的用户名
22.secrets file = /etc/web.passwd #指定存放“用户名:密码”格式的文
3)创建同步目录
[root@nmshuishui ~]# mkdir /var/www
4)配置rsync认证文件/etc/web.passwd
[root@nmshuishui ~]# echo "web:web" > /etc/web.passwd
[root@nmshuishui ~]# cat /etc/web.passwd
web:web
5)修改/etc/web.passwd的权限为600
[root@nmshuishui ~]# chmod 600 /etc/web.passwd
[root@nmshuishui ~]# ll /etc/web.passwd
-rw------- 1 root root 10 Mar 27 22:31 /etc/web.passwd
6)配置服务能够启动
[root@nmshuishui ~]# chkconfig rsync on
[root@nmshuishui ~]# service xinetd start
Starting xinetd: [ OK ]
配置rsync服务端:172.16.251.194
步骤同上
1)检查系统是否已经安装rsync和xinetd超级守护进程
2)为rsync服务提供配置文件
vim /etc/rsyncd.conf
01.#Global Settings
02.uid = nobody
03.gid = nobody
04.use chroot = no
05.max connections = 5
06.timeout = 600
07.pid file = /var/run/rsyncd.pid
08.lockfile = /var/run/rsyncd.lock
09.log file = /var/log/rsyncd.log
10.[web2]
11.path = /var/www
12.ignore errors = yes
13.read only = no
14.write only = no
15.hosts allow = 172.16.150.150
16.hosts deny = *
17.list = yes
18.uid = root
19.gid = root
20.auth users = web
21.secrets file = /etc/web.passwd
3)创建同步目录
[root@shuishui www]# mkdir /var/www
4)配置rsync认证文件/etc/web.passwd
[root@shuishui www]# echo "web:web" > /etc/web.passwd
[root@shuishui www]# cat /etc/web.passwd
web:web
5)修改/etc/web.passwd的权限为600
[root@shuishui www]# chmod 600 /etc/web.passwd
[root@shuishui www]# ll /etc/web.passwd
-rw------- 1 root root 10 Mar 29 15:21 /etc/web.passwd
6)配置服务能够启动
[root@nmshuishui ~]# chkconfig rsync on
[root@nmshuishui ~]# service xinetd start
Starting xinetd: [ OK ]
配置rsync客户端(172.16.150.150)
1、设置 rsync 客户端的密码文件,客户端只需要设置 rsync 同步的密码即可,不用设置用户名(默认已经安装了rsync)
[root@shuishui www]# echo web > /etc/web.passwd
[root@shuishui www]# cat /etc/web.passwd
web
2、修改/etc/rsyncd.passwd的权限为600
[root@shuishui www]# chmod 600 /etc/web.passwd
[root@shuishui www]# ll /etc/web.passwd
-rw------- 1 root root 10 Mar 26 21:28 /etc/web.passwd
3、安装inotify-tools
[root@shuishui www]# tar xf inotify-tools-3.13.tar.gz
[root@shuishui www]# cd inotify-tools-3.13
[root@shuishui www]# ./configure
[root@shuishui www]# make && make install
编写rsync脚本,实现数据实时同步
1、在rsync客户端(172.16.150.150)编写rsync脚本
vim /var/www/rsync.sh
01.#!/bin/bash
02.src=/var/www/
03.des1=web1
04.des2=web2
05.host1=172.16.251.93
06.host2=172.16.251.194
07.user1=web
08.user2=web
09./usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w %f' -e modify,delete,create,attrib $src | while read file DATE TIME DIR;
10.do
11./usr/bin/rsync -vzrtopg --delete --progress $src $user1@$host1::$des1 --password-file=/etc/web.passwd
12./usr/bin/rsync -vzrtopg --delete --progress $src $user2@$host2::$des2 --password-file=/etc/web.passwd
13.echo "${files} was rsynced" >> /var/log/rsync.log 2>&1
14.done
2、给rsync.sh执行权限
[root@shuishui www]# chmod +x rsync.sh
[root@shuishui www]# ll rsync.sh
-rwxr-xr-x 1 root root 523 Mar 27 00:46 rsync.sh
3、把脚本加入到开机自动启动文件
[root@shuishui www]# echo "/var/www/rsync.sh &" >> /etc/rc.local