rsybc+inotify 企业案例
环境的描述:
将一台mongod上面的数据实时同步到远端的一台主机
服务器地址分配:
备份端172.16.1.88(rsync server)
备份源172.16.1.89(rsync client inotify mongod)
同步的目录是/var/lib/mongo/,自动同步的顺序172.16.1.89---172.16.1.88,我们配置rsync的服务器即可。
一、配置rsync服务端172.16.1.88
1.先使用rpm -qa命令查看系统中是否已经安装了rsync软件包。
[root@liuran ~]# rpm -qa | grep rsync
rsync-3.0.6-5.el6_0.1.x86_64
2.rsync安装好之后没有主机的配置文件,因此我们需要手动创建rsync的配置
[root@liuran ~]# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 20
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[web_log]
path = /data/web_log/
ignore errors
read only = false
list = false
hosts allow = 172.16.1.89
auth users = backuser
secrets file = /etc/rsync.password
3.建立rsync用户名和密码文件
[root@liuran ~]# echo "backuser:123" >/etc/rsync.password
4.为/etc/rsync.password授权为600(这个文件)
[root@liuran ~]# chomo -R 600 /etc/rsync.password
到此,服务器端配置完成。
二、客户端配置
1,设置rsync客户端密码文件,客户端只需要设置rsync同步密码即可,不用重设用户名
2.将密码文件的权限设置成600(这个文件权限必须是600)
[root@asdasda ~]# chmod  -R 600 /etc/rsync.password
配置Inotify(在mongod配置)
[root@asdasda ~]# tar zxf inotify-tools-3.14.tar.gz
[root@asdasda ~]# cd inotify-tools-3.14
[root@asdasda inotify-tools-3.14]# ./configure && make && make install
2.为了保证/var/lib/mongod目录自动同步,配置好mongod的inotify后,写一个inotify脚本。
[root@asdasda ~]# cat a.sh
#!/bin/bash
src=/var/lib/mongo/
des=web_log
ip=172.16.1.88
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format  '%T %w%f' -e modify,delete,create,attrib ${src} \
| while read  file
do
rsync -vzrtopg --delete --progress $src backuser@172.16.1.88::$des --password-file=/etc/rsync.password > /dev/null 2>&1 && echo "$src was rsynced"
done

这个脚本的作用就是通过Inotify监控文件目录的变化,进而触发rsync进行同步操作。由于这个过程是一种主动触发操作,是通过系统内核完成的,所以,比起那些遍历整个目录的扫描方式来,效率要高很多。

然后我们将此脚本放入后台运行,输入如下命令即可:

sh /root/rsync.sh&

接下来我们在mongod上面测试,插入数据,看是否实时的同步数据文件到172.16.1.88上面

编写插入数据脚本


[root@asdasda mongo]# cat /root/b.sh

#!/bin/bash

for i in {1..2000}

do

mongo<<EOF

use testmongodb2000;

db.mongodb$i.save({name:'liufsfsf',age:1})

db.mongodb$i.save({name:'liufsf',age:2})

db.mongodb$i.save({name:'liufsfsfsd',age:3})

db.mongodb$i.save({name:'liufsffs',age:4})

db.mongodb$i.save({name:'liusfsfs',age:5})

exit;

EOF

done

执行脚本。

进入mongod存放数据的目录下

[root@asdasda mongo]# ll

total 475628

drwxr-xr-x 2 mongod mongod      4096 Aug 26 13:51 journal

-rwxr-xr-x 1 mongod mongod         6 Aug 26 13:50 mongod.lock

-rw------- 1 mongod mongod  67108864 Aug 26 13:56 testmongodb2000.0

-rw------- 1 mongod mongod 134217728 Aug 26 13:56 testmongodb2000.1

-rw------- 1 mongod mongod 268435456 Aug 26 13:54 testmongodb2000.2

-rw------- 1 mongod mongod  16777216 Aug 26 13:56 testmongodb2000.ns

drwxr-xr-x 2 mongod mongod      4096 Aug 26 13:56 _tmp

172.16.1.88

进入指定备份目录


[root@liuran web_log]# ll

total 213224

drwxr-xr-x 2 mongod mongod      4096 Aug 26 13:51 journal

-rwxr-xr-x 1 mongod mongod         6 Aug 26 13:50 mongod.lock

-rw------- 1 mongod mongod  67108864 Aug 26 13:56 testmongodb2000.0

-rw------- 1 mongod mongod 134217728 Aug 26 13:56 testmongodb2000.1

-rw------- 1 mongod mongod  16777216 Aug 26 13:54 testmongodb2000.ns

drwxr-xr-x 2 mongod mongod      4096 Aug 26 13:56 _tmp

表示已经同步过来。