一、为什么要用rsync+sersync架构?
1、sersync是基于inotify开发的,类似于inotify-tools的工具。
2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用 rsync同步的时候,只同步发生变化的文件或者目录。
二、rsync+inotify-tools与rsync+sersync架构的区别?
1、rsync+inotify-tools
a、inotify只能记录下被监听的目录发生了变化(增,删,改)并没有把具体是哪个文件或者哪个目录发生了变化记录下来;
b、rsync在同步的时候,并不知道具体是哪个文件或目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此效率很低。
2、rsync+sersync
a、sersync可以记录被监听目录中发生变化的(增,删,改)具体某个文件或目录的名字;
b、rsync在同步时,只同步发生变化的文件或目录(每次发生变化的数据相对整个同步目录数据来说很小,rsync在遍历查找对比文件时,速度很快),因此效率很高。
三、准备两台机器
1、rsync服务器(备份端,目标机器) IP:192.168.1.100
sersync服务器(数据源,源机器) IP:192.168.1.200
2、yum install rsync -y #对两台机器安装rsync
四、配置服务器上的rsync
1、编辑配置文件rsyncd.conf
[root@backup /] vi /etc/rsyncd.conf #如果原来有此文件,先进行备份
uid = rsync
#设置rsync运行权限为rsync
gid = rsync
#设置rsync运行权限为rsync
use chroot = no
#默认为true,修改为no,增加对目录文件软连接的备份
max connections = 200 #最大连接数
timeout = 300
#设置超时时间
pid file = /var/run/rsyncd.pid
#pid文件的存放位置
lock file = /var/run/rsyncd.lock
#支持max connections参数的锁文件
log file = /var/log/rsyncd.log
#日志文件位置,启动rsync后自动产生这个文件,无需提前创建
read only = false
#设置rsync服务端文件为读写权限
list = false
#不显示rsync服务端资源列表
hosts allow = 192.168.1.0/24
#允许进行数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开
hosts deny = 0.0.0.0/32
#禁止数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开
auth users = rsyncbak
#执行数据同步的用户名,可以设置多个,用英文状态下逗号隔开
secrets file = /etc/rsync.password
#用户认证配置文件,里面保存用户名称和密码,后面会创建这个文件
[backup]
comment = backup
path = /backup/
2、添加用户及数据目录
[root@os etc]# useradd -s /no/login -M rsync
[root@os etc]# id rsync
uid=1008(rsync) gid=1008(rsync) groups=1008(rsync)
[root@os /]# mkdir /backup
[root@os /]# chown -R rsync.rsync /backup
3、创建远程验证用户
[root@os /]# vi /etc/rsync.password
rsyncbak:123abc#
4、启动服务
[root@os /]# systemctl start rsyncd
[root@os /]# systemctl enable rsyncd
[root@os /]# netstat -lntup | grep rsync
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 116393/rsync
tcp6 0 0 :::873 :::* LISTEN 116393/rsync
五、搭建sersync
1、在sersync服务器上安装sersync
[root@os ~]# cd /usr/local/src
[root@os src]# wget http://down.whsir.com/downloads/sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@os src]# tar xzvf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@os src]# cd GNU-Linux-x86/
[root@os GNU-Linux-x86]# cp confxml.xml{,.ori}
2、配置sersync
[root@os GNU-Linux-x86]# cat confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="false"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="false"/>
<modify start="false"/>
</inotify>
<sersync>
<localpath watch="/data">
<remote ip="192.168.1.100" name="backup"/> #远程目标IP和模块,多个实例一样,换行更换IP和模块名即可
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
#认证部分
<rsync>
<commonParams params="-artuz"/>
<auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
#修改同步失败日志位置,并且每60分钟对失败的log进行重新同步
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
3、创建本地目录用来测试数据并启动服务
[root@os GNU-Linux-x86]# mkdir /data
[root@os GNU-Linux-x86]# ./sersync2 -d
[root@os GNU-Linux-x86]# ps aux |grep sersync2 #检查
root 1336 0.0 0.1 92324 780 ? Ssl 04:09 0:00 ./sersync2 -d
root 1353 0.0 0.1 92324 748 ? Ssl 04:11 0:00 ./sersync2 -d
root 1508 0.0 0.2 112660 972 pts/0 R+ 09:49 0:00 grep --color=auto sersync2
[root@os~]# touch /etc/rsync.password #创建认证密码
123abc#
[root@os~]# chmod 600 /etc/rsync.password
六、测试搭建的rsync
确保两台服务器上测试目录一样
[root@os~]# ll /data
total 0
[root@localhost ~]# ll /backup
total 0
创建测试数据
[root@os~]# touch /data/1.txt
[root@os~]# echo "123" > /data/1.txt
[root@os /]# rsync -avz /data/1.txt rsyncbak@192.168.1.100::backup --password-file=/etc/rsync.password
在rsync服务器上检查
[root@localhost ~]# ll /backup/
total 4
-rw------- 1 rsync rsync 4 Mar 1 13:43 1.txt
[root@localhost ~]# cat /backup/1.txt #检查结果成功
123
创建修改测试
[root@os /]# touch /data/2.txt
[root@os /]# echo "test" > /data/2.txt
[root@localhost ~]# ll /backup/ #检查结果成功
total 8
-rw------- 1 rsync rsync 4 Mar 1 13:43 1.txt
-rw------- 1 rsync rsync 5 Mar 1 14:02 2.txt
[root@localhost ~]# cat /backup/2.txt
test