rsync端配置

mkdir -p /data0/www/bbs/ /data0/www/www/ /data0/www/blog/

chown -R rsync.rsync /data0/

tree /data0


echo "rsync_backup:oldboy">/etc/rsync.password

chmod 600 /etc/rsync.password


rsync --daemon

ps -ef|grep rsync

lsof -i:873


echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local


重启命令

pkill rsync

rsync --daemon


sersync配置


配置rsync客户端权限认证

echo "oldboy" > /etc/rsync.password

chmod 600 /etc/rsync.password


mkdir -p /home/oldboy/tools

cd /home/oldboy/tools

wget http://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz

http://code.google.com/p/sersync/downloads/list


tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local

cd /usr/local

mv GNU-Linux-x86 sersync


cd sersync/

mkdir conf bin logs

mv confxml.xml conf/

mv sersync2 bin/sersync

tree


修改24-28行

修改31-34行，认证部分


配置sersync环境变量

echo 'export PATH=$PATH:/usr/local/sersync/bin' >>/etc/profile


启动命令

sersync -r -d -o /usr/local/sersync/conf/confxml.xml

r(初始化时保持同步) o(指定配置文件) d(后台启动)


只有对一个生效，所以配置多实例同步


sersync -r -d -o /usr/local/sersync/conf/www_confxml.xml

sersync -r -d -o /usr/local/sersync/conf/bbs_confxml.xml

sersync -r -d -o /usr/local/sersync/conf/blog_confxml.xml


/bin/cp /etc/rc.local /etc/rc.local_$(date +%F)

cat >>/etc/rc.local<<EOF

##########

sersync -d -o /usr/local/sersync/conf/www_confxml.xml

sersync -d -o /usr/local/sersync/conf/bbs_confxml.xml

sersync -d -o /usr/local/sersync/conf/blog_confxml.xml

EOF



sersync参数说明

./sersync -r r参数作用是在开始时时监控之前对主服务器目录与远程目标机目录进行一次整体同步

如果需要将sersync运行前，主服务器目录下已经存在的所有文件或目录全部同步到远端，

则要以-r参数运行sersync,将本地与远程整体同步一次。

特别说明：如果设置了过滤器，即在xml文件中，filter为true,则暂时不能使用-r参数进行整体同步

./sersync -o old.xml 不指定-o参数时，sersync会使用sersync可执行文件目录下的默认配置文件confxml.xml,

如果需要使用其他的配置文件，可以使用-o参数指定其他配置文件，通过-o参数，我们可以指定多个不同的配置

文件，从而实现sersync多进程多实例的数据同步。

./sersync -n num -n参数为指定默认的线程池的线程总数

例如：./sersync -n 5则指定线程总数为5，如果不指定，默认启动县城池数量是10，如果

cpu使用过高，可以通过这个参数调低，如果机器配置较高，可以用-n调高默认的线程总数，提升同步效率

./sersync -d -d参数为后端启动服务，在通常情况下，使用-r参数对本地到远程整体同步一遍后，在后台

运行此参数启动守护进程实时同步，在第一次整体同步时，-d和-r参数经常会联合使用./sersync -d -r

./sersync -m -m参数为不进行同步，只运行插件

             ./sersync -m pluginName

./sersync -n 8 -o oldboy.xml -r -d 多个参数可以配合使用

例如：./sersync -n 16 -o config.xml -r -d

表示设置线程池工作线程为16个，指定oldboy.xml为配置文件，在实时监控前做一次整体同步，以守护进程方式

在后台运行





sersync配置文件说明

XML配置文件说明：

xml配置文件注释不是“#”，而是<!--注释内容-->






<?xml version="1.0" encoding="ISO-8859-1"?>

<head version="2.5">

    <host hostip="localhost" port="8008"></host>

hostip与port是针对插件的保留字段，对于同步功能没有任何作用，保留默认即可

    <debug start="false"/>

设置为true,开启debug模式，会在sersync正在运行的控制台，打印inotify事件与rsync同步命令

生产环境不需要开启

    <fileSystem xfs="false"/>

XFS文件系统开关，对于xfs文件系统的用户，需要将这个选项开启，才能使sersync正常工作

    <filter start="false">

<exclude expression="(.*)\.svn"></exclude>

<exclude expression="(.*)\.gz"></exclude>

<exclude expression="^info/*"></exclude>

<exclude expression="^static/*"></exclude>

    </filter>

filter文件过滤功能，对于sersync监控的文件，会默认过滤系统的临时文件(以.开头，以~结尾)，

除了这些文件外，可以自定义其他需要过滤的文件。

将start设置为true后开启过滤功能，在exclude标签中，填写正则表达式，默认给出两个例子，

分别是过滤以“.gz”结尾的文件与过滤监控目录下的info路径（监控路径/info /*),

可以根据需要添加，但开启的时候，自己测试一下，正则表达式如果出现错误，控制台会有提示，

相比较使用rsync的exclude功能，被过滤的路径，不会加入监控，大大减少rsync同步的通讯量。

    <inotify>

<delete start="true"/>

<createFolder start="true"/>

<createFile start="false"/>

<closeWrite start="true"/>

<moveFrom start="true"/>

<moveTo start="true"/>

<attrib start="false"/

<modify start="false"/>

    </inotify>

inofity监控参数设定(优化)

对于intify监控参数可以进行设置，根据项目的特点优化sersync.

对于大多数应用，可以尝试把createFile(监控文件事件选项)设置为false来提高性能，

减少rsync通讯。因为拷贝文件到监控目录会产生create事件与close_write事件，

只监控文件拷贝结束时的事件close_write,同样可以实现文件完整同步。

注意：强将createFolder保持为true,如果将createFolder设为false,则不会对产生的目录进行监控，

该目录下的子文件与子目录也不会被监控。所以除非特殊需要，请开启，默认情况下对创建

文件(目录)事件与删除文件（目录）事件都进行监控，如果项目中不需要删除远程目标服务器

的文件（目录），则可以将delete参数设置为false,则不会对删除事件进行监控



    <sersync>

<localpath watch="/opt/tongbu">

        <remote ip="10.0.0.182" name="www"/>

        <remote ip="10.0.0.183" name="www"/>

</localpath>

文件监控与远程同步设置

/opt/tongbu目录为sersync主服务器本地待同步的目录，ip="xx",为从服务器的IP地址，

如果有多个从服务器，依次列出来即可。

name="tongbu",rsyncd.conf中的模块名，即中括号中的名称


<!-- ################################### -->


 <rsync>

     <commonParams params="-aruz"/>

     <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>

     <userDefinedPort start="false" port="874"/><!-- port=874 -->

     <timeout start="true" time="100"/><!-- timeout=100 -->

     <ssh start="false"/>

 </rsync>

rsync相关参数配置

在commonParams项，我们可以自定义rsync的同步参数，默认是-artuz,auth start="false"

设置为true的时候，使用rsync的认证模式传送，需要配置user与passwordfile(--password-file=

/etc/rsync.pas)来使用，userDefinedPort当远程同步目标服务器的rsync端口不是默认端口的时候

使用(-port=874).timeout设置rsync的timeout时间(--timeout=100),<ssh start="false"/>如果开启

表示ssh使用rsync -e ssh 的方式进行传输


 <failLog path="/usr/local/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->

失败日志脚本配置

如果文件同步传输失败，会重新发送，再次失败就会写入rsync_fail_loc.sh,然后每隔一段时间(timeToExecute

进行设置)执行该脚本再次重新传送，然后清空该脚本，可以通过path来设置日志路径。

<crontab start="false" schedule="600"><!--600mins-->

   <crontabfilter start="false">

<exclude expression="*.php"></exclude>

<exclude expression="info/*"></exclude>

   </crontabfilter>

</crontab>

crontab可以对监控路径与远程目标主机每隔一段时间进行一次整体同步，可能由于一些原因两次失败重传都

失败了，这个时候如果开启了crontab功能，还可以进一步保证各个服务器文件一致，

如果文件量比较大，crontab的时间间隔要设大一些，否则可能增加通讯开销，

schedule这个参数是设置crontab的时间间隔，默认是600分钟

如果开启了filter文件过滤功能，那么crontab整体同步也需要设置过滤，否则虽然实时同步的时候

文件被过滤了，但crontab整体同步的时候，如果不单独设置contabfilter,还会将需要过来的文件同步到远程

从服务器，crontab的过滤正则与filter过滤的不同，也给出了两个实例分别对应与过滤文件与目录，总之如果同时

开启了filter与crontab,则要开启crontab的crontabfilter,并按实例使其与filter的过滤一一对应。


<plugin start="false" name="command"/>

插件设置

当start="false"处设为true的时候，将文件同步到远程服务器后会调用name参数指定的插件。通过name参

数指定需要执行的插件。目前支持的有command refreshCDN socket http四种插件。其中，http插件目前

由于兼容性原因已去除，以后会重新加入。


以下模块(command refreshCDN http socket)可以单独使用(发生文件改变不同步只调用插件)，只需在命令

行下使用-m参数即可。如果需要作为插件与同步程序一起使用，见同步程序说明的插件配置。

    </sersync>


    <plugin name="command">

<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->

<filter start="false">

   <include expression="(.*)\.php"/>

   <include expression="(.*)\.sh"/>

</filter>

    </plugin>

当文件同步完成后，会调用command插件，如同步文件是test.php,则test.php文件在改动之后，

调用rsync同步到远程服务器后，调用command插件，执行

/bin/sh test.php suffix > /dev/null 2>&1

如果suffix设置了，则会放在inotify事件test.php之后，如果ignoreError为true,

则会添加>/dev/null 2>&1,当然还可以设置command的filter,当filter为true时，include可以

只对正则匹配到的文件调用command

    <plugin name="socket">

<localpath watch="/opt/tongbu">

   <deshost ip="192.168.138.20" port="8009"/>

</localpath>

    </plugin>

    <plugin name="refreshCDN">

<localpath watch="/data0/htdocs/cms.xoyo.com/site/">

   <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>

   <sendurl base="http://pic.xoyo.com/cms"/>

   <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/p_w_picpaths"/>

</localpath>

    </plugin>

</head>