通过rsync+inotify实现数据的实时备份

精选转载

niming2008 2014-06-13 13:18:13 博主文章分类：自动化运维

通过rsync+inotify实现数据的实时备份

说明：有参考网上其他ITer的内容。

在前面的博文中，我讲到过利用rsync实现数据的镜像和备份，但是要实现数据的实时备份，单独靠rsync就不现实了,使用rsync只能同过定制计划任务,让系统在规定的时间点启动rsync命令实现备份,及时性比较差。

一、rsync的优点与不足
与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！

二、初识inotify
Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

通过rsync+inotify实现数据的实时备份_rsync

(以上是网上找的)

三、安装inotify-tools

安装前要先调整inotify的参数(借用原来授课时用的一张PPT):

通过rsync+inotify实现数据的实时备份_inotify_02

安装inotify-tools辅助工具

[root@dns-server ~]# cd /srv/

[root@dns-server~]# tar zxvf inotify-tools-3.14.tar.gz
[root@dns-server ~]# cdinotify-tools-3.14
[root@dns-server inotify-tools-3.14]# ./configure
[root@dns-server inotify-tools-3.14]# make安装
[root@dns-server inotify-tools-3.14]# make install
[root@dns-server bin]# cd /usr/local/bin/

[root@dns-server bin]# ll inotifywa*

-rwxr-xr-x 1 root root 44271 Jun 10 22:30inotifywait

-rwxr-xr-x 1 root root 41361 Jun 10 22:30inotifywatch

inotifywait：用于持续监控，实时输出结果 ,等待文件或文件集上的一个特定事件，它可以监控任何文件和目录设置，并且可以递归地监控整个目录树。

inotifywatch：用于短期监控，任务完成后再出结果,收集被监控的文件系统统计数据，包括每个inotify事件发生多少次等信息。

四、 inotify相关参数
inotify定义了下列的接口参数，可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小。下面分别做简单介绍。
   /proc/sys/fs/inotify/max_queued_evnets
       表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。
    /proc/sys/fs/inotify/max_user_instances
        表示每一个realuser ID可创建的inotify instatnces的数量上限。
    /proc/sys/fs/inotify/max_user_watches
        表示每个inotifyinstatnces可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小，例如：
echo 30000000 > /proc/sys/fs/inotify/max_user_watches

五、 inotifywait相关参数
Inotifywait是一个监控等待事件，可以配合shell脚本使用它，下面介绍一下常用的一些参数：
-m，即--monitor，表示始终保持事件监听状态。
-r，即--recursive，表示递归查询目录。
-q，即--quiet，表示打印出监控事件。
-e，即--event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等。

所有的服务器都采用RHEL6.5X64的系统，节点信息如下：

通过rsync+inotify实现数据的实时备份_inotify_03

安装rsync与inotify-tools
inotify-tools是用来监控文件系统变化的工具，因此必须安装在内容发布服务器，网站节点无需安装inotify-tools，另外需要在webserver1、webserver2、inotifywebserver节点上安装rsync，使用系统只带的rsync。
在这个案例中，内容发布服务器（即inotifywebserver）充当了rsync客户端的角色，而三个服务节点充当了rsync服务器端的角色，整个数据同步的过程，其实就是一个从客户端向服务端推送数据的过程。这点与一般的我们讲述的案例刚好相反。

在两个服务节点配置rsync
这里给出两个服务节点的rsync配置文件，以供参考，读者可根据实际情况自行修改。
Webserver1节点rsyncd.conf配置如下：

通过rsync+inotify实现数据的实时备份_inotify_04