全网定时备份实践 crond + rsync (定时)
验证是否成功 1.打个标记 touch flag 2.md5sum 全网做识别
#######脚本开始##############
cd /
NAME=`hostname`
IP=`ifconfig eth1 | awk -F " " 'NR==2{print $2}'` 取IP
tar cvzhf $IP_$NAME_file test1 test2 test3 &&\
rsync avz $IP_$NAME_file rsync_backup@172.16.1.5::backup &&\
md5sum file >> $IP_$NAME_flag`date -I` 创建FLAG文件内容为md5sum &&\
rsync avz $IP_$NAME_flag`date -I` rsync_backup@172.16.1.5::backup
######脚本结束##############
服务端可用 $IP_$NAME_flag`date -I` 这个文件名做验证
全网实时备份实践
需要 rsyncd daemon 的架构,
当发现本地发生文件变化,rsync 推送到 backup 服务器
inotify sersync lrsyncd (这种软件很多) 原理监控磁盘变化
inotify-tools 异步文件系统监控 /proc/sys/fs/inotify 三个配置文件 根据实际情况 调整下面三个文件 max_queued_events 最大事件队列数 max_user_instances 最大实体数 每个用户可运行命令的数量 max_user_watches 最大监控数
yum install -y inotify
包含下面两个命令
inotifywait
inotifywatch
inotifywait -mrq --timefmt '%d/%m/%y/%H:%M' --format '%T%w%f' -e modify,create,delete /nfsdata``
-m monitor 不加 只监视一次
-r 递归 不加只监视当前一层目录
-q quiet模式,不加输出信息多
--timefmt '%y %m %d %H %M' 指定时间格式 '' "" 目前测试效果一样
年 月 日 时 分
--format '%T%w%f' 输出监控结果的格式 stand output/stand error
%T 代表使用--timefmt格式,不加则没有日期
%w 显示目录 不加为event号
%f 显示文件名 不加为空
-e 指定监控的动作 create delete modify attrib
close_write(改) open moved_to moved_from
move umount 等 具体man
/nfsdata /var/log/lastlog 监控的目录或文件
inotifywait 触发rsync推送
#############################脚本开始
#!/bin/bash
Path=/nfsdata
Ip=10.3.3.3
inotifywait -mr --timefmt '%Y/%m/%d %H:%M ' --format '%T%w%f' -e modify,close_write $Path/ \
|while read line
###这里使用重定向，将文件内容输入到while命令，while命令每次使用read从输入中读取一行数据。 用 line file 都可以
do
cd /nfsdata
rsync -avz $Path/ --delete rsync_backup@$10.3.3.3::backup --password-file=/etc/rsync.pp
done
################################脚本结束
inotify 优点:监控文件系统事件变化,通过同步工具实现实时数据同步 缺点:并发大于200个 (100K),并发会有延迟.单线程加& 并发. 多进程用 sersync
高并发数据同步方案 1.inotify rsync 文件级别 效率最低 2.drbd 文件系统级别 基于block 缺点:备节点数据不可用 3.第三方同步软件 mysql oracle mongodb 4.程序双写,直接写两台服务器 5.业务逻辑解决 读写分离 6.NFS集群(双写主存储,备存储用 inotify(sersync) +rsync 备没有找主解决延迟问题 备与前端服务器 做inotify(sersync) +rsync
