rsync同步


文章目录

  • rsync同步
  • 一、rsync同步的认识
  • 【1】应用场景
  • 【2】三种工作模式
  • 【3】常用的选项
  • 二、rsync同步的配置
  • 【1】手动同步之主服务配置
  • (1)修改配置文件信息
  • (2)编写密码文件
  • (3)启动rsync
  • (4)编写web站点文件
  • 【2】手动同步之从服务器同步配置
  • 【3】inotify+rsync自动同步在发起端配置
  • (1)设置监控事件【后面脚本做铺垫】
  • (2)安装inotify-tools辅助工具
  • (3)测试inotify辅助工具是否正常
  • (4)rsync+inotify实时同步
  • (5)验证
  • 三、故障及解决方案
  • 【问题一】编译安装inotify-tools工具时出现编译错误
  • 【解决方案】安装C编译器:
  • 【问题二】执行脚本之后没有效果
  • 【解决方案】关闭发起端的rsync进程


一、rsync同步的认识

【1】应用场景

rsync是可以实现增量备份的工具。配合任务计划,rsync能实现定时或间隔同步,配合inotify或sersync,可以实现触发式的实时同步。

【2】三种工作模式

本地文件系统上实现同步:

rsync -auv /opt/rsync/ /opt/local/

本地主机使用远程shell和远程主机通信(scp方式)

rsync -auv /opt/rsync/ root@192.168.1.101:/opt/test

本地主机通过网络套接字连接远程主机上的rsync daemon

rsync -auv /opt/rsync test@192.168.1.101::test

说明:
1.前面的命令为源目录,后者为目的地目录。表示以源目录为基准,把源目录文件同步到目的目录。
2.如果多余2个路径,那么最后一个路径为目标路径,前面都是源目录,表示把所有源目录下文件都同步到目标路径
3.源目录如果不带后缀“/”表示在目标目录下创建该目录并把源目录下文件一并同步过去,带“/”表示只是把源目录下的文件全部同步过去。
4.关于第三种模式,server端可以单独以一个进程方式启动,也可以通过xinetd方式启动,两者都是监听873端口,第三种模式可以指定要对外开放的目录,并对目录上传/下载权限控制对client端通过ip 限制,可以设置密码等等。相比于xinetd 独立进程模式处理请求能力更大,而xinetd 更轻量。

【3】常用的选项
-n 仅测试传输,而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-auv (一般常用此3个参数同步)
  -v:显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息
  -a --archive :归档模式,表示递归传输并保持文件属性。等同于"-rtopgDl"。
  -u --update :仅在源mtime比目标已存在文件的mtime新时才拷贝。注意,该选项是接收端判断的,
               不会影响删除行为
--exclude 排除某个目录/文件 rsync -r -v --exclude="anaconda/*.log" /var/log/anaconda /var/log/audit /tmp
--delete 使用"--delete"选项后,接收端的rsync会先删除目标目录下已经存在,但源端目录不存在的文件。
         也就是"多则删之,少则补之"。
注:如果将"--delete"选项和"--exclude"选项一起使用,则被排除的文件不会被删除

二、rsync同步的配置

【1】手动同步之主服务配置
yum install -y httpd
yum install -y rsync
(1)修改配置文件信息
vim /etc/rsyncd.conf 
uid = nobody
gid = nobody
use chroot = yes
port 873
# max connections = 4
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.60.0/24

[wwwroot]
path = /var/www/html
comment = www.test.com
read only = yes
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
auth users = backuper
secrets file = /etc/rsyncd_users.db
(2)编写密码文件
vim /etc/rsyncd_users.db
  backuper:123123

chmod 600 /etc/rsyncd_users.db
(3)启动rsync
rsync --daemon               //启动rsync同步服务
netstat -natp | grep rsync               //查看端口状态
pkill rsync              //结束进程
(4)编写web站点文件
cd /var/www/html
vim index.html
   this is shoudong web
【2】手动同步之从服务器同步配置
//手动同步方法一
rsync -avz backuper@192.168.60.10::wwwroot /var/www/html    
 //手动同步方法二
rsync -avz rsync://backuper@192.168.60.10/wwwroot /var/www/html   
//免密码登录手动同步方法三
vim /opt/server.pass
  123123                  
chmod 600 /opt/server.pass 
rsync -zva --delete --password-file=/opt/server.pass backuper@192.168.60.10::wwwroot /var/www/html
【3】inotify+rsync自动同步在发起端配置
(1)设置监控事件【后面脚本做铺垫】
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384     //监控事件队列大小
fs.inotify.max_user_instances = 1024        //监控最大实例数
fs.inotify.max_user_watches = 1048576   //每个实例数最多监控文件数,监控数应大于监控的总文件数
sysctl -p
(2)安装inotify-tools辅助工具
yum install -y gcc gcc-c++
tar zxvf inotify-tools-3.14.tar.gz
cd /opt/inotify-tools-3.14
./configure
make && make install
(3)测试inotify辅助工具是否正常

inotifywait用于持续监控,实时输出结果
inotifywatch用于短期监控,任务完成后在输出结果
-m 持续进行监控
-r 递归监控所有子对象
-q 简化输出信息
-e 指定要监控那些事件类型

inotifywait -mrq -e modify,create,move,delete /var/www/html

另外在开启一个新的终端

rsync不用手动输密码 rsync 密码自动输入_rsync不用手动输密码


rsync不用手动输密码 rsync 密码自动输入_运维_02

(4)rsync+inotify实时同步

//在服务端设置

vim /etc/rsyncd.conf
read only = no
chmod 777 /var/www/html

//在发起端设置

chmod 777 /var/www/html
vim /opt/inotify_rsync.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,move,delete /var/www/html"
RSYNC_CMD="rsync -avz --delete --password-file=/opt/server.pass backuper@192.168.60.10::wwwroot /var/www/html"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
  if [ $(pgrep rsync |wc -l) -le 0 ];then
    $RSYNC_CMD
  fi
done

sh inotify.sh
(5)验证

在发起端创建比写入内容

[root@promote html]# echo “this is abc web” >> abc.html

查看监听脚本是否正常【下面的error无所谓】

rsync不用手动输密码 rsync 密码自动输入_html_03


在服务端查看是否同步

rsync不用手动输密码 rsync 密码自动输入_vim_04

三、故障及解决方案

【问题一】编译安装inotify-tools工具时出现编译错误

rsync不用手动输密码 rsync 密码自动输入_html_05


分析:configure: error: no acceptable C compiler found in $PATH错误主要是没有C编译器.

【解决方案】安装C编译器:
[root@localhost ~]# yum -y install gcc gcc-c++
【问题二】执行脚本之后没有效果

rsync不用手动输密码 rsync 密码自动输入_vim_06


rsync不用手动输密码 rsync 密码自动输入_linux_07


分析:出现这个结果说明此脚本信息没有执行,问题出现在脚本中的内容,经过分析脚本的执行在于if条件语句,而最关键的是pgrep rsync | wc -l 。

rsync不用手动输密码 rsync 密码自动输入_rsync不用手动输密码_08


执行pgrep rsync | wc -l 查看,大于0,所有有rsync进程存在。

rsync不用手动输密码 rsync 密码自动输入_linux_09

【解决方案】关闭发起端的rsync进程
[root@localhost opt]# pkill rsync
[root@localhost opt]# netstat -natp | grep rsync