镜像备份工具rsync
1. 概述
什么是rsync?
rsync 即 Remote Sync 是linux系统下的数据镜像备份工具。使用rsync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。
rsync有哪些特性?
可以镜像保存整个目录树和文件系统
可以很容易做到保持原来文件的权限、时间、软硬链接等等
无须特殊权限即可安装
快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽
安全:可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接
支持匿名传输,以方便进行网站镜像
rsync有哪些缺点?
rsync做数据同步时,需要扫描所有文件后进行对比,然后进行差量传输。如果文件很大,扫面文件是非常耗时的,而且发生变化的文件往往是很少一部分,因此rsync是非常低效的方式
rsync不能实时监测、同步数据,虽然它可以通过Linux守护进程的方式触发同步,但是两次触发动作一定会有时间差,可能导致服务器端和客户端数据出现不一致
rsync的使用场景
rsync适用于对小文件备份或实时同步,例如图片、配置文件等。
rsync可以解决对实时性要求不高的数据备份需求
定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像
2. rsync的认证协议
rsync 命令同步系统文件之前要先登录 remote 主机认证,认证过程中用到的协议有2种:
ssh协议
rsync协议
使用 rsync 命令,通过ssh认证协议来同步文件
rsync server 端不用启动 rsync 的 daemon 进程,只要获取 remote host 的用户名和密码就可以直接使用 rsync 命令同步文件
rsync server 端因为不用启动 daemon 进程,所以也不用配置文件 /etc/rsyncd.conf
//将服务端数据同步给客户端
rsync -avz /SRC -e ssh root@172.16.12.129:/DEST
-a //文件宿主变化,时间戳不变
-z //压缩数据传输
//当遇到要修改端口的时候,我们可以:
rsync -avz /SRC -e "ssh -p222" root@172.16.12.129:/DEST
3. rsync命令详解
rsync常用的命令格式:
rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [USER@]HOST:DEST
rsync [OPTION]... [USER@]HOST:SRC DEST
对应于以上三种命令格式,rsync有三种不同的工作模式:
1.拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式
如:rsync -a /abc /def
相当使用cp命令,将文件重新拷贝一份并重命名
2.使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式
如:rsync -avz a.sh 192.168.207.130:/root/b.sh
3.使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式
如:rsync -avz 192.168.207.130:/root/abc /root/def
rsync命令常用选项:
-a 参数,相当于-rlptgoD
-r 是递归;-l 是链接文件,意思是拷贝链接文件;-p 表示保持文件原有权限;
-t 保持文件原有时间;-g 保持文件原有用户组;-o 保持文件原有属主;-D 相当于块设备文件
-v 传输时的进度等信息
-q 精简输出模式
-z 传输时压缩
--delete 在源服务器上做的删除操作也会在目标服务器上同步
4. rsync+inotify
基于概述中所介绍的 rsync 不足的地方 rsync+inotify 组合出现了。
什么是inotify?
Inotify 是一个 Linux 内核特性,是一种强大的、细粒度的、异步的文件系统事件监控机制。linux内核从2.6.13起,加入了 Inotify 支持,通过 Inotify 可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools 就是这样的一个第三方软件
rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题
5.环境说明:
服务器类型 | IP地址 | 应用 | 操作系统 |
---|---|---|---|
源服务器 | 192.168.200.5 | rsync inotify-tools脚本 | centos8/redhat8 |
目标服务器 | 192.168.200.6 | rsync rsync-daemon | centos8/redhat8 |
需求:把源服务器上/runtime目录实时同步到目标服务器的/lch/下
1. 在目标服务器上安装rsync服务端软件,并修改配置文件
[root@node2 ~]# yum -y install rsync rsync-daemon
[root@node2 ~]# vi /etc/rsyncd.conf
# /etc/rsyncd: configuration file for rsync daemon mode
# See rsyncd.conf man page for more options.
# configuration example:
# uid = nobody
# gid = nobody
# use chroot = yes
# max connections = 4
# pid file = /var/run/rsyncd.pid
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
# [ftp]
# path = /home/ftp
# comment = ftp export area
# 日志文件位置,启动rsync后自动产生这个文件,无需提前创建
log file = /var/log/rsyncd.log
# pid文件的存放位置
pidfile = /var/run/rsyncd.pid
# 支持max connections参数的锁文件
lock file = /var/run/rsync.lock
# 用户认证配置文件,里面保存用户名称和密码,必须手动创建这个文件
secrets file = /etc/.rsync.pass
# 自定义同步名称
[runtime]
# rsync目标服务端数据存放路径,源服务端的数据将同步至此目录
path = /root/lch
comment = sync etc from client
# 设置rsync运行权限为root
uid = root
# 设置rsync运行权限为root
gid = root
# 默认端口
port = 873
# 表示出现错误忽略错误
ignore errors
# 默认为true,修改为no,增加对目录文件软连接的备份
use chroot = no
# 设置rsync服务端为读写权限
read only = no
# 不显示rsync服务端资源列表
list = no
# 最大连接数
max connections = 200
# 设置超时时间
timeout = 600
# 执行数据同步的用户名,可以设置多个,用英文状态下逗号隔开
auth users = admin
# 允许进行数据同步的源服务端IP地址,可以设置多个,用英文状态下逗号隔开
hosts allow = 192.168.200.5
# 禁止数据同步的源服务端IP地址,可以设置多个,用英文状态下逗号隔开
hosts deny = 192.168.1.1
2. 在目标服务器上创建用户认证文件,并启动服务
[root@node2 ~]# echo 'admin:123456' > /etc/.rsync.pass
[root@node2 ~]# cat /etc/.rsync.pass
admin:123456
[root@node2 etc]# chmod 600 /etc/.rsync.pass
[root@node2 etc]# ll .rsync.pass
-rw-------. 1 root root 13 Aug 9 19:37 .rsync.pass
[root@node2 etc]# systemctl start rsyncd
[root@node2 etc]# systemctl enable --now rsyncd
Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service.
[root@node2 etc]# ss -antl
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 5 0.0.0.0:873 0.0.0.0:*
LISTEN 0 128 [::]:22 [::]:*
LISTEN 0 5 [::]:873 [::]:*
[root@node2 etc]# systemctl status rsyncd
● rsyncd.service - fast remote file copy program daemon
Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2022-08-09 19:42:49 CST; 26s ago
Main PID: 14327 (rsync)
Tasks: 1 (limit: 4744)
Memory: 272.0K
CGroup: /system.slice/rsyncd.service
└─14327 /usr/bin/rsync --daemon --no-detach
Aug 09 19:42:49 node2 systemd[1]: Started fast remote file copy program daemon.
3. 在源服务器上安装rsync服务端软件,创建认证密码文件
[root@node1 ~]# yum -y install rsync
[root@node1 ~]# echo '123456' > /etc/.rsync.pass
[root@node1 ~]# chmod 600 /etc/.rsync.pass
[root@node1 ~]# ll /etc/.rsync.pass
-rw-------. 1 root root 7 Aug 9 19:56 /etc/.rsync.pass
4. 在源服务器上创建同步目录,并手动执行同步命令
[root@node1 ~]# mkdir runtime
[root@node1 ~]# ls
anaconda-ks.cfg runtime
[root@node1 ~]# mkdir runtime/test
[root@node1 ~]# ls runtime/
test
[root@node1 ~]# rsync -avH --port 873 --progress --delete /root/runtime/* admin@192.168.200.6::runtime --password-file=/etc/.rsync.pass
sending incremental file list
test/
sent 62 bytes received 24 bytes 172.00 bytes/sec
total size is 0 speedup is 0.00
[root@node1 ~]# ls
anaconda-ks.cfg runtime
[root@node1 ~]# ls runtime/
test
[root@node2 ~]# ls lch/
test
5. 安装inotify-tools工具
[root@node1 ~]# mkdir /scripts
[root@node1 ~]# cd /scripts/
[root@node1 scripts]# vi inotify.sh
# 目标服务器的ip(备份服务器)
host=192.168.200.6
# 在源服务器上所要监控的备份目
src=/root/runtime
# 自定义的模块名,需要与目标服务器上定义的同步名称一致
des=runtime
# 执行数据同步的密码文件
password=/etc/.rsync.pass
# 执行数据同步的用户名
user=admin
inotifywait=/usr/bin/inotifywait
$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
[root@node1 scripts]# nohup bash /scripts/inotify.sh &
[1] 10963
[root@node1 scripts]# nohup: ignoring input and appending output to 'nohup.out'
[root@node1 scripts]# ps -ef |grep inotify
root 10963 2096 0 20:18 pts/3 00:00:00 bash /scripts/inotify.sh
root 10964 10963 0 20:18 pts/3 00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /root/runtime
root 10965 10963 0 20:18 pts/3 00:00:00 bash /scripts/inotify.sh
root 10967 2096 0 20:18 pts/3 00:00:00 grep --color=auto inotify
[root@node1 scripts]# echo 'nohup bash /scripts/inotify.sh &'>> /etc/rc.d/rc.local
[root@node1 scripts]# chmod +x /etc/rc.d/rc.local
[root@node1 scripts]# cd
[root@node1 ~]# ls runtime/
test
[root@node1 ~]# touch runtime/abc
[root@node1 ~]# rm -rf runtime/test/
[root@node1 ~]# ls runtime/
abc
[root@node2 lch]# ls
runtime
[root@node2 lch]# ls runtime/
abc