rsync 默认会增量备份吗 rsync备份文件

目录

• linux中rsync备份文件

• 备份文件的方式
• rsync介绍(支持增量复制)
• rsync特性
• rsync传输方式
• rsync传输模式
• rsync使用
• rsync守护进程模式

• 服务端
• 客户端

• rsync实时同步

linux中rsync备份文件

备份文件的方式

备份方式:

cp : 本机复制

scp: 远程复制

推(本地上传到远程服务器)：
	scp 1.txt root@ip:[路径]
	[root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/
	-r是递归
拉(把远程服务器文件下载到本地)：
	scp root@ip:[路径] ./
	[root@m01 ~]# scp root@172.16.1.41:/opt/2.txt ./
	-r是递归

缺点： 只支持全量复制(就是如果某一文件修改了，需要全部复制过来才能更新信息，太浪费时间)

rsync介绍(支持增量复制)

rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

rsync官方地址：https://rsync.samba.org/ rsync监听端口：873
rsync运行模式：C/S client/server

rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量

rsync特性

1. 支持拷贝特殊文件，如连接文件、设备等。
2. 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
3. 可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
4. 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
5. 可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
6. 可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
7. 支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

rsync传输方式

类似与scp，rsync也是 " 推 " 和 " 拉 " 两种传输方式.

push 推：客户端将数据从本地推送至服务端

pull 拉：客户端将数据从服务端拉取到本地

rsync传输模式

• 本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
• 远程方式（类似于scp，又不同于scp），scp只支持全量备份，rsync支持增量备份和差异备份
• 守护进程方式（客户端和服务端）

rsync使用

格式: rsync 参数 源文件路径 root@ip：目标文件路径

参数	作用
-a	归档模式传输, 等于-tropgDl -t -r -o -p -g -D -l
-v	详细模式输出, 打印速率, 文件数量等
-z	传输时进行压缩以提高效率
-r	递归传输目录及子目录，即目录下得所有目录都同样传输
-t	保持文件时间信息
-o	保持文件属主信息
-g	保持文件属组信息
-p	保持文件权限
-l	保留软连接
-P	显示同步的过程及传输时的进度等信息
-D	保持设备文件信息
-L	保留软连接指向的目标文件
-e	使用的信道协议,指定替代rsh的shell程序
--append	指定文件接着上次传输中断处继续传输
--append-verify	使用参数续传（在断点续传之后，验证一下文件，如果不同，修复文件）
--exclude=文件名	指定排除不需要传输的文件
--exclude-from=文件名	排除文件内写的文件名(文件内可以写多个文件名)
--bwlimit=传输速度	限速传输（单位：MB）
--delete	让目标目录和源目录数据保持一致
--password-file=文件名	使用密码文件(文件内要写密码)
--port	指定端口传输

eg:

-t           #保持文件时间信息
	[root@m01 ~]# rsync -vzrt ./a/b/c/2.txt  root@172.16.1.41:/opt/
-o           #保持文件属主信息
-g           #保持文件属组信息
	[root@m01 ~]# rsync -vzrtgo  ./a/b/c/2.txt  root@172.16.1.41:/opt/
-p           #保持文件权限
	[root@m01 ~]# rsync -vzrtgop  ./a/b/c/2.txt  root@172.16.1.41:/opt/
-l           #保留软连接
	[root@m01 ~]# rsync -vzrtgopl  ./*  root@172.16.1.41:/opt/
-P           #显示同步的过程及传输时的进度等信息
	[root@m01 ~]# rsync -vzrtgoplP  ./*  root@172.16.1.41:/opt/
-D           #保持设备文件信息
	[root@m01 dev]# rsync -vzrtgDopl /dev/tty1   root@172.16.1.41:/opt/
-L           #保留软连接指向的目标文件
-e           #使用的信道协议,指定替代rsh的shell程序
--bwlimit=100       # 限速传输（单位：MB）
	[root@m01 ~]# rsync -avzP --append-verify --bwlimit=10  ./* root@172.16.1.41:/opt/

-v           #详细模式输出, 打印速率, 文件数量等
	[root@m01 ~]# rsync -v ./2.txt  root@172.16.1.41:/opt/

-r           #递归传输目录及子目录，即目录下得所有目录都同样传输。
	[root@m01 ~]# rsync -vzr ./a  root@172.16.1.41:/opt/

rsync增量复制的体现

-a           #归档模式传输, 等于-tropgDl    -t -r -o -p -g -D -l

-z           #传输时进行压缩以提高效率
	[root@m01 ~]# rsync -vz ./2.txt  root@172.16.1.41:/opt/

--append            # 指定文件接着上次传输中断处继续传输
	[root@m01 ~]# rsync -avzP --append ./* root@172.16.1.41:/opt/

--append-verify     # 使用参数续传（在断点续传之后，验证一下文件，如果不同，修复文件）
	[root@m01 ~]# rsync -avzP --append-verify ./* root@172.16.1.41:/opt/

--exclude=PATTERN   # 指定排除不需要传输的文件
	[root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt  ./* root@172.16.1.41:/opt/

--exclude-from=file # 按照文件指定内容排除
	[root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt  ./* root@172.16.1.41:/opt/

--delete 数据一致 （无差异同步）
在服务器的/tmp/linux路径下

[root@backup linux]# ll
total 563220
-rw-r--r-- 1 rsync rsync 576716800 Dec 29 15:48 2.txt
-rw-r--r-- 1 rsync rsync         0 Dec 29 21:55 4.txt
drwxr-xr-x 3 rsync rsync        15 Dec 29 15:22 a
-rw------- 1 rsync rsync      1687 Dec 24 16:34 anaconda-ks.cfg
-rwxr-xr-x 1 rsync rsync       133 Dec 24 18:42 checkIP.sh
-rwxr-xr-x 1 rsync rsync      4543 Dec 24 16:35 init.sh
-rw-r--r-- 1 rsync rsync        12 Dec 29 16:11 name.txt

在客户端

[root@web01 test]# ll
total 563220
-rw-r--r-- 1 root root 576716800 Dec 29 15:48 2.txt
-rw-r--r-- 1 root root         0 Dec 29 21:55 4.txt
drwxr-xr-x 3 root root        15 Dec 29 15:22 a
-rw------- 1 root root      1687 Dec 24 16:34 anaconda-ks.cfg
-rwxr-xr-x 1 root root       133 Dec 24 18:42 checkIP.sh
-rwxr-xr-x 1 root root      4543 Dec 24 16:35 init.sh
-rw-r--r-- 1 root root        12 Dec 29 16:11 name.txt
# 然后删除一些文件
[root@web01 test]# rm -rf a name.txt init.sh checkIP.sh
[root@web01 test]# ll
total 563204
-rw-r--r-- 1 root root 576716800 Dec 29 15:48 2.txt
-rw-r--r-- 1 root root         0 Dec 29 21:55 4.txt
-rw------- 1 root root      1687 Dec 24 16:34 anaconda-ks.cfg
# --delete同步文件
[root@web01 test]# rsync -az --delete ./ rsync_backup@172.16.1.41::linux
# 这里需要注意的是不能写./*而是./  因为是把整个目录去做对比，而不是目录下的每个文件.

在服务端

[root@backup linux]# ll
total 563204
-rw-r--r-- 1 rsync rsync 576716800 Dec 29 15:48 2.txt
-rw-r--r-- 1 rsync rsync         0 Dec 29 21:55 4.txt
-rw------- 1 rsync rsync      1687 Dec 24 16:34 anaconda-ks.cfg
#  证明在客户端的同步下服务端的文件被同步删除了

PS：注意： rsync不管是推还是拉，推送目录的时候带/和不带/是有区别的

1.带/ ：/etc/ 将etc目录里的所有内容（不包括etc文件夹），推过去或者拉过来

2.不带/：/etc 将etc目录整体（包括etc文件夹及文件夹里的所有内容）推过去或者拉过来

rsync守护进程模式

服务端

按照以下步骤进行设置

1、安装
[root@backup ~]# yum install -y rsync

2、修改配置文件
[root@m01 ~]# vim /etc/rsyncd.conf 
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync                 #用户名
gid = rsync                 #用户组
port = 873                  #端口
fake super = yes            #无需让rsync以root身份运行
use chroot = no             #禁锢目录，不允许操作指定目录之外的目录
max connections = 200       #最大连接数200
timeout = 600               #超时时间600s 10分钟
ignore errors               #忽略错误信息
read only = false           #关闭只读，对备份数据可读写
list = false                #不允许查看模块信息
auth users = rsync_backup   #认证用户，定义虚拟用户作为连接认证用户
secrets file = /etc/rsync.passwd        #认证用户的密码文件
log file = /var/log/rsyncd.log          #日志文件
#####################################
[backup]   # 模块名随便写
comment = welcome to backup!  #注释信息（无关紧要） 
path = /backup  #路径，定义接收备份数据目录
[linux]   # 模块名随便写
comment = welcome to linux!
path=/tmp/linux  #路径，定义接收备份数据目录

3、创建系统用户
[root@backup opt]# groupadd rsync -g 666  # 属组随便写
[root@backup opt]# useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r  # 属主随便写

4、创建密码文件
[root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd  # 密码自己设置

5、授权（必须授权为600）
[root@backup opt]# chmod 600 /etc/rsync.passwd

6、创建备份目录
[root@backup opt]# mkdir /backup
[root@backup opt]# mkdir /tmp/linux

7、目录授权
[root@backup opt]# chown rsync.rsync /backup/
[root@backup opt]# chown rsync.rsync /tmp/linux/

8、关闭防火墙和selinux
[root@backup opt]# systemctl disable --now firewalld
[root@backup opt]# setenforce 0

9、启动rsyncd服务
[root@backup opt]# systemctl start rsyncd

客户端

按照以下步骤进行设置

方法一：自己输入密码
	[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup
	
	rsync_backup ： 虚拟用户，只在数据传输时使用
	172.16.1.41  ： backup服务端的IP
	backup       ： 模块名称
	
方法二：设置密码文件，运行时读取

	1、编写密码文件
	[root@backup opt]# echo "123456" > /etc/rsync.passwd

	2、授权
	[root@m01 ~]# chmod 600 /etc/rsync.passwd

	3、连接
	[root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd  ./* rsync_backup@172.16.1.41::linux


方法三：添加环境变量
	1、定义环境变量
	export RSYNC_PASSWORD=123456
	
	2、同步
	[root@m01 ~]# rsync -avzP  ./* rsync_backup@172.16.1.41::linux

Rsync的推操作：

[root@web01 data]# rsync -avz /data/ rsync_backup@172.16.1.41::backup
#将目录data推至服务器端backup中      在守护进程中，不考虑加/或者不加/

Rsync的拉操作:

[root@web01 ~]# rsync -avz rsync_backup@172.16.1.41::backup ./
#将服务器端的模板目录拉至客户端的当前目录中     在守护进程中，不考虑加/或者不加/
# 最后的backup可写成backup/1.txt  只复制backup下的1.txt

rsync实时同步

rsync是不支持实时同步的，通常我们借助于inotify这个软件来实时监控文件变化，一旦inotify监控到文件变化，则立即调用rsync进行同步。

参数	作用
-m	持续监控
-r	递归
-q	静默，仅打印时间信息
--timefmt	指定输出时间格式
--format	指定事件输出格式(%Xe 事件,%w 目录,%f 文件)
-e	指定监控的事件(access 访问,modify 内容修改,attrib 属性修改,close_write 修改真实文件内容,open 打开,create 创建,delete 删除)

格式：

[root@m01 ~]# /usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root  # 持续监控本机/root目录下  监控创建、监控修改、监控删除、监控属性修改、监控修改文件内容

实时监控并同步

[root@m01 ~]# /usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root | while read line;do
	cd  /root
	rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux
done
# 因为监控的是root目录  所以要切换到/root目录下