linux rsync增量传输文件 linux rsync端口

文章目录

• 一、基本了解
• 二、rsync的基本操作

• 2.1 安装rsync
• 2.2 同步常用参数
• 2.3 同步目录示例

• 三、rsync+inotify实时同步

• 3.1 环境准备
• 3.2 配置服务端
• 3.3 配置客户端
• 3.4 自动同步

一、基本了解

什么是rsync?

• rsync是linux系统下的数据镜像备份工具。
• 使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。

rsync特性：

• 可以镜像保存整个目录树和文件系统。
• 可以很容易做到保持原来文件的权限、时间、软硬链接等等。
• 无须特殊权限即可安装。
• 快速。第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
• 安全。可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。
• 支持匿名传输，以方便进行网站镜像。

rsync的2种认证协议：

1. ssh协议
2. rsync协议

注意事项：

• rsync server端不用启动rsync的daemon进程，只要获取remote host的用户名和密码就可以直接rsync同步文件。
• rsync server端因为不用启动daemon进程，所以也不用配置文件/etc/rsyncd.conf。

二、rsync的基本操作

2.1 安装rsync

1.服务端和客户端都需安装rsync服务。

yum -y install rsync

2.将服务端的文件同步到客户端的/opt/目录下。

[root@server ~]# rsync anaconda-ks.cfg root@192.168.130.161:/opt

3.将客户端的/opt/目录下的222文件同步到服务端本地当前目录。

2.2 同步常用参数

参数	释义
-a, --archive	归档
-v, --verbose	啰嗦模式
-q, --quiet	静默模式
-r, --recursive	递归
-p, --perms	保持原有的权限属性
-z, --compress	在传输时压缩，节省带宽，加快传输速度
–delete	在源服务器上做的删除操作也会在目标服务器上同步

2.3 同步目录示例

1.第一次将服务端的目录下所有文件全部同步到客户端。

rsync -avz /opt  -e ssh root@192.168.130.161:/root

2.若服务端的同步目录下的文件被修改，或新增文件，则第二次同步时会把服务端当前的信息同步到客户端。

3.添加delete参数时，代表同步时服务端有，则客户端有；服务端没有，则客户端没有。

三、rsync+inotify实时同步

为什么要搭配inotify服务来玩？

1. 若文件数量过大，rsync同步效率很低，因为它是扫描所有文件后进行比对后进行差量传输。
2. rsync不能实时监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。
3. 而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。

什么是inotify：

• Inotify是Linux自带的一种强大的、细粒度的、异步的文件系统事件监控机制。
• 通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

3.1 环境准备

服务器类型	IP地址	应用	操作系统
源服务器，客户端	192.168.130.161	rsync inotify-tools 脚本	centos7/redhat7
目标服务器，服务端	192.168.130.160	rsync	centos7/redhat7

1.关闭服务端和客户端按的防护墙、selinux。

systemctl  stop firewalld
systemctl  disable firewalld
setenforce 0

2.确定服务端有配置文件/etc/rsyncd.conf，redhat8没有则需要安装rsync-daemon。

3.2 配置服务端

1.添加配置文件参数。

[root@server ~]# vim /etc/rsyncd.conf 
log file = /var/log/rsyncd.log          ##日志文件位置.
pidfile = /var/run/rsyncd.pid            ##pid文件的存放位置
lock file = /var/run/rsync.lock         ##支持max connections参数的锁文件
secrets file = /etc/rsync.pass            ##用户认证配置文件，用于保存用户名称和密码，必须手动创建

[qingjun]                自定义同步资源名称。
path = /tmp/             rsync服务端数据存放路径，客户端的数据将同步至此目录
comment = sync runtime from client
uid = root        设置rsync运行权限为root
gid = root        设置rsync运行权限为root
port = 873         默认端口
ignore errors        表示出现错误忽略错误
use chroot = no              默认为true，修改为no，增加对目录文件软连接的备份
read only = no               设置rsync服务端为读写权限
list = no                  不显示rsync服务端资源列表
max connections = 200                 最大连接数
timeout = 600                     设置超时时间
auth users = admin                      执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
hosts allow = 192.168.130.161            允许进行数据同步的源服务器IP地址，可以设置多个，用英文状态下逗号隔开

2.创建用户认证文件，设置文件权限为600。

echo 'admin:123456' > /etc/rsync.pass 
chmod 600 /etc/rsync.pass

3.启动服务，设置开机自启。

systemctl enable rsyncd
systemctl start rsyncd

3.3 配置客户端

1.配置epel源，安装inotify-tools服务。

wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
####################################
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
sed -i 's|^#baseurl=https://download.example/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel*
sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel*
#######################################
yum -y install inotify-tools

2.创建认证密码文件，只需写密码，设置文件权限为600。

echo '123456' > /etc/rsync.pass
chmod 600 /etc/rsync.pass

3.创建同步目录runtime。

mkdir /runtime

4.进入同步目录创建文件，开始同步。

rsync -avH --port 873 --progress --delete /runtime admin@192.168.130.160::qingjun --password-file=/etc/rsync.pass

5.服务端查看结果。

3.4 自动同步

1.客户端写个脚本，给脚本设置开机启动执行。

[root@client opt]# cat qingjun.sh 
#!/bin/bash
host=192.168.130.160
src=/runtime
des=qingjun
password=/etc/rsync.pass
user=admin
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
        | while read files;do
    rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
        echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

2.后台执行脚本。

nohup bash /opt/qingjun.sh &

3.测试效果，客户端删除文件，查看服务端结果。

4.客户端查看日志记录，日志输出位置在脚本里已指定。