rsync远程拷贝文件 shell rsync远程拷贝文件多节点

转载

数据大侠客 2024-08-14 00:48:21

文章标签 rsync远程拷贝文件 shell 服务器 ssh linux 数据同步 文章分类 运维

文章目录

1. rsync简介
2. rsync特性
3. rsync的ssh认证协议

需求：
在目标服务器上做以下操作：
在源服务器上做以下操作：

设置脚本开机自动启动：

1. rsync简介

rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步。

2. rsync特性

rsync支持很多特性：

可以镜像保存整个目录树和文件系统
可以很容易做到保持原来文件的权限、时间、软硬链接等等
无须特殊权限即可安装
快速：第一次同步时rsync会复制全部内容，但在下一次只传输修- 改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽
安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接
支持匿名传输，以方便进行网站镜像

3. rsync的ssh认证协议

rsync命令来同步系统文件之前要先登录remote主机认证，认证过程中用到的协议有2种：

ssh协议
rsync协议
rsync server端不用启动rsync的daemon进程，只要获取remote host的用户名和密码就可以直接rsync同步文件
rsync server端因为不用启动daemon进程，所以也不用配置文件/etc/rsyncd.conf

ssh认证协议跟scp的原理是一样的，如果在同步过程中不想输入密码就用ssh-keygen -t rsa打通通道

//这种方式默认是省略了 -e ssh 的，与下面等价：
rsync -avz /SRC -e ssh root@172.16.12.129:/DEST 
    -a  //文件宿主变化，时间戳不变
    -z  //压缩数据传输
 
//当遇到要修改端口的时候，我们可以：
rsync -avz /SRC -e "ssh -p2222" root@172.16.12.129:/DEST  
//修改了ssh 协议的端口，默认是22

服务器类型	IP地址	应用	操作系统
源服务器	192.168.70.138	rsync inotify-tools脚本	redhat8.2
目标服务器	192.168.70.134	rsync	redhat8.2

需求：

rsync+inotify同步/runtime目录至目标服务器的qzl目录下.

在目标服务器上做以下操作：

#关闭目标服务器防火墙和selinux
[root@dest ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@dest ~]# setenforce 0
[root@dest ~]# vim /etc/selinux/config 
//服务机和目标服务机都要安装rsync
[root@dest ~]# dnf -y install rsync
Updating Subscription Management repositories.
Unable to read consumer identity
This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register.
CentOS-8.5.2111 - Base - mirrors.aliyun.com         30 kB/s | 3.9 kB     00:00    
CentOS-8.5.2111 - Extras - mirrors.aliyun.com       26 kB/s | 1.5 kB     00:00    
[root@source ~]# dnf -y install rsync
Updating Subscription Management repositories.
Unable to read consumer identity
This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register.
上次元数据过期检查：0:43:45 前，执行于 2022年08月09日 星期二 17时33分11秒。
软件包 rsync-3.1.3-7.el8.x86_64 已安装。
依赖关系解决。

//设置rsyncd.conf配置文件
[root@dest ~]# dnf list all | grep rsync
rsync.x86_64                                                      3.1.3-12.el8                                                  
libguestfs-rsync.x86_64                                           1:1.40.2-28.module_el8.5.0+821+97472045                AppStream    
librsync.x86_64                                                   2.3.2-1.el8                                            epel                
rsync-bpc.x86_64                                                  3.1.3.0-1.el8                                          epel         
rsync-daemon.noarch                                               3.1.3-12.el8                                           base
[root@dest ~]# dnf -y install rsync-daemon   安装这个服务就回生成配置文件

[root@dest ~]# vim /etc/rsyncd.conf  会生成这个文件，添加以下几行
log file = /var/log/rsyncd.log  //日志
pidfile = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
secrets file = /etc/.runtime  //用户密码文件

[20220321]
path = /qzl/   //同步目录
comment = sync etc from client  //默认
uid = root
gid = root
port = 873
ignore errors
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = admin  //数据同步的用户
[root@dest ~]# mkdir /qzl  创建同步目录
[root@dest ~]# vim /etc/.runtime
[root@dest ~]# cat /etc/.runtime 
admin:123456    //用户：密码   ，注意用户是 数据同步的用户名
[root@dest ~]# chmod 600 /etc/.runtime    //设置权限让密码只能自己看
[root@dest ~]# ll /etc/.runtime 
-rw-------. 1 root root 13 8月   9 19:32 /etc/.runtime
#设置服务开机自启
[root@dest ~]# systemctl enable --now rsyncd
Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service.
[root@dest ~]# systemctl status rsync
Unit rsync.service could not be found.
[root@dest ~]# systemctl status rsyncd
● rsyncd.service - fast remote file copy program daemon
   Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset:>
   Active: active (running) since Tue 2022-08-09 19:47:58 CST; 31s ago
 Main PID: 178652 (rsync)
    Tasks: 1 (limit: 11160)
   Memory: 836.0K
   CGroup: /system.slice/rsyncd.service
           └─178652 /usr/bin/rsync --daemon --no-detach

8月 09 19:47:58 dest systemd[1]: Started fast remote file copy program daemon.
[root@dest ~]# 
//已做完目标服务器的操作

##配置文件相应的意思
[root@localhost ~]# cat >> /etc/rsyncd.conf <<EOF
log file = /var/log/rsyncd.log    # 日志文件位置，启动rsync后自动产生这个文件，无需提前创建
pidfile = /var/run/rsyncd.pid     # pid文件的存放位置
lock file = /var/run/rsync.lock   # 支持max connections参数的锁文件
secrets file = /etc/rsync.pass    # 用户认证配置文件，里面保存用户名称和密码，必须手动创建这个文件，一般隐藏这个文件

[etc_from_client]     # 自定义同步名称，必须唯一，同步要用
path = /tmp/          # rsync服务端数据存放路径，客户端的数据将同步至此目录
comment = sync etc from client
uid = root        # 设置rsync运行权限为root
gid = root        # 设置rsync运行权限为root
port = 873        # 默认端口
ignore errors     # 表示出现错误忽略错误
use chroot = no       # 默认为true，修改为no，增加对目录文件软连接的备份，true是软链接不备份
read only = no    # 设置rsync服务端为读写权限，true是只能读
list = no     # 不显示rsync服务端(这里服务器指的是目标服务端，源服务器是客户端)资源列表
max connections = 200     # 最大连接数
timeout = 600     # 设置超时时间
auth users = admin        # 执行数据同步的用户名，可以设置多个，用英文状态下逗号隔开
hosts allow = 172.16.12.128   # 允许进行数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
hosts deny = 192.168.1.1      # 禁止数据同步的客户端IP地址，可以设置多个，用英文状态下逗号隔开
EOF

在源服务器上做以下操作：

#关闭防火墙和selinux
[root@source ~]# systemctl disable --now firewalld
[root@source ~]# setenforce 0
[root@source ~]# vim /etc/selinux/config 
[root@source ~]# yum -y install epel-release
#设置密码，要和目标服务器数据同步的用户名，密码一致
[root@source ~]# echo '123456' > /etc/.hehe
[root@source ~]# cat /etc/.hehe 
123456
[root@source ~]# chmod 600 /etc/.hehe

[root@source ~]# mkdir -pv /runtime
mkdir: 已创建目录 '/runtime'
[root@source ~]# mkdir /runtime/test
[root@source ~]# ls /runtime/
test
[root@source ~]# rsync -avH --port 873 --progress --delete /runtime admin@192.168.70.138::20220321 --password-file=/etc/.hehe 
//将runtime目录同步过去
//admin@192.168.70.138  之前创建的数据同步的用户名和目标服务器IP
//--password-file=/etc/.hehe 源服务器一致的密码
[root@dest ~]# ls /qzl/   //在目标服务器查看
runtime


##安装inotify-tools工具，实时触发rsync进行同步
//查看服务器内核是否支持inotify
[root@source ~]# ll /proc/sys/fs/inotify/
总用量 0
-rw-r--r--. 1 root root 0 8月   9 20:15 max_queued_events
-rw-r--r--. 1 root root 0 8月   9 20:15 max_user_instances
-rw-r--r--. 1 root root 0 8月   9 20:15 max_user_watches
//如果有这三个max开头的文件则表示服务器内核支持inotify
[root@source ~]# yum -y install inotify-tools

#写同步脚本，此步乃最最重要的一步，请慎之又慎。让脚本自动去检测我们制定的目录下 \
#文件发生的变化，然后再执行rsync的命令把它同步到我们的服务器端去
[C[root@source ~]# mkdir /scripts    //创建这个目录是为了规范
[root@source ~]# touch /scripts/inotify.sh
[root@source ~]# chmod +x /scripts/inotify.sh 
[root@source ~]# vim /scripts/inotify.sh 
#!/bin/bash
host=192.168.70.138   //目标ip   
src=/runtime       //源目录
des=20220321    // 前面[] 的类容
password=/etc/.hehe  //本机设置连接的密码
user=admin          //数据同步的用户名
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f %e' -e modify,delete,create,attrib $src \
        | while read files;do
    rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
        echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

//-e 时间同步的类型
//$src 源
// --timeout    超时时间
// 2>&1   把错误输出写到正常输出 

#启动脚本
[root@source ~]# nohup bash /scripts/inotify.sh  &
[1] 372245
[root@source ~]# nohup: 忽略输入并把输出追加到'nohup.out'

#创建几个文件触发脚本
[root@source ~]# touch /runtime/123456789
[root@source ~]# touch /runtime/1234
#目标服务器查看
[root@dest ~]# ls /qzl/runtime/
123  1234  123456789  456  789  jjj  jjjj  test
#删除
[root@source ~]# rm -f /runtime/jjjj
#目标服务器也同步删除
[root@dest ~]# ls /qzl/runtime/
123  1234  123456789  456  789  jjj  test
#修改文件
[root@source ~]# echo "hello world" >> /runtime/abc 
#目标服务器也同步修改
[root@dest ~]# cat  /qzl/runtime/abc 
hello world
#查看日志文件
[root@source ~]# cat /tmp/rsync.log 
20220809 21:06 /runtime/jjjj CREATE was rsynced
20220809 21:06 /runtime/jjjj ATTRIB was rsynced
20220809 21:11 /runtime/jjjj DELETE was rsynced
20220809 21:12 /runtime/abc CREATE was rsynced
20220809 21:12 /runtime/abc MODIFY was rsynced

设置脚本开机自动启动：

[root@source ~]# vim /etc/rc.local 
[root@source ~]# cat /etc/rc.local 
#!/bin/bash
nohup bash /scripts/inotify.sh  &   加入启动脚本命令
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
[root@source ~]# ll /etc/rc.local 
lrwxrwxrwx. 1 root root 13 3月  24 2020 /etc/rc.local -> rc.d/rc.local
[root@source ~]# ll /etc/rc.d/rc.local 
-rw-r--r--. 1 root root 507 8月   9 21:20 /etc/rc.d/rc.local
[root@source ~]# chmod +x /etc/rc.d/rc.local
[root@source ~]# ll /etc/rc.d/rc.local
-rwxr-xr-x. 1 root root 507 8月   9 21:20 /etc/rc.d/rc.local
[root@source ~]# reboot
[root@source ~]# ps -ef | grep inotify
root        1114       1  0 21:22 ?        00:00:00 bash /scripts/inotify.sh
root        1119    1114  0 21:22 ?        00:00:00 /usr/bin/inotifywait -mrq --timefmt %Y%m%d %H:%M --format %T %w%f%e -e modify,delete,create,attrib /runtime
root        1120    1114  0 21:22 ?        00:00:00 bash /scripts/inotify.sh
root        3007    2143  0 21:23 pts/0    00:00:00 grep --color=auto inotify
[root@source ~]# touch /runtime/jjj  //触发脚本
[root@source ~]# touch /runtime/jpp
#目标服务器查看
[root@dest ~]# ls /qzl/runtime/
123  1234  123456789  456  789  abc  jjj  jpp  test

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。