备份文件的方式
1、cp
本机复制
2、scp
远程复制,缺点是只支持全量复制。
方式:
1、推(本地上传到远程服务器)
格式:scp 文件名 root@ip:[路径]
2、拉(把远程服务器文件下载到本地)
格式:scp root@ip:[路径]
scp参数
Linux scp 命令用于 Linux 之间复制文件和目录。
scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。
scp 是加密的,rcp 是不加密的,scp 是 rcp 的加强版。
选项参数
-1: 强制scp命令使用协议ssh1
-2: 强制scp命令使用协议ssh2
-4: 强制scp命令只使用IPv4寻址
-6: 强制scp命令只使用IPv6寻址
-B: 使用批处理模式(传输过程中不询问传输口令或短语)
-C: 允许压缩。(将-C标志传递给ssh,从而打开压缩功能)
-p:保留原文件的修改时间,访问时间和访问权限。
-q: 不显示传输进度条。
-r: 递归复制整个目录。
-v:详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接,验证和配置问题。
-c cipher: 以cipher将数据传输进行加密,这个选项将直接传递给ssh。
-F ssh_config: 指定一个替代的ssh配置文件,此参数直接传递给ssh。
-i identity_file: 从指定文件中读取传输时使用的密钥文件,此参数直接传递给ssh。
-l limit: 限定用户所能使用的带宽,以Kbit/s为单位。
-o ssh_option: 如果习惯于使用ssh_config(5)中的参数传递方式,
-P port:注意是大写的P, port是指定数据传输用到的端口号
-S program: 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。
scp案例
一、从本地复制文件到远程
1、复制本地文件到远程目录
scp /home/space/music/1.mp3 root@www.runoob.com:/home/root/others/music
scp #命令
/home/space/music/1.mp3 #本地文件
root #远端服务器的的系统用户
@ #分隔符,以哪个用户身份登录服务器
www.runoob.com #远程服务器的ip或域名
: #分隔符,指定服务器的里面所在的目录
/home/root/others/music/ #复制到远程服务器的目录地址
2、复制本地文件到远程目录下,并重命名
scp /home/space/music/1.mp3 root@www.runoob.com:/home/root/others/music/001.mp3
scp #命令
/home/space/music/1.mp3 #本地文件
root #远端服务器的的系统用户
@ #分隔符,以哪个用户身份登录服务器
www.runoob.com #远程服务器的ip或域名
: #分隔符,指定服务器的里面所在的目录
/home/root/others/music/001.mp3 #复制到远程服务器的目录下并重命名001.mp3
二、从本地复制目录到远程目录下
1、指定用户名,命令执行后需要再输入密码
scp -r /home/space/music/ root@www.runoob.com:/home/root/others/
scp #命令
-r #选项
/home/space/music/ #本地目录
root #远端服务器的的系统用户
@ #分隔符,以哪个用户身份登录服务器
www.runoob.com #远程服务器的ip或域名
: #分隔符,指定服务器的里面所在的目录
/home/root/others/ #复制到远程服务器的目录地址
2、不指定用户名,命令执行后需要输入用户名和密码
scp -r /home/space/music/ www.runoob.com:/home/root/others/
scp #命令
-r #选项
/home/space/music/ #本地目录
www.runoob.com #远程服务器的ip或域名
: #分隔符,指定服务器的里面所在的目录
/home/root/others/ #复制到远程服务器的目录地址
三、从远程复制到本地
1、scp root@www.runoob.com:/home/root/others/music /home/space/music/1.mp3
scp -r www.runoob.com:/home/root/others/ /home/space/music/
3、rsyuc(远程复制)
支持全量复制,也支持增量复制
rsyuc介绍
rsync英文称为remote synchronizetion,从软件的名称就可以看出来,rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,这个功能类似于ssh带的scp命令,但是又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝。当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令。但是同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝。
rsync官方地址:https://rsync.samba.org/
rsync监听端口:873
rsync运行模式:C/S client/server
rsync简称叫做远程同步,可以实现不同主机之间的数据同步,还支持全量和增量
rsyuc特性
1、支持拷贝特殊文件,如连接文件、设备等。
2、可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能。
3、可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
4、可以实现增量同步,既只同步发生变化的数据,因此数据传输效率很高(tar-N)。
5、可以使用rcp、rsh、ssh等方式来配合传输文件(rsync本身不对数据加密)。
6、可以通过socket(进程方式)传输文件和数据(服务端和客户端。
7、支持匿名的活认证(无需系统用户)的进程模式传输,可以实现方便安全的进行数据备份和镜像。
rsyuc应用场景
增量备份和全量备份
rsync的传输方式
1、push(推)
客户端将数据从本地推送至服务端
2、pull(拉)
客户端将数据从服务端拉取到本地
rsync传输模式
1、本地方式(类似于cp,不支持推送和拉取,只是单纯的复制)
2、远程方式(类似于scp,又不同于scp),scp只支持全量备份,rsync支持增量备份和差异备份
3、守护进程方式(客户端和服务端)
rsync使用(参数详解)
基础部分
1、-a :归档模式传输, 等于-tropgDl -t -r -o -p -g -D -l
2、-v :详细模式输出, 打印速率, 文件数量等
[root@m01 ~]# rsync -v ./2.txt root@172.16.1.41:/opt/
3、-z :传输时进行压缩以提高效率
[root@m01 ~]# rsync -vz ./2.txt root@172.16.1.41:/opt/
4、-r :递归传输目录及子目录,即目录下得所有目录都同样传输。
[root@m01 ~]# rsync -vzr ./a root@172.16.1.41:/opt/
5、-t :保持文件时间信息
[root@m01 ~]# rsync -vzrt ./a/b/c/2.txt root@172.16.1.41:/opt/
6、-o :保持文件属主信息
-g :保持文件属组信息
[root@m01 ~]# rsync -vzrtgo ./a/b/c/2.txt root@172.16.1.41:/opt/
7、-p :保持文件权限
[root@m01 ~]# rsync -vzrtgop ./a/b/c/2.txt root@172.16.1.41:/opt/
8、-l :保留软连接
[root@m01 ~]# rsync -vzrtgopl ./* root@172.16.1.41:/opt/
9、-P :显示同步的过程及传输时的进度等信息
[root@m01 ~]# rsync -vzrtgoplP ./* root@172.16.1.41:/opt/
10、-D :保持设备文件信息
[root@m01 dev]# rsync -vzrtgDopl /dev/tty1 root@172.16.1.41:/opt/
11、-L :保留软连接指向的目标文件
12、-e :使用的信道协议,指定替代rsh的shell程序
高级部分
1、--append :指定文件接着上次传输中断处继续传输
2、--append-verify :使用参数续传(在断点续传之后,验证一下文件,如果不同,修复文件)
3、--exclude=PATTERN :指定排除不需要传输的文件
[root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt ./* root@172.16.1.41:/opt/
4、--exclude-from=file :按照文件指定内容排除
[root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt ./* root@172.16.1.41:/opt/
5、--bwlimit=100 :限速传输(单位:MB)
[root@m01 ~]# rsync -avzP --append-verify --bwlimit=10 ./* root@172.16.1.41:/opt/
6、--delete :让目标目录和源目录数据保持一致
7、--password-file=xxx :使用密码文件
8、--port :指定端口传输
rsync守护进程模式
作用:
1、保证数据安全
2、数据归档
1、服务端
1、安装
[root@backup ~]# yum install -y rsync
2、修改配置文件
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to backup!
path = /backup
[linux]
comment = welcome to linux!
path=/tmp/linux
3、创建系统用户
[root@backup opt]# groupadd rsync -g 666
[root@backup opt]# useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r
4、创建密码文件
[root@backup opt]# echo "rsync_backup:123456" > /etc/rsync.passwd
5、授权(必须授权为600)
[root@backup opt]# chmod 600 /etc/rsync.passwd
6、创建备份目录
[root@backup opt]# mkdir /backup
[root@backup opt]# mkdir /tmp/linux
7、目录授权
[root@backup opt]# chown rsync.rsync /backup/
[root@backup opt]# chown rsync.rsync /tmp/linux/
8、关闭防火墙和selinux
[root@backup opt]# systemctl disable --now firewalld
[root@backup opt]# setenforce 0
9、启动rsyncd服务
[root@backup opt]# systemctl start rsyncd
配置文件详解
2、客户端
方法一:自己输入密码
[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup
rsync_backup : 虚拟用户,只在数据传输时使用
172.16.1.41 : backup服务端的IP
backup : 模块名称
方法二:设置密码文件,运行时读取
1、编写密码文件
[root@m01 ~]# echo "123456" > /etc/rsync.passwd
2、授权
[root@m01 ~]# chmod 600 /etc/rsync.passwd
3、连接
[root@m01 ~]# rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux
方法三:添加环境变量
1、定义环境变量
export RSYNC_PASSWORD=123456
2、同步
[root@m01 ~]# rsync -avzP ./* rsync_backup@172.16.1.41::linux
rsync实时同步
rsync是不支持实时同步的,通常我们借助于inotify这个软件来实时监控文件变化,一旦inotify监控到文件变,则立即调用rsync进行同步。
1、inotify参数介绍
1、-m 持续监控
2、-r 递归
3、-q 静默,仅打印时间信息
4、--timefmt 指定输出时间格式
5、--format 指定事件输出格式
%Xe 事件
%w 目录
%f 文件
6、-e 指定监控的事件
access 访问
modify 内容修改
attrib 属性修改
close_write 修改真实文件内容
open 打开
create 创建
delete 删除
umount 卸载
2、安装inotify(装在客户端)
[root@web01 ~]# yum -y install inotify-tools
3、开始监控
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root
4、实时监控并同步
[root@m01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /root | while read line;do
cd /root
rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
done
rsync常见报错
1.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backu@172.16.1.41::backup
Password:
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因:1)虚拟用户的用户名或者密码错误,2)服务端密码文件权限不为600
2.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
#原因:客户端密码文件权限不是600
3.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backu
@ERROR: Unknown module 'backu'
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因:模块名字错误
4.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::/backup
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因:双冒号后面跟的是模块名字,而不是目录名字不要加/
5.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因:防火墙开启,没有配置防火墙规则
[root@backup ~]# firewall-cmd --add-port=873/tcp
success
6.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
Password:
sending incremental file list
rewriteip.sh
rsync: mkstemp ".rewriteip.sh.vx4Cry" (in backup) failed: Permission denied (13)
sent 207 bytes received 128 bytes 44.67 bytes/sec
total size is 194 speedup is 0.58
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
#原因:selinux没有关闭
7.报错内容:
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
sending incremental file list
rsync: delete of stat xattr failed for "rewriteip.sh" (in backup): Permission denied (13)
sent 55 bytes received 114 bytes 338.00 bytes/sec
total size is 194 speedup is 1.15
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
#原因:服务端备份目录权限不是rsync
8.报错内容
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因:服务端服务没有启动
9.报错内容
[root@web01 ~]# rsync -avz 1.txt rsync_backup@10.0.0.41::backup
sending incremental file list
rsync: read error: Connection reset by peer (104)
rsync error: error in socket IO (code 10) at io.c(785) [sender=3.1.2]
#原因:服务端配置错误,导致启动问题
设置开机自启动