--
sync 同步
async 异步
rsync 远程同步
rsync remote sync 远程同步
拷贝和同步的区别?
rsync - faster, flexible replacement for rcp
rsync — a fast, versatile, remote (and local)
file-copying tool
Wget - The non-interactive network down-loader.
wget http://10.1.1.10/linux_basic01.txt --直接接url uniform resource locate(统一资源定位)
wget http://10.1.1.10/linux_basic01.txt -O /test/123
wget -m -k -np http://10.1.1.10/png/
wget -m http://www.xxx.com --下载整个网站
题目:如何下载一个epel的扩展yum源?
做法:
1,先在本地yum配置里写上你要下载的yum源的路径,如
# vim /etc/yum.repos.d/rhel-source.repo
[epel]
server=epel
baseurl=http://xxx.xxx.xxx/
gpgcheck=0
enabled=1
3 # yum repolist --列出你现在所有配置的repo的名字
2,# reposync --repoid=epel --把epel路径的所有软件包下载到本地当前目录
rsync 特点:
1,可以镜像保存整个目录树和文件系统
2,容易做到保存原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件attributes等
3,传输效率高,使用同步算法,只比较变化的
4,支持匿名传输,方便网站镜像
rsync 参数介绍
-v verbo
-a 归档模式,递归的方式传输文件,并保持文件的属性
-l 保留软链接
-R 保留相对路径
-H 保留硬链接
-p ,-o,-g,-A 分别保留权限,属主,属组,acl等,但如果加了-a,这些就都包括了
-D 等于--devices --specials 表示支持b,c,s,p类型的文件
普通应用:
rsync -av /home/ /backup/ --本机上的同步,把/home目录下的内容同步到/backup目录下(包括隐藏文件)
rsync -av /home/ 10.1.1.218:/backup/ --把本地的/home目录内容,同步到远端218的/backup目录下,需要远程的10.1.1.218的密码
rsync -av 10.1.1.218:/backup/ /backup/ --把远端218的/backup目录下的内容同步到本地的/backup目录,需要远程的10.1.1.218的密码
# rsync -a /test/ '-e ssh -p 2222' 10.1.1.218:/test1/
--如果远程机10.1.1.218的ssh端口不为默认的22,比如改成了2222,那么需要这样写
注意的问题:
1。 同步时保留原路径,也就是把/home同步到/backup会变成/backup/home/*再内容
--原目录后面加不加/也影响你的同步
下面这三个有区别:
rsync -av /home/ /backup/
--/home下的内容直接同步到/backup下
rsync -av /home /backup/
rsync -aRv /home/ /backup/
--这两上是/home被同步成/backup/home/*
# rsync -av /share/120214 /backup/
--被同步成/backup/120214/*
# rsync -aRv /share/120214/ /backup/
--被同步成/backup/share/120214/*
2。如果源目录有文件被删除了,那同步的目录是删除还是不删除,是否可以用参数来控制?
--delete
# rsync -aHAX --delete /test/ /test1/ --比较完整的一个写法
思考:能否把上面的rsync做成服务(daemon)的形式,并加上一些控制功能或日志记录功能呢?
主要两个知识点:
1,xinetd
2,man rsyncd.conf
--这两个一起共存,共同控制rsync
xinetd介绍
# yum install xinetd rsync
xinetd 就类似于一个拖管服务,可以拖管一些其它的小服务。拖管后的好处就是可以使用xinetd强大的参数来控制这些服务。(比如一个小服务没有一些控制功能,但支持xinetd拖管,你就可以拖管并使用xinetd的参数来控制它)
/etc/xinetd.conf --主配置文件,一般不用配置,主要配置子配置文件
/etc/xinetd.d --子配置文件目录
xinetd服务相当于是所有被拖管服务的总开关
# vim /etc/xinetd.d/rsync --(man xinetd.conf参考帮助)
service rsync
{
disable = yes --yes表示关闭,no表示开启(也就是说要启动rsync服务,两个条件:1,disable = no 2,xinetd服务要启动)
flags = IPv6
socket_type = stream
wait = no --并发连接
user = root --跑守护进程的用户
server = /usr/bin/rsync --启动程序路径
server_args = --daemon --启动参数(这三个参数合起来就是表示用root身份执行/usr/bin/rsync --daemon来启动rsync服务)
log_on_failure += USERID --控制日志格式,表示登陆此服务失败时,在日志里原来的格式基础上再加上记录USERID
}
例一:
服务器端的配置:
1,第一步:
vim /etc/rsyncd.conf --此文件不存在,需要手动建立(man rsyncd.conf参考帮助)
motd file=/etc/rsyncd.welcome
[weekendnotes] --共享给客户端看到的名字
path=/share/weekend2 --实际共享的服务器路径
vim /etc/rsyncd.welcome --手动建立自己定义的motd文件,并写上自定义的欢迎信息
2,第二步:
# vim /etc/xinetd.d/rsync
service rsync
{
disable = no --yes改为no 打开rsync服务功能
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
}
第三步:
/etc/init.d/xinetd restart --重启服务
netstat -ntlup |grep 873 --服务端就会有873的端口在监听了
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 4080/xinetd
客户端的操作:
# rsync -v 10.1.1.10:: --直接这样可以查看10这个服务器共享了哪些
"hello today! @_@" --这就是你rsyncd.welcome里写的欢迎内容
weekendnotes
# rsync -a 10.1.1.10::weekendnotes /notes/
--这样同步,是不需要密码的;注意weekendnotes为共享名,前面有两个:: 后面/notes为本地目录
--没有密码有好处也有坏处,好处是不需要密码方便写脚本做远程同步。如果要密码写脚本就要用到expect自动应答。坏处就是不安全,但你可以使用iptables等来加强安全。
--如果你希望有密码,也不用传密码的话,可以用rsyncd本身自带的secrets file来做验证的用户
同步可能出现的问题:
1,如果同步报permission denied这种,可能是服务端selinux没有关闭
关闭selinux的方法:
# setenforce 0 --这是马上把selinux由强制模式改成警告模式
# vim /etc/selinux/config
SELINUX=disabled --把这个改成disabled,然后需要重启电脑才能生效
2,同步时间慢
解决方法:绑定对方主机名
例二:在上面的基础上加上一些功能
要求:
1。把日志记录到/var/log/rsyncd.log
2。共享模块要求隐藏(也就是说客户端查看不到这个模块名)
3。并且同时只能1个客户端连接进行同步这个module
4。只能允许10.1.1.x(ip你自定义)同步这个module
5。只能早上9点到下午6点同步
第一个要求实现的方法很多:
方法1:在/etc/xinetd.d/rsync 加上参数log_type file /var/log/rsyncd.log;
方法2:在/etc/xinetd.d/rsync 加上参数log_type syslog local5;
方法3:在/etc/rsyncd.conf加上参数 log file=/var/log/rsyncd.log;
方法4:在/etc/rsyncd.conf加上参数syslog facility=local5
--方法2和4还需要在/etc/rsyslog.conf里加上local5.* /var/log/rsyncd.log
# vim /etc/rsyncd.conf
motd file=/etc/rsyncd.welcome
[weekendnotes]
path=/share/weekend2
list=false
max connections=1
log file=/var/log/rsyncd.log
hosts allow=10.1.1.x
# vim /etc/xinetd.d/rsync
access_times = 9:00-18:00
# /etc/init.d/xinetd restart
rsyncd能不能不拖管到xinetd下实现呢?
可以实现
使用下面的命令来启动,而不用xinetd来做(这样做rsyncd.conf里的参数还是生效,但/etc/xinetd.d/rsync里的参数不生效了)
/usr/bin/rsync --daemon
============================================================================================
rsync的补充:
实现实时同步(也就是源一变化,它就会触发同步)
inotify+rsync
inotify-tools-3.13.tar.gz
# tar xf inotify-tools-3.13.tar.gz -C /usr/src/
# cd /usr/src/inotify-tools-3.13/
# ./configure
# make
# make install
--安装完后,就会产生下面两个命令
/usr/local/bin/inotifywait
/usr/local/bin/inotifywatch
# /usr/local/bin/inotifywait --help
/usr/local/bin/inotifywait: error while loading shared libraries: libinotifytools.so.0: cannot open shared object file: No such file or directory
如果报错,找不到那个库,这个库实际上是在/usr/local/lib下的
解决方法
# echo /usr/local/lib/ > /etc/ld.so.conf.d/abc.conf
# ldconfig
1,实现单向本地目录实时同步
测试本机/test目录里一有(增,删,改,属性改变),就会同步到/test1目录
--使用下面的脚本来做
#vim /tmp/1.sh
#!/bin/bash
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /test |while read files
do
rsync -a --delete /test/ /test1/
echo "`date +'%F %T'`出现事件$files" >> /var/log/rsync.log 2>&1
done
# nohup sh /tmp/1.sh &
--使用nohup挂起到后台执行,终端关闭,这个进程也不会被关闭
--如果你希望实现开机自动启动,可以把此命令加到/etc/rc.local里,或者写成shell服务脚本,让其支持chkconfig开机自动启动
再然后对/test进行各种操作,验证可以实时同步到/test1
2,实现双向本地目录的实时同步
也有相关的软件(比如unison)可以专门来做双向的实时同步
但我们就可以用inotify反向再做一次再写一个脚本也一样可以简单去实现
3,远程实时同步
web1 web2
共享存储iscsi FC (分布式存储)
方法一,inotify+rsync+nfs
把远程目录用nfs挂载过来,当本地目录来监控,然后直接用上面的本地实时同步脚本就可以了
--注意:经测试后,此种方法不可取。(应该是inotify只能支持本地目录的监控,远程目就算是挂载过来也不能监控)
监控远程挂载过来的目录不可以,那么我们可以考虑监控本地的目录,当本地目录内容有变化时,同步到远程挂载过来的NFS目录(但要有写权限)
实现把35上的/test目录实时同步到37上的/test1目录
10.1.1.10 /test目录 10.1.1.34 /test1目录
步骤一:
在37上
# vim /etc/exports
/test1 *(rw,no_root_squash)
# /etc/init.d/rpcbind restart
# /etc/init.d/nfs restart
步骤二:
在35上
# mkdir /test1/
# mount -t nfs -o vers=3 10.1.1.34:/test1 /test1 --用nfs3版本挂载过来,那么/test1目录就是37上的远程/test1目录了
步骤三:
执行上面讲的两个本地目录同步一样的脚本,测试就可以了
#vim /tmp/1.sh
#!/bin/bash
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /test |while read files
do
rsync -a --delete /test/ /test1/
echo "$files在`date +'%F %T'`被同步" >> /var/log/rsync.log 2>&1
done
#nohup sh /tmp/1.sh &
方法二,使用ssh等效性(ssh密钥登录)让远程机器连接不需要密码,就很容易使用远程监控或同步了
对称加密
非对称加密
ssh等效性用的是非对称加密原理
原理:产生一对密钥,自己持有一个私钥,公钥给对方,需要一对才能解密
# ssh-keygen --输入这个命令后,三次回车产生空密码key对
# scp /root/.ssh/id_rsa.pub 10.1.1.104:/root/.ssh/authorized_keys--把公钥传给104的机器后,重命令名为authorized_keys
# ssh-add /root/.ssh/id_rsa --在rhel6如果不能成功,需要在本地把自己的私钥加一下
Identity added: /root/.ssh/id_rsa (/root/.ssh/id_rsa)
# ssh 10.1.1.104 --直接ssh不需要密码了
思考:三台机的user1用户之间全部ssh不需要密码,并且ssh自己也不需要密码
A
B
C
1,A,B,C三台都su - user1,然后使用ssh-keygen产生各自的私钥对
2,在A机器上用user1继续操作,
scp Bserver:~/.ssh/id_rsa.pub ~/Bserver_pubkey
scp Cserver:~/.ssh/id_rsa.pub ~/Cserver_pubkey
3,cat id_rsa.pub Bserver_pubkey Cserver_pubkey >> authorized_keys
4,scp authorized_keys Bserver:~/.ssh/
scp authorized_keys Cserver:~/.ssh/
思考:
试想一下,如果你管理1000台服务器,你希望就在一台服务器上能轻松远程管理所有服务器,或者在一台上写脚本可以管理所有服务器,你会怎么做?
答案:
1,如果你都做ssh等效性,工作量太大;当然也可以先在1000台上分别产生一对密钥,然后把公钥都传给其中一个人,全部追加到一个authorized_keys文件。然后使用expect脚本或者puppet这种工具推送到其它999台上面.
2,就算是都做好了,也不安全,如果一台被攻破,那么另外999台也没有安全保障了
3,但并不是说这个没有实际应用,在少量的几台之间做一些特殊应用还是可以用的;
如:在oracle的RAC集群里,各个节点之间必须要配置这个(只不过是oracle用户,不是root用户);
如:hadoop的管理用户也需要互相配置ssh等效性
4,或者使用用户集中化管理,所有的用户都在一个服务器上
然后实现远程实时同步,只需要在原来的脚本基础上把远程目录前加上远程IP就可以了(因为做了ssh等效性,不需要密码)
#!/bin/bash
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /test |while read files
do
rsync -a --delete /test/ 10.1.1.104:/test1/
echo "`date +'%F %T'`出现事件$files" >> /var/log/rsync.log 2>&1
done
方法三,用脚本的expect自动应答来处理远程连接时要传的密码问题
shell脚本再讨论
方法四,使用rsync的secrets file的方法然后写脚本
例:
远程被同步端 本地同步端
10.1.1.34 10.1.1.10
我要实现把本地同步端10.1.1.10上的/localtest/目录里的内容实时同步到远程被同步端10.1.1.34的/remotetest/目录
准备:
关闭iptables和selinux
实现过程
第一大步:在远程被同步端10.1.1.34上操作
# mkdir /remotetest/ --创建测试的被同步目录
# vim /etc/rsyncd.conf
uid=root
gid=root --这里指定使用root身份同步到10,否则默认使用nobody用户(这样你需要把/remotetest/目录改成757的权限,才有权限写)
[testsource]
path=/remotetest/
ignore errors
read only=no --服务级别给写权限
auth users=test --验证的用户取名为test
secrets file=/etc/rsyncd.secrets --验证用户test的用户名和密码的存放文件,此文件需要同步端和被同步端都要有(这样我们就可以用这种方式来进行验证,而不需要远程的ssh密码验证了)
hosts allow=10.1.1.10 --进一步加强安全,只允许10.1.1.10同步
# vim /etc/rsyncd.secrets --创建这个密码文件,用户名要与上面的auth users指定的一致,密码随意(我这里以321来测试)
test:321
# chmod 600 /etc/rsyncd.secrets --为了安全性,把权限改成600,只让root读写(很多其它软件的密码文件也会要求你改成600权限)
# yum install xinetd -y
# vim /etc/xinetd.d/rsync
disable = no -- disable 后面值由yes改为no
# /etc/init.d/xinetd restart --重启服务
# chkconfig xinetd on --设置开机自动启动
第二大步:在本地同步端10.1.1.10上操作
先安装inotify软件,步骤参照上面过程,这里省略
# mkdir /localtest/ --创建测试的同步目录
# vim /etc/rsyncd.secrets --也要创建这个密码文件,里面只写密码就可以了。用户我们在后面的脚本里的命令里指定
321
# chmod 600 /etc/rsyncd.secrets --也改成600的权限
# vim /bin/rsync.sh --脚本及其内容
#!/bin/bash
/usr/local/bin/inotifywait -mrq -e modify,delete,create,attrib,move /localtest |while read files
do
rsync -a --delete --password-file=/etc/rsyncd.secrets /localtest/ test@10.1.1.34::testsource
done
# chmod 755 /bin/rsync.sh --给执行权限,方便执行
# nohup sh /bin/rsync.sh & --后面挂起执行
# vim /etc/rc.local --加到rc.local里让其开头自动启动
nohup sh /bin/rsync.sh &
第三大步:
测试过程省略
Rsync服务实时同步目录
原创
©著作权归作者所有:来自51CTO博客作者张家江的原创作品,请联系作者获取转载授权,否则将追究法律责任
上一篇:PPTP的shell脚本安装
下一篇:LNMP架构服务
![](https://ucenter.51cto.com/images/noavatar_middle.gif)
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
数据同步--rsync
使用rsync进行两台或多台主机直接的数据同步
rsync数据同步 -
rsync --实时同步脚本
需求客户端:1.客户端提前准备存放的备份的⽬录,⽬录规则如下:/bak/nfs_172.16.1.31_2
linux 客户端 数据 服务端