八周三次课(3月28日)
10.32/10.33 rsync通过服务同步
10.34 linux系统日志
10.35 screen工具


扩展
1. Linux日志文件总管logrotate  10.32-10.35 rsync通过服务同步,系统日志,screen_系统日志http://linux.cn/article-4126-1.html 
2. xargs用法详解 10.32-10.35 rsync通过服务同步,系统日志,screen_系统日志http://blog.csdn.net/zhangfn2011/article/details/6776925    



10.32 rsync通过服务同步(上)


10.32-10.35 rsync通过服务同步,系统日志,screen_系统日志_03

rsync 通过服务的方式同步

  • 开启服务

  • 客户端

  • 服务端 启动rsync服务,关闭firewalld服务,配置rsyncd.conf文件信息

  • 监听端口 默认端口873,端口可以 自定义 。开启端口后,客户端通过873与服务端进行通信,从而传输数据。


启动服务之前 

要编辑配置文件/etc/rsyncd.conf

可以自定义路径,如果自定义路径后,需要加--config=路径


启动服务rsync --daemon

使用配置文件,执行#rsync --daemon 即可启动服务。

如果自定义路径的配置文件地址,需要#rsync --daemon--config=路径去执行启动


演示操作

10.32-10.35 rsync通过服务同步,系统日志,screen_系统日志_04

在A上把相应参数添加进去rsyncd.conf

vi /etc/rsyncd.conf
#rsyncd.conf样例 port=873
log file=/var/log/rsync.log
pid file=/var/run/rsyncd.pid
address=192.168.133.130
[test]
path=/root/rsync
use chroot=true
max connections=4
read only=no
list=true
uid=root
gid=root
auth users=test
secrets file=/etc/rsyncd.passwd
hosts allow=192.168.133.132 1.1.1.1 2.2.2.2  192.168.133.0/24

10.32-10.35 rsync通过服务同步,系统日志,screen_rsync_05

虽然上面已经有了数据,但是在vi里面#开头的数据相当于备注,不作为功能性参数使用。

所以直接添加数据即可。


启动服务

[root@centos7-01 ~]# rsync --daemon
[root@centos7-01 ~]# ps aux |grep rsync
root      1796  0.0  0.0 114652   528 ?        Ss   16:10   0:00 rsync --daemon
root      1812  0.0  0.0 112676   980 pts/0    R+   16:11   0:00 grep --color=auto rsync

查看监听的端口及ip状态,

如果不写监听IP,地址会绑定0.0.0.0

[root@Centos7-01 ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name   
 
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1108/sshd          
 
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1197/master        
 
tcp        0      0 192.168.189.128:873     0.0.0.0:*               LISTEN      1796/rsync         
 
tcp6       0      0 :::22                   :::*                    LISTEN      1108/sshd          
 
tcp6       0      0 ::1:25                  :::*                    LISTEN      1197/master

服务端已经配置完毕,检查一下对应的路径。

此处把path=/root/rsync目录改成path=/tmp/rsync

然后做如下参数。

[root@centos7-01 tmp]# mkdir rsync
[root@centos7-01 tmp]# chmod 777 rsync
[root@centos7-01 tmp]# ls -ld rsync/
drwxrwxrwx 2 root root 6 3月  28 16:20 rsync/

在B上同步文件

格式:

rsync -av test1/ 192.168.133.130::module/dir/

以::为中心,前面是服务端的IP,后面是模块的名称

[root@centos7-02 ~]# rsync -avP /tmp/aming.txt 192.168.189.128::test/aming-02.txt
rsync: failed to connect to 192.168.189.128 (192.168.189.128): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(122) [sender=3.0.9]

遇到这种问题,首先需要检查网络连通性

1能ping通

2检查端口:

#telnet 192.168.189.128 873 (格式:telnet IP 端口)
[root@centos7-02 ~]# telnet 192.168.189.128 873
Trying 192.168.188.128...
telnet: connect to address 192.168.189.128: Connection refused

端口不通,

检查iptables的规则(太多数据,不一一列出),确实有问题,所以要把firewalld停掉。

[root@centos7-02 ~]# systemctl stop firewalld
#同时把A上的firewalld停掉
[root@centos7-02 ~]# telnet 192.168.189.128 873
Trying 192.168.189.128...
Connected to 192.168.189.128.
Escape character is '^]'.
@RSYNCD: 30.0
q
@ERROR: protocol startup error
Connection closed by foreign host.

成功ping通,端口也通了(telnet退出,ctrl+u [键 退出)


[root@centos7-02 ~]# rsync -avP /tmp/aming.txt 192.168.189.128::test/aming-02.txt
Password: 
#需要登录密码验证,如果取消密码验证,在A上修改rsyncd.conf验证参数即可。
#auth users=test
#secrets file=/etc/rsyncd.passwd

在B上同步文件操作,成功。

[root@centos7-02 ~]# rsync -avP /tmp/aming.txt 192.168.189.128::test/aming-02.txt
sending incremental file list
aming.txt
        1102 100%    0.00kB/s    0:00:00 (xfer#1, to-check=0/1)
sent 1175 bytes  received 27 bytes  2404.00 bytes/sec
total size is 1102  speedup is 0.92

在A上检查文件已被同步。

[root@centos7-01 tmp]# ls /tmp/rsync/
aming-02.txt

B上操作,远程到本地

[root@centos7-02 ~]# rsync -avP  192.168.189.128::test/aming-02.txt /tmp/123.txt
receiving incremental file list
aming-02.txt
        1102 100%    1.05MB/s    0:00:00 (xfer#1, to-check=0/1)
sent 45 bytes  received 1209 bytes  2508.00 bytes/sec
total size is 1102  speedup is 0.88

10.32-10.35 rsync通过服务同步,系统日志,screen_screen_06

rsyncd.conf配置文件详解 

  •  port:指定在哪个端口启动rsyncd服务,默认是873端口。

  •  log file:指定日志文件。

  •  pid file:指定pid文件,这个文件的作用涉及服务的启动、停止等进程管理操作。

  •  address:指定启动rsyncd服务的IP。假如你的机器有多个IP,就可以指定由其中一个启动rsyncd服务,如果不


指定该参数,默认是在全部IP上启动。

  •  []:指定模块名,里面内容自定义。

  •  path:指定数据存放的路径。

  •  use chroot true|false:表示在传输文件前首先chroot到path参数所指定的目录下。

这样做的原因是实现额外的安全防护,但缺点是需要以roots权限,并且不能备份指向外部的符号连接所指向的目录文件。

默认情况下chroot值为true,如果你的数据当中有软连接文件,一般建议设置成false。

假如把use chroot改成true 那么就会限制path指定的路径下。

如果同步文件的软链接,此时文件的软链接指向了path以外的路径,此时使用-L会把源文件同步过来,此时会有问题出错。


举例说明,

在A上操作

[root@centos7-01 rsync]# ln -s /etc/passwd ./12.txt
[root@centos7-01 rsync]# ls -l
总用量 4
lrwxrwxrwx 1 root root   11 3月  28 17:37 12.txt -> /etc/passwd
-rw-r--r-- 1 root root 1102 3月  20 21:12 aming-02.txt

B上同步目录

[root@centos7-02 ~]# rsync -avLP 192.168.189.128::test/ /tmp/test/
receiving incremental file list
symlink has no referent: "/12.txt" (in test)
./
sent 29 bytes  received 132 bytes  322.00 bytes/sec
total size is 1102  speedup is 6.84
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1518) 
[generator=3.0.9]

出现报错信息。


查看日志

[root@centos7-01 rsync]# cat /var/log/rsync.log 
2018/03/28 09:39:38 [2366] symlink has no referent: "/12.txt" (in test)
#在A上修改use chroot=false

sed -i 's/use chroot=true/use chroot=false/' /etc/rsyncd.conf

#在B上同步,OK
[root@centos7-02 ~]# rsync -avLP 192.168.189.128::test/ /tmp/test/
receiving incremental file list
12.txt
        1102 100%    1.05MB/s    0:00:00 (xfer#1, to-check=1/3)
sent 45 bytes  received 1234 bytes  2558.00 bytes/sec
total size is 2204  speedup is 1.72

10.33 rsync通过服务同步(下)


10.32-10.35 rsync通过服务同步,系统日志,screen_linux日志_07

把端口修改为8730

sed -i 's/port=873/port=8730/' /etc/rsyncd.conf

关闭防火墙(如果默认关闭就不需此操作),然后重启rsync服务

[root@centos7-01 ~]# systemctl stop firewalld
[root@centos7-01 ~]# rsync --daemon

检查监听端口状态是否8730

[root@centos7-01 ~]# !net
netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name           
tcp        0      0 192.168.189.128:8730    0.0.0.0:*               LISTEN      1294/rsync

在B上操作,done.

rsync -avLP --port 8730 129.168.133.130::test/ /tmp/test/

Linux文件同步工具-rsync

10.32-10.35 rsync通过服务同步,系统日志,screen_linux日志_08

 max connections:指定最大的连接数,默认是0,即没有限制。


 read only ture|false:如果为true,则不能上传到该模块指定的路径下。

当服务端设置了true的时候,此时客户端把数据推到服务端上,是推不到的。

反之,false即可写。


 list:表示当用户查询该服务器上的可用模块时,该模块是否被列出,设定为true则列出,false则隐藏。

相当于一个安全选项,

示例演示

#true状态
[root@centos7-02 ~]# rsync -avLP --port 8730  192.168.189.128::
test          
#false状态,无提示
[root@centos7-02 ~]# rsync -avLP --port 8730  192.168.189.128::

uid/gid:指定传输文件时以哪个用户/组的身份传输。

为显示更好效果,删除重新建立文件

[root@centos7-01 rsync]# rm -rf ./*

修改1机上面的uid gid为nobody(nobody是权限比较小的一个id)

[root@centos7-01 rsync]# sed -i 's#uid=root#uid=nobody#' /etc/rsyncd.conf 
[root@centos7-01 rsync]# sed -i 's#gid=root#gid=nobody#' /etc/rsyncd.conf 
[root@centos7-02 ~]# rsync -avLP  /tmp/test/ --port=8730 192.168.189.128::test/
sending incremental file list
./
rsync: failed to set times on "." (in test): Operation not permitted (1)
12.txt
        1102 100%    0.00kB/s    0:00:00 (xfer#1, to-check=1/3)
aming-02.txt
        1102 100%    1.05MB/s    0:00:00 (xfer#2, to-check=0/3)
sent 2351 bytes  received 49 bytes  4800.00 bytes/sec
total size is 2204  speedup is 0.92
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1052) [sender=3.0.9]

出现报错,Operation not permitted表示动作不允许,传输失败。

所以得把root改回来

[root@centos7-01 rsync]# sed -i 's#gid=nobody#gid=root#' /etc/rsyncd.conf 
[root@centos7-01 rsync]# sed -i 's#uid=nobody#uid=root#' /etc/rsyncd.conf
  •  auth users:指定传输时要使用的用户名。

  •  secrets file:指定密码文件,该参数连同上面的参数如果不指定,则不使用密码验证。注意该密码文件的权限一定要是600。格式:用户名:密码

在服务端操作

[root@centos7-01 rsync]# vim /etc/rsyncd.passwd    输入账号密码,格式 账号:密码
[root@centos7-01 rsync]# vim /etc/rsyncd.conf     把rsyncd.conf中auth users和secrets file的#去掉。


10.32-10.35 rsync通过服务同步,系统日志,screen_rsync_09

[root@centos7-01 rsync]# chmod 600 /etc/rsyncd.passwd

在2上操作同步数据,记住在IP前面输入用户,格式test@192.168.189.128.....

[root@centos7-02 ~]# rsync -avLP  /tmp/test/ --port=8730 test@192.168.189.128::test/
Password: 
@ERROR: auth failed on module test
rsync error: error starting client-server protocol (code 5) at main.c(1516) [sender=3.0.9]
[root@centos7-02 ~]# rsync -avLP  /tmp/test/ --port=8730 test@192.168.189.128::test/
Password: 
sending incremental file list
./
sent 67 bytes  received 17 bytes  24.00 bytes/sec
total size is 2204  speedup is 26.24

 hosts allow:表示被允许连接该模块的主机,可以是IP或者网段,如果是多个,中间用空格隔开。 

客户端的IP或者IP,


 当设置了auth users和secrets file后,客户端连服务端也需要用用户名密码了,若想在命令行中带上密码,可以设定一个密码文件

 在2上操作

[root@centos7-02 ~]# vim /etc/rsync_pass.txt 
aming

内容只写密码,无需写账号,编辑完成后,修改密码文件权限为600

[root@centos7-02 ~]# chmod 600 /etc/rsync_pass.txt

同步数据操作,此处需要添加选项 --password-file 后面接=/etc/rsync_pass.txt 

[root@centos7-02 ~]# rsync -avP  /tmp/test/ --port=8730 --password-file=/etc/rsync_pass.txt test@192.168.189.128::test/
sending incremental file list
sent 58 bytes  received 8 bytes  132.00 bytes/sec
total size is 2204  speedup is 33.39

10.34 Linux系统日志


10.32-10.35 rsync通过服务同步,系统日志,screen_第十章_10


日志的主要功能是审计和检测,还可以实时地检测系统状态,检测和追踪侵入者等。

很多错误的信息,不会显示在屏幕上的,而是记录在日志里。


/var/log/messages

重要日志,核心系统日志文件,除了特定服务日志指定日志文件外,其余日志一般记录在此。

它包含了系统启动时的引导小溪,以及系统运行时的其他状态消息。网络,系统,内核等等状态或者错误的信息。

less /var/log/messages

查看/var/log/messages*

ls /var/log/messages*
/var/log/messages           /var/log/messages-20180313  /var/log/messages-20180326
/var/log/messages-20180305  /var/log/messages-20180319

/etc/logrotate.conf 日志切割配置文件

cat /etc/logrotate.conf

10.32-10.35 rsync通过服务同步,系统日志,screen_系统日志_11


切割详细信息

#cat /etc/logrotate.d/syslog 
/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{
    missingok
    sharedscripts
    postrotate
/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
    endscript
}

 参考https://my.oschina.net/u/2000675/blog/908189


dmesg命令 

此日志保存在内存中,并不是一个文件。

关注点:硬件故障记录。

#dmesg -c 临时清空日志


/var/log/dmesg 日志

和命令#dmesg没关联

这是一个系统启动日志。

# cat /var/log/dmesg 查看日志


last命令,调用的文件/var/log/wtmp

查看正确的登录历史,

#last 查看日志,

不能#cat /var/log/wtmp来查看日志,var/log/wtmp是一个二进制文件只是被调用。


lastb命令查看登录失败的用户,对应的文件时/var/log/btmp

#lastb查看日志,

同样地,不能#cat /var/log/btmp来查看日志,var/log/btmp是一个二进制文件只是被调用。


/var/log/secure

和登录信息相关的安全日志文件。该日志文件记录验证和授权等方面的信息,比如ssh登录系统成功或者失败时,相关的信息都会记录在这个日志里。



10.35 screen工具


10.32-10.35 rsync通过服务同步,系统日志,screen_screen_12


 为了不让一个任务意外中断

 nohup command &

 screen是一个虚拟终端

screen相当于一个虚拟终端,

能把想执行的命令,放到此终端上,然后可以在退出pts01 02远程终端之前,

先把screen调到后台去,达到随时调用的效果。


 yum install -y screen

 screen直接回车就进入了虚拟终端

支持同时打开多个screen

 ctral a组合键再按d退出虚拟终端,但不是结束

把终端放到后台

 screen -ls 查看虚拟终端列表

查看当前终端 

[root@centos7-01 rsync]# screen -ls
There is a screen on:
        2928.pts-0.centos7-01   (Attached)
1 Socket in /var/run/screen/S-root.

 screen -r id 进入指定的终端

[root@centos7-01 rsync]# screen  -r 2928

退出screen

exit
 screen -S aming

自定义screen的名称

 screen -r aming