方式一:定时任务(不推荐)
没啥难度,短短几行的脚本即可
#!/bin/bash
# Description: rotate nginx access logs
NGX_PID=`cat /usr/local/nginx/logs/nginx.pid`
LOGS_DIR="/home/wwwlogs"
WWW_LOG_NAME="www.demo.com.log"
B2B_LOG_NAME="b2b.demo.com.log"
MOBILE_LOG_NAME="mobile.demo.com.log"
PLIST_LOG_NAME="plist.demo.com.log"
cd $LOGS_DIR
/usr/bin/mv $WWW_LOG_NAME $(date +%F -d 'yesterday')_$WWW_LOG_NAME
/usr/bin/mv $B2B_LOG_NAME $(date +%F -d 'yesterday')_$B2B_LOG_NAME
/usr/bin/mv $MOBILE_LOG_NAME $(date +%F -d 'yesterday')_$MOBILE_LOG_NAME
/usr/bin/mv $PLIST_LOG_NAME $(date +%F -d 'yesterday')_$PLIST_LOG_NAME
/bin/kill -USR1 $NGX_PID
加到cron计划任务中
echo "0 0 * * * /home/scripts/rotate-nginx-logs.sh > /dev/null 2>&1" >> /var/spool/cron/root
=========================================================
方式二:time_iso8601
##原日志格式:
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
##修改后日志格式:
log_format main '$remote_addr - $remote_user [$ time_iso8601] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
将原来的time_local修改为time_iso8601,该格式日期为“2017-01-19T09:10:52+08:00”,也可以其他格式,看个人习惯
注意层次关系,这段脚本一定要加到server配置内部,且if要在access_log前面,否则set的变量将无法引用
server{
...
if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})") {
set $year $1;
set $month $2;
set $day $3;
}
##按yyyy-mm-dd格式截取字符串,写入指定日志文件中
access_log /data/logs/nginx/www.qshtest.com-access-$year-$month-$day.log main;
...
}
也可以使用Perl语法来捕获,如下:
if ($time_iso8601 ~ "^(?<year>\d{4})-(?<month>\d{2})-(?<day>\d{2})") {}
access_log /data/logs/nginx/www.ttlsa.com-$year-$month-$day-access.log;
按时、分、秒分割
if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})T(\d{2}):(\d{2}):(\d{2})")
{
set $year $1;
set $month $2;
set $day $3;
set $hour $4;
set $minutes $5;
set $seconds $6;
}
非常方便的进行日志分割。建议按小时分割日志,方便分析查询日志。
最后执行 nginx -s reload 后则配置生效
systemctl reload nginx
方式三:安装logrotate
今天小伙伴给了我另一种更简洁的方式,只要安装logrotate这个软件即可。
参考博客: http://www.pythondev.org/post/8.html
假如我们的安装好的nginx日志路径在/home/wwwlogs/,nginx进程PID路径在/usr/local/nginx/logs/nginx.pid
yum install logrotate
安装完成后,自动在/etc/cron.daily/下生成个logrotate脚本文件。
cd /etc/logrotate.d/
vim nginx 内容如下:
/data/logs/nginx/*.log {
su root www
create 600 www www
daily #指定转储周期为每天
dateext
missingok
rotate 8 #保留8个文件
compress #通过gzip 压缩转储以后的日志
delaycompress #和 compress 一起使用时,转储的日志文件到下一次转储时才压缩
notifempty #如果是空文件的话,不转储
sharedscripts
postrotate #postrotate/endscript在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
if [ -f /var/run/nginx.pid ]; then
kill -USR1 `cat /var/run/nginx.pid` #不是中止Nginx的进程,而是传递给它信号重新生成日志,如果nginx没启动不做操作
fi
endscript
}
保存退出即可每天自动切割日志。
logrotate详解:
logrotate 可以直接执行,后面跟配置文件就可以了,如:/usr/sbin/logrotate -f /etc/logrotate.d/nginx
参数:
- -v 显示指令执行过程
- -d Debug模式(模拟执行),详细显示指令执行过程,便于排错或了解程序执行的情况。
- -f 强制执行
- -s <状态文件> 使用指定的状态文件
logrotate 的默认配置文件是 /etc/logrotate.conf。
主要参数:
- daily 指定转储周期为每天
- weekly 指定转储周期为每周
- monthly 指定转储周期为每月
- dateext 在文件末尾添加当前日期
- compress 通过gzip 压缩转储以后的日志
- nocompress 不需要压缩时,用这个参数
- copytruncate 先把日志内容复制到旧日志文件后才清除日志文件内容,可以保证日志记录的连续性
- nocopytruncate 备份日志文件但是不截断
- create mode owner group 转储文件,使用指定的文件模式创建新的日志文件
- nocreate 不建立新的日志文件
- delaycompress和 compress 一起使用时,转储的日志文件到下一次转储时才压缩
- nodelaycompress 覆盖 delaycompress 选项,转储同时压缩。
- errors address 专储时的错误信息发送到指定的Email 地址
- ifempty 即使是空文件也转储,这个是 logrotate 的缺省选项。
- notifempty 如果是空文件的话,不转储
- mail address 把转储的日志文件发送到指定的E-mail 地址
- nomail 转储时不发送日志文件
- olddir directory 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
- noolddir 转储后的日志文件和当前日志文件放在同一个目录下
- rotate count 指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份
- tabootext [+] list让logrotate 不转储指定扩展名的文件,缺省的扩展名是:.rpm-orig, .rpmsave, v, 和 ~
- size size当日志文件到达指定的大小时才转储,Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).
- prerotate/endscript在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行
- postrotate/endscript在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
实例:
# crontab -e
###把Nginx日志全部转储
59 23 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nginx
/data/logs/nginx/*.log {
su root www
create 600 www www
daily
dateext
missingok
rotate 8
compress
delaycompress
notifempty
sharedscripts
postrotate
if [ -f /var/run/nginx.pid ]; then
kill -USR1 `cat /var/run/nginx.pid`
fi
endscript
}
Q&A
1.如何测试logrotate程序执行的情况
答:/usr/sbin/logrotate -d /etc/logrotate.d/nginx
2.怎么查看log文件的具体执行情况
答:cat /var/lib/logrotate/status
3.使用-v或-d参数时,显示log does not need rotating
答:logrotate在对status未记录的文件进行转储时,会在status添加一条该文件的记录,并将操作时间设为当天。之后程序再次对此文件进行转储时发现这个文件今天已经操作过,就不再进行相关操作。
解决方法:
1. vi /var/lib/logrotate/status 更改相对应的文件操作日期
2. 使用-s指定状态文件
4.分割日志时报错:error: skipping "/var/log/nginx/test.access.log" because parent directory has insecure permissions (It's world writable or writable by group which is not "root") Set "su" directive in config file to tell logrotate which user/group should be used for rotation.
答:添加“su root list”到/etc/logrotate.d/nginx文件中即可