CentOS 7下如何设置Rsyslog客户端向Rsyslog服务器发送日志 rsyslog服务端配置

转载

liutao988 2024-11-07 11:31:02

RSYSLOG服务实时传输日志配置

一个项目中涉及到rsyslog的使用，配置。

简单介绍一下，就是读取本地一个文件，通过rsyslog实时传输到远端的服务器，然后使用rsyslog.receiver.php分拣处理。

看中的rsyslog自带完善的实传机制，可靠性还是不错，不过想要用的好还需要对各个瓶颈环节清楚才行。

客户端

$ModLoad immark # provides --MARK-- message capability
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog # kernel logging (formerly provided by rklogd)
$ModLoad lmregexp
#$ModLoad omhdfs
#$ModLoad imudp
#$UDPServerRun 514
$SystemLogRateLimitInterval 0
 
# Log anything (except mail) of level info or higher.
# Don't log private authentication messages!
*.info;mail.none;authpriv.none;cron.none;local5.none;local6.none -/var/log/messages
# The authpriv file has restricted access.
authpriv.* -/var/log/secure
# Log all the mail messages in one place.
mail.* -/var/log/maillog
# Log cron stuff
cron.* -/var/log/cron
# Everybody gets emergency messages
*.emerg *
# Save news errors of level crit and higher in a special file.
uucp,news.crit -/var/log/spooler
# Save boot messages also to boot.log
local7.* /var/log/boot.log
#real tran log
$ModLoad imfile #装载imfile模块
$InputFileName /data2/logs/ssologs.log #读取日志文件
$InputFileTag login.sina.com.cn: #日志写入日志附加标签字符串
$InputFileFacility local5 #日志类型
$InputFileSeverity info #日志等级
$InputFileStateFile ssologs.log_state #定义记录偏移量数据文件名
$InputFilePollInterval 1 #检查日志文件间隔（秒）
$InputFilePersistStateInterval 1 #回写偏移量数据到文件间隔时间（秒）
$InputRunFileMonitor #激活读取，可以设置多组日志读取，每组结束时设置本参数。以示生效。
#接收队列
$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。
$MainMsgQueueType LinkedList #选择使用内存队列模式。
$MainMsgQueueFileName local5.main #如果队列模式使用内存模式，同时在配置这个参数，意味激活磁盘附加队列。
$MainMsgQueueHighWatermark 10000 #当内存队列达到这些元素时，开始回写磁盘。
$MainMsgQueueLowWatermark 1000 #当内存队列小于这些元素时，停止回写磁盘。
$MainMsgQueueMaxDiskSpace 20g #限制磁盘队列大小，参数疑似20GByte。
$MainMsgQueueMaxFileSize 200m #队列单文件尺寸大小。
$MainMsgQueueSaveOnShutdown on #在rsyslogd关闭时，要保存队列中数据。
$MainMsgQueueDiscardSeverity 8 #丢弃消息等级设定，数字越低丟的越多，设置8代表禁止丢弃消息。
$MainMsgQueueDiscardMark 1000000000 #超出10亿后，会禁止新消息入队，丢弃消息。如果前一个被禁止， #那么丢弃数据将无针对性,如果
$MainMsgQueueTimeoutEnqueue 3000 #超时3秒，TCP或local_socket方式下，预防资源夯住，引起崩溃。
$MainMsgQueueDequeueBatchSize 500 #优化带宽，设置每批次传输元素量，尽可能每次传输更多的数据。
#发送队列(可以部署多个)
$ActionForwardDefaultTemplate RSYSLOG_ForwardFormat #定义转发消息格式模板，使用系统默认转发格式。
$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。
$ActionQueueType LinkedList #选择使用内存队列模式。
$ActionQueueFileName local5.forward #如果队列模式使用内存模式，同时在配置这个参数，意味激活磁盘附加队列。
$ActionQueueHighWatermark 10000 #当内存队列达到这些元素时，开始回写磁盘。
$ActionQueueLowWatermark 1000 #当内存队列小于这些元素时，停止回写磁盘。
$ActionQueueMaxDiskSpace 20g #限制磁盘队列大小，参数疑似20GByte。
$ActionQueueMaxFileSize 200m #队列单文件尺寸大小。
$ActionResumeRetryCount -1 #失败后重试次数，-1 代表无限。
$ActionQueueSaveOnShutdown on #在rsyslogd关闭时，要保存队列中数据。
$ActionQueueDiscardSeverity 8 #丢弃消息等级设定，数字越低丟的越多，设置8代表禁止丢弃消息。
$ActionQueueDiscardMark 1000000000 #超出10亿后，会禁止新消息入队，丢弃消息。如果前一个被禁止，
 #那么丢弃数据将无针对性,如果
$ActionQueueTimeoutEnqueue 3000 #超时3秒，TCP或local_socket方式下，预防资源夯住，引起崩溃。
$ActionQueueDequeueBatchSize 500 #优化带宽，设置每批次传输元素量，尽可能每次传输更多的数据。
local5.* @@10.69.56.39;RSYSLOG_ForwardFormat #发送local5类型数据，以系统默认格式转发到目标服务器。
2. 服务器端

$ModLoad immark # provides --MARK-- message capability
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog # kernel logging (formerly provided by rklogd)
$ModLoad lmregexp
$ModLoad omhdfs
#$ModLoad imudp
#$UDPServerRun 514

*.info;mail.none;authpriv.none;cron.none;local5.none;local6.none -/var/log/messages
# The authpriv file has restricted access.
authpriv.* /var/log/secure
# Log all the mail messages in one place.
mail.* -/var/log/maillog
 
# Log cron stuff
cron.* -/var/log/cron
# Everybody gets emergency messages
*.emerg *
# Save news errors of level crit and higher in a special file.
uucp,news.crit -/var/log/spooler
# Save boot messages also to boot.log
local7.* /var/log/boot.log
 
 
# ######### Receiving Messages from Remote Hosts ########## 
# TCP Syslog Server:
# provides TCP syslog reception and GSS-API (if compiled to support it)
$ModLoad imtcp.so # load module
$InputTCPServerRun 514 # start up TCP listener at port 514
$InputTCPMaxSessions 1000
# UDP Syslog Server:
#$ModLoad imudp.so # provides UDP syslog reception
#$UDPServerRun 514 # start a UDP syslog server at standard port 514
 
#接收队列
$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。
$MainMsgQueueType LinkedList #选择使用内存队列模式。
$MainMsgQueueFileName local5.main #如果队列模式使用内存模式，同时在配置这个参数，意味激活磁盘附加队列。
$MainMsgQueueHighWatermark 10000 #当内存队列达到这些元素时，开始回写磁盘。
$MainMsgQueueLowWatermark 1000 #当内存队列小于这些元素时，停止回写磁盘。
$MainMsgQueueMaxDiskSpace 20g #限制磁盘队列大小，参数疑似20GByte。
$MainMsgQueueMaxFileSize 200m #队列单文件尺寸大小。
$MainMsgQueueSaveOnShutdown on #在rsyslogd关闭时，要保存队列中数据。
$MainMsgQueueDiscardSeverity 8 #丢弃消息等级设定，数字越低丟的越多，设置8代表禁止丢弃消息。
$MainMsgQueueDiscardMark 1000000000 #超出10亿后，会禁止新消息入队，丢弃消息。如果前一个被禁止， #那么丢弃数据将无针对性,如果
$MainMsgQueueTimeoutEnqueue 3000 #超时3秒，TCP或local_socket方式下，预防资源夯住，引起崩溃。
$MainMsgQueueDequeueBatchSize 500 #优化带宽，设置每批次传输元素量，尽可能每次传输更多的数据。
#发送队列(可以部署多个)
$ActionForwardDefaultTemplate RSYSLOG_ForwardFormat #定义转发消息格式模板，使用系统默认转发格式。
$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。
$ActionQueueType LinkedList #选择使用内存队列模式。
$ActionQueueFileName local5.forward #如果队列模式使用内存模式，同时在配置这个参数，意味激活磁盘附加队列。
$ActionQueueHighWatermark 10000 #当内存队列达到这些元素时，开始回写磁盘。
$ActionQueueLowWatermark 1000 #当内存队列小于这些元素时，停止回写磁盘。
$ActionQueueMaxDiskSpace 20g #限制磁盘队列大小，参数疑似20GByte。
$ActionQueueMaxFileSize 200m #队列单文件尺寸大小。
$ActionResumeRetryCount -1 #失败后重试次数，-1 代表无限。
$ActionQueueSaveOnShutdown on #在rsyslogd关闭时，要保存队列中数据。
$ActionQueueDiscardSeverity 8 #丢弃消息等级设定，数字越低丟的越多，设置8代表禁止丢弃消息。
$ActionQueueDiscardMark 1000000000 #超出10亿后，会禁止新消息入队，丢弃消息。如果前一个被禁止，
 #那么丢弃数据将无针对性,如果
$ActionQueueTimeoutEnqueue 3000 #超时3秒，TCP或local_socket方式下，预防资源夯住，引起崩溃。
$ActionQueueDequeueBatchSize 500 #优化带宽，设置每批次传输元素量，尽可能每次传输更多的数据。
$ModLoad omprog
$template ssolog,"%fromhost-ip% %syslogtag% %msg%\n"
$ActionOMProgBinary /etc/dAppCluster/rsyslog.receiver.php
if $syslogfacility-text == 'local5' and $syslogtag startswith 'login.sina.com.cn' then :omprog:;ssolog
local5.* /data1/logs/rsyslog/ssologs.log;ssolog

参考资料：

http://www.rsyslog.com/doc/rsyslog_conf_global.html

http://blog.chunshengster.me/wp-content/uploads/2013/07/rsyslog_config_opt.png

http://blog.chunshengster.me/2013/07

http://www.rsyslog.com/doc/queues.html

转载于:https://blog.51cto.com/welcomeweb/1956557

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。