什么是Logstash
Logstash是数据处理管道，它的主要作用是做数据采集。
logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到的 “存储库” 中。（大多都是 Elasticsearch。）
Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。
输入： 采集各种样式、大小和来源的数据
Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。
能够以连续的流式传输方式，轻松地从日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
过滤器：实时解析和转换数据
数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。
利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段
简化整体处理，不受数据源、格式或架构的影响
输出：选择您的存储库，导出您的数据
尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。
Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。
Logstash安装与配置
软件下载
https://elasticsearch.cn/download/
logstash安装
# rpm -ivh jdk-8u171-linux-x64.rpm
# rpm -ivh logstash-7.6.1.rpm
file 输出插件
1.标准输入到标准输出
/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'
2.文件指定标准输入输出
-f选择指定文件就可
3.将输入数据指定文件输出
# vim /etc/logstash/conf.d/file.conf
input {
stdin { }
}
output {
file {
path => "/tmp/logstash.txt" #输出的文件路径
codec => line { format => "custom format: %{message}"} #定制数据格式
}
}
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf
在标准输入中键入后可以查看：
# cat /tmp/logstash.txt
elasticsearch输出插件
1.标准输入到es主机
# vim /etc/logstash/conf.d/es.conf
input {
stdin { }
}
output {
elasticsearch {
hosts => "192.168.122.101:9200" #输出到的ES主机与端口
index => "logstash-%{+YYYY.MM.dd}" #定制索引名称
}
}
直接输出到es主机
删除创建的信息索引
index数值为unknown
查看输出到主机的数据
也可以将数据输出到终端，然后将数据输出到主机上去
# vim /etc/logstash/conf.d/es.conf
input {
stdin { }
}
output {
stdout { }
elasticsearch {
hosts => "192.168.122.101:9200" #输出到的ES主机与端口
index => "logstash-%{+YYYY.MM.dd}" #定制索引名称
}
}file输入插件
1.把文件内容输出到es主机
# vim /etc/logstash/conf.d/es.conf
input {
file {
path => "/var/log/messages"
start_position => "beginning"
}
}
output {
stdout {}
elasticsearch {
hosts => "192.168.122.101:9200"
index => "syslog-%{+YYYY.MM.dd}"
}
}logstash程序是以普通用户身份来运行的要确保可以操作该文件
浏览器中查看收集到的日志数据
logstash如何区分设备、文件名、文件的不同版本
logstash会把进度保存到sincedb文件中
sincedb文件内容解释
# cat .sincedb_452905a167cf4509fd08acb964fdb20c
34507 0 64768 247396 1603976120.589161 /var/log/messagessincedb文件一共6个字段
20297 | inode编号 |
0 | 文件系统的主要设备号 |
64768 | 文件系统的次要设备号 |
119226 | 文件中的当前字节偏移量 |
1551859343.6468308 | 最后一个活动时间戳（浮点数） |
/var/log/messages | 与此记录匹配的最后一个已知路径 |
再一次执行传输日志数据的命令时，不会重复执行，因为文件中没有变动的数据，指针走到结尾，重启服务也不会改变。
当删除es主机的索引，要创建新的索引也不能重复执行。
当删除.sincedb_452905a167cf4509fd08acb964fdb20c文件时，可以重复执行。
syslog输入插件
logstash可以伪装成日志服务器，直接接受远程日志。
# vim /etc/logstash/conf.d/syslog.conf
input {
syslog {
type => "rsyslog"
port => 514 #日志收集端口
}
}
output {
stdout { }
}指定配置文件运行
# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf
# netstat -antulp |grep :514
tcp6 0 0 :::514 :::* LISTEN 3171/java
udp 0 0 0.0.0.0:514 0.0.0.0:* 3171/java重新打开一个终端
配置server2客户端传入日志
# vim /etc/rsyslog.conf
*.* @@192.168.122.201:514
# systemctl restart rsyslog此时查看logstash终端上，已经开始采集server2的日志
多行过滤插件
多行过滤可以把多行日志记录合并为一行事件
# vim /etc/logstash/conf.d/multiline.conf
input {
stdin {
codec => multiline {
pattern => "^EOF"
negate => true
what => previous
}
}
}
output {
stdout {}
}
遇见EOF关键字会向上合并
多行过滤插件过滤远程主机的日志
[root@git1 conf.d]# vim es.conf
input {
file {
path => "/var/log/my-es.log"
start_position => "beginning"
codec => multiline {
pattern => "^\["
negate => true
what => previous
}
}
}
output {
elasticsearch {
hosts => ["192.168.122.101:9200"]
index => "server2log-%{+YYYY.MM.dd}" ##保存在es的名字
}
}==文件每行是以[开头，所以有pattern => “^[” ==
[root@git1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf
grok过滤插件
# vim /etc/logstash/conf.d/grok.conf
input {
stdin {}
}
filter {
grok {
match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
}
}
output {
stdout {}
}指定配置文件运行
# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf
查看输出
55.3.244.1 GET /index.html 15824 0.043将非结构化数据转变为结构化数据
apache服务日志过滤实战
# vim /etc/logstash/conf.d/apache.conf
input {
file {
path => "/var/log/httpd/access_log"
start_position => "beginning"
}
}
filter{
grok {
match => { "message" => "%{HTTPD_COMBINEDLOG}" }
}
}
output {
elasticsearch {
hosts => "172.25.0.13:9200"
index => "apachelog-%{+YYYY.MM.dd}"
}
}
[root@git1 conf.d]# systemctl start httpd
[root@git1 conf.d]# cd /var/www/html/
[root@git1 html]# ls
[root@git1 html]# echo hello > index.html
修改权限
root@git1 html]# cd /var/log/httpd/
[root@git1 httpd]# ll
总用量 16
-rw-r--r-- 1 root root 10400 10月 29 22:52 access_log
-rw-r--r-- 1 root root 814 10月 29 22:49 error_log
[root@git1 httpd]# chmod 755 access_log
[root@git1 httpd]# chmod 755 error_log日志格式的模块
[root@git1 httpd]# cd /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/
[root@git1 patterns]# ls
aws exim httpd maven nagios ruby
bacula firewalls java mcollective postgresql squid
bind grok-patterns junos mcollective-patterns rails
bro haproxy linux-syslog mongodb redis
[root@git1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf
