elk日志收集 nginx elk日志采集

ELK是Elasticsearch、Logstash、Kibana开源软件的集合，对外是作为一个日志管理系统的开源方案，它可以从任何来源、任何格式进行日志搜索、分析与可视化展示。

基本组成软件：

1、Filebeat：监控日志文件，获取服务器上指定路径的日志文件，并将这些日志转发到Logstash实例以进行处理。Filebeat的设计是为了可靠性和低延迟。Filebeat在主机上占用的资源很少，而Beats input插件将对Logstash实例的资源需求降到最低。
2、Logstash：它是一个服务端的数据处理管道，可以从多个源中提取数据，对其进行转换，然后将其存储到Elasticsearch中。简单来说就是日志的收集、分析、过滤工具。
3、Kibana：它是一个基于web的图形界面，用于搜索、分析和可视化存储在Elasticsearch中的日志数据。
4、Elasticsearch：它是一个开源分布式搜索引擎，提供收集、分析、存储数据三大功能。

Filebeat安装

1、从Filebeat官网选择你所需的版本，本次安装以Ubuntu为例。

2、右键选择复制链接地址使用wget下载Filebeat.tar.gz压缩包。

3、使用tar -zxf命令解压。

hsl@iZ282hpfj1mZ:~$ tar -zxf filebeat-6.4.0-linux-x86_64.tar.gz

4、编辑filebeat.yml配置文件
配置文件中有各种输入以及输出，根据自己的需求正确配置。

Logstash安装

logstash需要Java环境，JDK版本不低于1.8，检查你的环Java环境：

java -vsersion

如果Java已经安装，此命令将输出类似于以下内容：

java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)

如果Logstash在包安装期间无法找到JAVA_HOME环境变量，您可能会收到一个错误消息，软件无法正常启动。

1、从Logstash官网选择你所需的版本，本次安装以Ubuntu为例。

2、右键选择复制链接地址使用wget下载tar.gz压缩包。

hsl@iZ282hpfj1mZ:~$ wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz

3、使用tar -zxf命令解压。

hsl@iZ282hpfj1mZ:~$ tar -zxf logstash-6.4.0.tar.gz

4、配置logstash，我们需要创建一个配置文件，并指定要使用的插件和每个插件的设置。我们创建名为logstash-simple.conf的文件并将其保存在与Logstash相同的目录中。

hsl@iZ282hpfj1mZ:~$ cd logstash-6.4.0/
hsl@iZ282hpfj1mZ:~/logstash-6.4.0$ vi logstash-simple.conf

在logstash-simple.conf中输入以下内容

input { stdin { } }
output {
  stdout { codec => rubydebug }
}

5、启动Logstash

hsl@iZ282hpfj1mZ:~/logstash-6.4.0$bin/logstash -f logstash-simple.conf

Elasticsearch安装

1、从ELasticsearch官网选择你所需的版本，本次安装以Ubuntu为例。

2、右键选择复制链接地址使用wget下载tar.gz压缩包。

hsl@iZ282hpfj1mZ:~$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz

3、使用tar -zxf命令解压。

hsl@iZ282hpfj1mZ:~$ tar -zxf elasticsearch-6.4.0.tar.gz

4、启动

hsl@iZ282hpfj1mZ:~$ cd elasticsearch-6.4.0/
hsl@iZ282hpfj1mZ:~/elasticsearch-6.4.0$ bin/elasticsearch

5、检验是否启动

hsl@iZ282hpfj1mZ:~/elasticsearch-6.4.0$ curl http://localhost:9200/

上图表示Elasticsearch正常启动。

6、注意，正式服务器上需要更改配置文件elasticsearch.yml，具体配置项可以对照官网。

Kibana安装

Filebeat + Logstash + Elasticsearch 简单使用示例

1、下载示例数据

wget https://download.elastic.co/demos/logstash/gettingstarted/logstash-tutorial.log.gz
gunzip logstash-tutorial.log.gz  # 解压

2、配置filebeat.yml文件

hsl@iZ282hpfj1mZ:~$ cd filebeat-6.4.0-linux-x86_64/
hsl@iZ282hpfj1mZ:~/filebeat-6.4.0-linux-x86_64$ cp filebeat.yml filebeat.yml.bck  # 备份配置文件
hsl@iZ282hpfj1mZ:~/filebeat-6.4.0-linux-x86_64$vi  filebeat.yml

将以下内容输入到filebeat.yml文件中

filebeat.prospectors:
- type: log
  paths:
    - /path/to/file/logstash-tutorial.log  # 下载的示例数据的文件位置绝对路径
output.elasticsearch:
  hosts: ["localhost:9200"]

3、启动Filebeat

./filebeat -e -c filebeat.yml -d "publish"

4、配置Logstash配置文件，first-pipeline.conf

input {
    beats {
        port => "5044"
    }
}
 filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    elasticsearch {
        hosts => [ "localhost:9200" ]
    }
}

5、启动Logstash

bin/logstash -f first-pipeline.conf --config.reload.automatic
# 自动重载配置文件

6、我们重新启动一下filebeat

rm data/registry  # 首先删掉上次的注册数据
./filebeat -e -c filebeat.yml -d "publish"

7、等程序完成，检查数据

curl 'localhost:9200/logstash-2018.09.17/_search?pretty'

logstash-2018.09.17是自动生成的索引，具体的生成配置还不清楚。pretty是为了友好展示

curl 'localhost:9200/_cat/indices?v'