LogListener docker安装 docker部署logstash

转载

mob64ca140651e5 2023-08-31 10:35:32

前言

logstach是一个采集日志的框架，本文介绍如何在docker上部署logstash系统。更多信息请参考官方文档。

管道配置

必须将管道配置放在Logstash可以找到的位置。默认情况下，容器将在/usr/share/logstash/pipeline/中查找管道配置文件。

在本例中，我们使用绑定装载的卷通过docker run命令提供配置:

docker run --rm -it -v ~/pipeline/:/usr/share/logstash/pipeline/ docker.elastic.co/logstash/logstash:7.9.2

然后，Logstash将解析主机目录~/pipeline/中的每个文件作为管道配置。

如果您不为Logstash提供配置，它将使用一个最小的配置来运行，该配置侦听来自Beats输入插件的消息，并将接收到的任何消息反馈给stdout。在本例中，启动日志将类似于以下内容:

Sending Logstash logs to /usr/share/logstash/logs which is now configured via log4j2.properties.
[2016-10-26T05:11:34,992][INFO ][logstash.inputs.beats    ] Beats inputs: Starting input listener {:address=>"0.0.0.0:5044"}
[2016-10-26T05:11:35,068][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
[2016-10-26T05:11:35,078][INFO ][org.logstash.beats.Server] Starting server on port: 5044
[2016-10-26T05:11:35,078][INFO ][logstash.pipeline        ] Pipeline main started
[2016-10-26T05:11:35,105][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

这是映像的默认配置，在/usr/share/logstash/pipeline/logstash.conf中定义。如果这是您观察到的行为，请确保正确地选择了您的管道配置，并且替换logstash.conf或整个pipeline目录。

设置

该映像提供了几种配置设置的方法。传统的方法是提供一个定制的logstash。但是也可以使用环境变量来定义设置。

绑定装载设置文件

设置文件也可以通过绑定挂载提供。Logstash希望在/usr/share/logstash/config/上找到它们。

有可能提供一个完整的目录，包含所有需要的文件:

docker run --rm -it -v ~/settings/:/usr/share/logstash/config/ docker.elastic.co/logstash/logstash:7.9.2

或者，可以挂载单个文件:

docker run --rm -it -v ~/settings/logstash.yml:/usr/share/logstash/config/logstash.yml docker.elastic.co/logstash/logstash:7.9.2

绑定装载的配置文件将在容器中保留与它们在主机系统上相同的权限和所有权。确保设置权限，使文件具有可读性，理想情况下，容器的logstash用户(UID 1000)不可写。

自定义镜像

当然，绑定装载的配置并不是唯一的选择。如果你喜欢不可变的基础设施的方法，你可以准备一个自定义镜像包含你的配置使用Dockerfile像这样:

FROM docker.elastic.co/logstash/logstash:7.9.2
RUN rm -f /usr/share/logstash/pipeline/logstash.conf
ADD pipeline/ /usr/share/logstash/pipeline/
ADD config/ /usr/share/logstash/config/

一定要替换或删除自定义映像中的logstash.conf，这样就不会从基本映像保留示例配置。