elk 收集log4j java日志

原创

mob64ca12e01b7d 2023-10-27 09:41:16 ©著作权

文章标签 Elastic Java 应用程序 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12e01b7d的原创作品，请联系作者获取转载授权，否则将追究法律责任

使用ELK收集log4j Java日志

在开发和维护Java应用程序时，日志是我们必不可少的工具。它可以帮助我们在应用程序中定位问题、跟踪代码的执行流程以及监控应用程序的行为。log4j是一个流行的Java日志框架，它通过使用不同的Appender将日志消息输出到不同的目标。本文将介绍如何使用ELK（Elasticsearch、Logstash和Kibana）来收集和可视化log4j生成的日志。

什么是ELK？

ELK是一个开源的日志收集、分析和可视化平台，由Elasticsearch、Logstash和Kibana三个组件构成。

Elasticsearch：一个实时分布式搜索和分析引擎，用于存储和索引大量的日志数据。
Logstash：一个用于收集、过滤和转发日志的工具。它可以从各种来源（如文件、网络、数据库等）收集日志，并通过各种输出插件将其发送到Elasticsearch。
Kibana：一个用于可视化和分析日志数据的Web界面。它提供了丰富的图表、仪表盘和搜索功能，使我们能够更轻松地理解和分析日志数据。

配置log4j

首先，我们需要在Java应用程序中配置log4j以将日志消息发送到Logstash。

创建一个名为log4j.properties的文件，并添加以下内容：

log4j.rootLogger=INFO, logstash
log4j.appender.logstash=org.apache.log4j.net.SocketAppender
log4j.appender.logstash.remoteHost=logstash-server-ip
log4j.appender.logstash.port=5000
log4j.appender.logstash.layout=org.apache.log4j.PatternLayout
log4j.appender.logstash.layout.ConversionPattern=%d{ISO8601} [%t] %-5p %c %x - %m%n

请确保将logstash-server-ip更改为运行Logstash的服务器的IP地址。

以上配置将日志消息发送到Logstash的5000端口。

配置Logstash

接下来，我们需要配置Logstash来接收log4j发送的日志消息，并将其发送到Elasticsearch进行存储和索引。

创建一个名为logstash.conf的文件，并添加以下内容：

input {
  tcp {
    port => 5000
    codec => json
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "log4j-%{+YYYY.MM.dd}"
  }
}

上述配置指定了一个TCP输入插件，该插件将监听5000端口并使用JSON编解码器解析接收到的日志消息。然后，将日志消息发送到Elasticsearch的本地主机上，并为每天的日志创建一个新的索引。

安装ELK组件

在运行Java应用程序之前，我们需要先安装和配置ELK组件。

安装Elasticsearch：请根据您的操作系统和版本下载并安装Elasticsearch。安装完成后，启动Elasticsearch服务。
安装Logstash：请根据您的操作系统和版本下载并安装Logstash。安装完成后，配置Logstash的输入和输出插件，如上所示的logstash.conf文件。
安装Kibana：请根据您的操作系统和版本下载并安装Kibana。安装完成后，启动Kibana服务。

运行Java应用程序

现在，我们已经完成了所有的配置和安装工作，可以运行Java应用程序并生成日志消息了。

import org.apache.log4j.Logger;

public class MyApp {
  private static final Logger logger = Logger.getLogger(MyApp.class);

  public static void main(String[] args) {
    logger.info("This is an info message");
    logger.warn("This is a warning message");
    logger.error("This is an error message");
  }
}

在上面的示例中，我们使用log4j记录了三个不同级别的日志消息。