说在前头:本人为大二在读学生,书写文章的目的是为了对自己掌握的知识和技术进行一定的记录,同时乐于与大家一起分享,因本人资历尚浅,发布的文章难免存在一些错漏之处,还请阅读此文章的大牛们见谅与斧正。若在阅读时有任何的问题,也可通过评论提出,本人将根据自身能力对问题进行一定的解答。
前言
ElK日志管理系统,是由搜索引擎ElasticSearch、日志收集LogStash以及前端日志可视化框架Kibana集合而成的日志管理系统。
在传统的单体架构项目中,我们需要查看日志记录时,可以直接在服务器中查找和收集管理所有的日志信息。但在微服务架构项目中,每个服务都有着其独立的服务器,这使得我们查找和管理日志变得尤为的繁琐和不便,因此才有了ELK集成日志管理系统。
1.ElasticSearch是使用Java编写的高性能主流搜索引擎,主要用于检索Logstash收集的日志(运行时需要安装Java运行环境)
2.Logstash是用于管理日志和收集日志的工具,主要将各个服务的日志收集起来后,供ElasticSearch检索。
3.Kibana是前端的可视化日志框架,当项目各个服务的日志经过Logstash的收集管理后,通过ElasticSearch搜索用户指定要求的日志,最终让Kibana通过前端可视化的方式展现给用户。
01—下载ElasticSearch、Logstash、Kibana
elk的下载可以到官网下载(链接:下载 Elastic 产品 | Elastic)
下载成功后对三个压缩包进行解压即可
02—配置启动ElasticSearch
打开es的安装目录,打开配置目录config下的配置文件elasticsearch.yml
配置文件对应字段修改如下:
此时返回安装目录下的bin目录,双击elasticsearch.bat
启动成功后如下图
此时浏览器访问http://localhost:9200/,打印信息如下图及表明配置成功!
03—配置启动Logstash
打开logstash的安装目录,打开配置目录config目录下的配置文件logstash-sample.conf
修改配置文件对应位置为以下内容:
修改好配置文件后,打开bin目录新建名为run.bat的文件,文件内容如下:
logstash -f ../config/logstash-sample.conf
保存后双击run.bat文件,启动Logstash(启动成功后如下图)
04—配置启动Kibana
打开Kibana安装目录,打开配置目录config目录下的配置文件kibana.yml
修改配置文件kibana.yml如下图:
打开bin目录下执行kibana.bat启动Kibana
启动成功后访问http://localhost:5601/,如下图
05—SpringBoot整合ELK
依赖配置:
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
<version>2.5.0</version>
</dependency>
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>6.1</version>
</dependency>
</dependencies>
启动类:
package com.bosen.www;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
@SpringBootApplication
public class Application {
public static void main(String[] args) {
SpringApplication.run(Application.class, args);
}
}
日志文件logback.xml:
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<contextName>elk-log</contextName>
<!-- <springProperty scope="context" name="appName" source="spring.application.name"/>-->
<property name="appName" value="elk-test"/>
<!-- logstash远程日志配置-->
<appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>127.0.0.1:4560</destination>
<encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder" >
<providers>
<timestamp>
<timeZone>UTC</timeZone>
</timestamp>
<pattern>
<pattern>
{
"app": "${appName}",
"level": "%level",
"thread": "%thread",
"class": "%logger{40}",
"message": "%message"
}
</pattern>
</pattern>
</providers>
</encoder>
</appender>
<!-- 控制台输出 -->
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<!--格式化输出:%d表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度%msg:日志消息,%n是换行符-->
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
</encoder>
</appender>
<!-- 按照每天生成日志文件 -->
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--日志文件输出的文件名-->
<FileNamePattern>log/${appName}/${appName}.%d{yyyy-MM-dd}.log</FileNamePattern>
<!--日志文件保留天数-->
<MaxHistory>30</MaxHistory>
</rollingPolicy>
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<!--格式化输出:%d表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度%msg:日志消息,%n是换行符-->
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
</encoder>
<!--日志文件最大的大小-->
<triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
<MaxFileSize>10MB</MaxFileSize>
</triggeringPolicy>
</appender>
<!-- 日志输出级别 -->
<root level="INFO">
<appender-ref ref="stash" />
<appender-ref ref="STDOUT" />
</root>
</configuration>
启动程序:(启动后如下图)
此时打开kibana(http://localhost:5601/)按照以下步骤创建索引,并查看程序日志!
此时我们就可以看到对应程序的日志信息啦!!!